來源 | 周志華教授，專知

前言：深度學(xué)習(xí)有很多問題目前還不清楚。例如深度神經(jīng)網(wǎng)絡(luò)為什么要“深”？它成功背后的關(guān)鍵因素是什么？深度學(xué)習(xí)只能是深度神經(jīng)網(wǎng)絡(luò)嗎？本文將分享一些我們關(guān)于深度學(xué)習(xí)的粗淺思考。

前言：深度學(xué)習(xí)有很多問題目前還不清楚。例如深度神經(jīng)網(wǎng)絡(luò)為什么要“深”？它成功背后的關(guān)鍵因素是什么？深度學(xué)習(xí)只能是深度神經(jīng)網(wǎng)絡(luò)嗎？本文將分享一些我們關(guān)于深度學(xué)習(xí)的粗淺思考。

1 引言

深度學(xué)習(xí)已被廣泛應(yīng)用到涉及圖像、視頻、語音等的諸多任務(wù)中并取得巨大成功。如 果我們問“深度學(xué)習(xí)是什么？”很可能會(huì)得到這樣的回答：“深度學(xué)習(xí)就是深度神經(jīng)網(wǎng) 絡(luò)”。至少在目前，當(dāng)“深度學(xué)習(xí)”作為一個(gè)術(shù)語時(shí)幾乎就是“深度神經(jīng)網(wǎng)絡(luò)”的同義詞， 而當(dāng)它指向一個(gè)技術(shù)領(lǐng)域時(shí)則如 SIAM News 頭版文章所稱[1]，是“機(jī)器學(xué)習(xí)中使用深度神經(jīng)網(wǎng)絡(luò)的子領(lǐng)域”。關(guān)于深度學(xué)習(xí)有很多問題還不清楚。例如深度神經(jīng)網(wǎng)絡(luò)為什么要“深”？它成功背后的關(guān)鍵因素是什么？深度學(xué)習(xí)只能是深度神經(jīng)網(wǎng)絡(luò)嗎？本文將分享一些我們關(guān)于深度學(xué)習(xí)的粗淺思考。

2 深度神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)并不是“新生事物”，它已經(jīng)被研究了半個(gè)多世紀(jì)[2]。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)通常包 含一個(gè)或兩個(gè)隱層，其中每個(gè)“神經(jīng)元”是非常簡單的計(jì)算單元。如圖 1 所示，神經(jīng)元 接收來自其他神經(jīng)元的輸入信號(hào)，這些信號(hào)通過連接權(quán)放大，到達(dá)神經(jīng)元之后如果其總 量超過某個(gè)閾值，則當(dāng)前神經(jīng)元就被“激活”并向外傳遞其輸出信號(hào)。實(shí)際上每個(gè)神經(jīng) 元就是圖 1 中非常簡單的計(jì)算式，而所謂神經(jīng)網(wǎng)絡(luò)就是很多這樣的計(jì)算式通過嵌套迭代 得到的一個(gè)數(shù)學(xué)系統(tǒng)。