來(lái)源 | 新機(jī)器視覺

知圈 | 進(jìn)“滑板底盤群”請(qǐng)加微yanzhi-6,備注底盤

在過去十年中，人們對(duì)機(jī)器學(xué)習(xí)的興趣激增。幾乎每天，我們都可以在各種各樣的計(jì)算機(jī)科學(xué)課程、行業(yè)會(huì)議、華爾街日?qǐng)?bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類型的模型中表示這些信息。我們使用這個(gè)模型來(lái)推斷還沒有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)（node），基本上是受哺乳動(dòng)物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時(shí)間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀(jì)80年代中期和90年代初期，許多重要的模型架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)中進(jìn)行的。然而，為了獲得良好性能所需的時(shí)間和數(shù)據(jù)越來(lái)越多，這極大的降低了研究人員的興趣。在21世紀(jì)初期，計(jì)算能力呈指數(shù)級(jí)增長(zhǎng)，研究人員看到了計(jì)算機(jī)技術(shù)的“寒武紀(jì)爆發(fā)”。作為該領(lǐng)域的一個(gè)重要競(jìng)爭(zhēng)者——深度學(xué)習(xí)，因?yàn)橛?jì)算能力的爆炸式增長(zhǎng)，贏得了許多重要的機(jī)器學(xué)習(xí)競(jìng)賽。截至目前，這種趨勢(shì)仍然沒有減退;今天，我們看到機(jī)器學(xué)習(xí)的每個(gè)角落都提到了深度學(xué)習(xí)。

最近，我開始閱讀有關(guān)該深度學(xué)習(xí)的學(xué)術(shù)論文。根據(jù)我的研究，以下是一些對(duì)該領(lǐng)域的發(fā)展產(chǎn)生巨大影響的出版物：

• 紐約大學(xué)基于梯度的學(xué)習(xí)應(yīng)用于文檔識(shí)別（1998），它將卷積神經(jīng)網(wǎng)絡(luò)引入機(jī)器學(xué)習(xí)世界。

• 多倫多大學(xué)的DeepBoltzmann Machines（2009），它為Boltzmann機(jī)器提供了一種新的學(xué)習(xí)算法，包含許多隱藏變量層。

• 斯坦福和谷歌使用大規(guī)模無(wú)監(jiān)督學(xué)習(xí)構(gòu)建高級(jí)功能（2012），解決了僅使用未標(biāo)記數(shù)據(jù)構(gòu)建高級(jí)，類特定功能檢測(cè)器的問題。

• Berkeley的DeCAF-一種用于通用視覺識(shí)別的深度卷積激活功能（2013），它發(fā)布了DeCAF，這是一種深度卷積激活功能的開源實(shí)現(xiàn)，以及所有相關(guān)的網(wǎng)絡(luò)參數(shù)，使視覺研究人員能夠進(jìn)行深度實(shí)驗(yàn)跨越一系列視覺概念學(xué)習(xí)范例的表示。

• DeepMind使用Deep ReinforcementLearning（2016）播放Atari，它提供了第一個(gè)深度學(xué)習(xí)模型，可以使用強(qiáng)化學(xué)習(xí)直接從高維感覺輸入成功學(xué)習(xí)控制策略。

紐約大學(xué)基于梯度的學(xué)習(xí)應(yīng)用于文檔識(shí)別（1998），它將卷積神經(jīng)網(wǎng)絡(luò)引入機(jī)器學(xué)習(xí)世界。

多倫多大學(xué)的DeepBoltzmann Machines（2009），它為Boltzmann機(jī)器提供了一種新的學(xué)習(xí)算法，包含許多隱藏變量層。

斯坦福和谷歌使用大規(guī)模無(wú)監(jiān)督學(xué)習(xí)構(gòu)建高級(jí)功能（2012），解決了僅使用未標(biāo)記數(shù)據(jù)構(gòu)建高級(jí)，類特定功能檢測(cè)器的問題。

Berkeley的DeCAF-一種用于通用視覺識(shí)別的深度卷積激活功能（2013），它發(fā)布了DeCAF，這是一種深度卷積激活功能的開源實(shí)現(xiàn)，以及所有相關(guān)的網(wǎng)絡(luò)參數(shù)，使視覺研究人員能夠進(jìn)行深度實(shí)驗(yàn)跨越一系列視覺概念學(xué)習(xí)范例的表示。