1.開篇

1.1 為什么我開始寫這個(gè)系列博客

說五年前我還在某A云公司的時(shí)候，身在一個(gè)機(jī)器學(xué)習(xí)算法組，對(duì)機(jī)器學(xué)習(xí)懷有濃厚的興趣。花了好多的時(shí)間來試圖搞清楚各種流行的機(jī)器學(xué)習(xí)算法，經(jīng)常周末也跟同事探討公式的推倒和背后的意義。寫博客的主要?jiǎng)恿κ亲屪约耗軌蚋玫睦斫鈾C(jī)器學(xué)習(xí)。

后來堅(jiān)持了沒有太久的時(shí)間就換到大數(shù)據(jù)方向了，最主要的原因是覺得自己數(shù)學(xué)天賦太差，尤其是數(shù)學(xué)。當(dāng)初學(xué)習(xí)的時(shí)候主要參考的PRML，Andrew Moore的PPT，Andrew Ng的公開課，plukids博客，另外加上淘寶斌強(qiáng)哥的各種悉心指導(dǎo)。但是學(xué)了好久，公式能大概看懂是怎么回事，不過自己徒手推出來實(shí)在是太艱難了。PRML的習(xí)題，甚至是具體數(shù)學(xué)的習(xí)題，都很難做得出來。

后面的發(fā)生的事情就理所當(dāng)然了，既然很難在這個(gè)領(lǐng)域做到核心（我的理解是具有及其好的數(shù)學(xué)天賦作為后盾才能做到機(jī)器學(xué)習(xí)的核心），那么為什么不換一個(gè)更適合自己的方向呢？恩好吧，基礎(chǔ)數(shù)據(jù)架構(gòu)（Infra）看起來是個(gè)不錯(cuò)的方向，不需要理解太多的數(shù)學(xué)（除了真的需要去實(shí)現(xiàn)Paxos）。做Infra如果有架構(gòu)設(shè)計(jì)的基礎(chǔ)，另外加上勤奮，多多少少還是能做出一些東西的。

為什么我又要重新開始寫機(jī)器學(xué)習(xí)相關(guān)的文章了？最主要的原因是現(xiàn)在的機(jī)器學(xué)習(xí)和五年前、十年前區(qū)別很大。最大的不同是，自從深度學(xué)習(xí)成為了機(jī)器學(xué)習(xí)舞臺(tái)上最重要的一個(gè)角色起，機(jī)器學(xué)習(xí)變得更加真實(shí)了，利用深度學(xué)習(xí)可以做出很多很有意思的真實(shí)世界的應(yīng)用，而這些東西在幾年前的門檻要高得多。我在本文之后會(huì)更詳細(xì)的展開此點(diǎn)。

此外這幾年的工具發(fā)展神速，利用TensorFlow、MXNet或者其他類似的工具可以很容易的開始自己的pet project，也不用理解太多背后的細(xì)節(jié)。而在幾年前能用的現(xiàn)成工具寥寥無幾，而且十分的碎片化，比如說如果想要做分類器吧，需要用libsvm，需要搞跨語言調(diào)用。如果要換個(gè)算法的話，那可是要命的事情了。當(dāng)然這些東西對(duì)于大公司來說都不是事兒，但是對(duì)于個(gè)人學(xué)習(xí)者來說需要投入的經(jīng)歷太多了，遠(yuǎn)不是業(yè)余時(shí)間可以承擔(dān)的。

1.2 What to expect?

差不多關(guān)注了幾個(gè)月的深度學(xué)習(xí)，雖然沒有花太多時(shí)間來寫代碼，但是各種各樣的博客、視頻、公開課還是看了一些。這個(gè)系列和幾個(gè)我看過的主要內(nèi)容的差異：

  • 首先這個(gè)不是一個(gè)科普雜文，現(xiàn)在已經(jīng)有很多旁征博引豐富多彩老少皆宜的雜文，比如說王川的深度學(xué)習(xí)到底有多深系列，我準(zhǔn)備少些一些歷史和背景花絮，多寫一些技術(shù)。
  • 其次這個(gè)不是一個(gè)系統(tǒng)的深度學(xué)習(xí)教程，現(xiàn)在已經(jīng)有非常多非常好的相關(guān)公開課，比如說Stanford的CS231N\CS224D，Hilton的，Udacity的等等。我不準(zhǔn)備寫得面面俱到。
  • 另外我會(huì)盡量少的涉及數(shù)學(xué)，因?yàn)槲也豢赡馨褦?shù)學(xué)推導(dǎo)過程寫得比Ian Goodfellow的Deep Learning書寫得更清楚。但是我會(huì)盡量把最重要的部分寫出來。

所以我希望寫出的是，當(dāng)看過網(wǎng)上的博客、公開課和書后，什么地方是最難理解的。

2. 深度學(xué)習(xí)為什么是革命性的

啰里啰嗦了這么多，開始正文了。此篇博客嚴(yán)重參考了來自[1]第一章Introduction的內(nèi)容，包括圖片和內(nèi)容。

2.1 前深度學(xué)習(xí)的世界

深度學(xué)習(xí)不是一個(gè)新概念，它已經(jīng)存在好幾十年了，具體可以參考[1]/[2]，這里所說的深度學(xué)習(xí)世界大抵是在最近幾年深度學(xué)習(xí)刷新各個(gè)機(jī)器學(xué)習(xí)領(lǐng)域之后了。

前深度學(xué)習(xí)世界的特征

我想了解如何學(xué)習(xí)

姓名：
手機(jī)：
留言：