分類導(dǎo)航

詳解神經(jīng)網(wǎng)絡(luò)中的反向傳播

發(fā)布時(shí)間：2017年03月08日作者：文章轉(zhuǎn)自網(wǎng)絡(luò)，版權(quán)歸原作者所有，反饋可立刻刪除 (該文來(lái)自筆記，點(diǎn)擊查看原文)

原理

反向傳播在神經(jīng)網(wǎng)絡(luò)中非常重要,是現(xiàn)在熱門(mén)的深度學(xué)習(xí)的基礎(chǔ).所謂的反向傳播,本質(zhì)上是一種在一個(gè)鄰域內(nèi)求多元函數(shù)局部極大值(極小值)的方法.以求極大值為例,反向傳播過(guò)程是先求出多元函數(shù)在某一點(diǎn)的梯度.然后沿梯度方向,更新各個(gè)自變量,使函數(shù)值變大.重復(fù)這個(gè)過(guò)程,就可以得到函數(shù)的局部極大值.

解釋

下面是當(dāng)年高等數(shù)學(xué)書(shū)上的一個(gè)例題.看看會(huì)不會(huì)做例4，例5.如果不會(huì)做請(qǐng)回去翻翻高等數(shù)學(xué)的書(shū).一定要看明白梯度的含義和計(jì)算方法.梯度是神經(jīng)網(wǎng)絡(luò)要用到的最基本也是最重要的概念.另外簡(jiǎn)單的復(fù)合函數(shù)求偏導(dǎo)也要確保會(huì)求,求梯度要用到.
大數(shù)據(jù)培訓(xùn),云培訓(xùn),數(shù)據(jù)挖掘培訓(xùn),云計(jì)算培訓(xùn),高端軟件開(kāi)發(fā)培訓(xùn),項(xiàng)目經(jīng)理培訓(xùn)
再直觀地解釋下梯度的含義.首先,梯度是一個(gè)向量,這個(gè)向量的方向是函數(shù)增加最快的方向.

我想了解如何學(xué)習(xí)

分類導(dǎo)航

詳解神經(jīng)網(wǎng)絡(luò)中的反向傳播

原理

解釋

延伸閱讀

我想了解如何學(xué)習(xí)