原理
反向傳播在神經(jīng)網(wǎng)絡(luò)中非常重要,是現(xiàn)在熱門(mén)的深度學(xué)習(xí)的基礎(chǔ).所謂的反向傳播,本質(zhì)上是一種在一個(gè)鄰域內(nèi)求多元函數(shù)局部極大值(極小值)的方法.以求極大值為例,反向傳播過(guò)程是先求出多元函數(shù)在某一點(diǎn)的梯度.然后沿梯度方向,更新各個(gè)自變量,使函數(shù)值變大.重復(fù)這個(gè)過(guò)程,就可以得到函數(shù)的局部極大值.
解釋
下面是當(dāng)年高等數(shù)學(xué)書(shū)上的一個(gè)例題.看看會(huì)不會(huì)做例4，例5.如果不會(huì)做請(qǐng)回去翻翻高等數(shù)學(xué)的書(shū).一定要看明白梯度的含義和計(jì)算方法.梯度是神經(jīng)網(wǎng)絡(luò)要用到的最基本也是最重要的概念.另外簡(jiǎn)單的復(fù)合函數(shù)求偏導(dǎo)也要確保會(huì)求,求梯度要用到.
再直觀地解釋下梯度的含義.首先,梯度是一個(gè)向量,這個(gè)向量的方向是函數(shù)增加最快的方向.
