激活函數(shù)的作用
首先，激活函數(shù)不是真的要去激活什么。在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)的作用是能夠給神經(jīng)網(wǎng)絡(luò)加入一些非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以更好地解決較為復(fù)雜的問(wèn)題。
比如在下面的這個(gè)問(wèn)題中：
如上圖(圖片來(lái)源)，在最簡(jiǎn)單的情況下，數(shù)據(jù)是線性可分的，只需要一條直線就已經(jīng)能夠?qū)颖具M(jìn)行很好地分類(lèi)。
但如果情況變得復(fù)雜了一點(diǎn)呢？在上圖中(圖片來(lái)源)，數(shù)據(jù)就變成了線性不可分的情況。在這種情況下，簡(jiǎn)單的一條直線就已經(jīng)不能夠?qū)颖具M(jìn)行很好地分類(lèi)了。
于是我們嘗試引入非線性的因素，對(duì)樣本進(jìn)行分類(lèi)。
在神經(jīng)網(wǎng)絡(luò)中也類(lèi)似，我們需要引入一些非線性的因素，來(lái)更好地解決復(fù)雜的問(wèn)題。而激活函數(shù)恰好就是那個(gè)能夠幫助我們引入非線性因素的存在，使得我們的神經(jīng)網(wǎng)絡(luò)能夠更好地解決較為復(fù)雜的問(wèn)題。
激活函數(shù)的定義及其相關(guān)概念
在ICML2016的一篇論文Noisy Activation Functions中，作者將激活函數(shù)定義為一個(gè)幾乎處處可微的 h : R → R 。
在實(shí)際應(yīng)用中，我們還會(huì)涉及到以下的一些概念：
a.飽和
當(dāng)一個(gè)激活函數(shù)h(x)滿(mǎn)足
當(dāng)一個(gè)激活函數(shù)h(x)滿(mǎn)足
