激活函數(shù)的作用
首先，激活函數(shù)不是真的要去激活什么。在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)的作用是能夠給神經(jīng)網(wǎng)絡(luò)加入一些非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以更好地解決較為復(fù)雜的問題。
比如在下面的這個(gè)問題中：
如上圖(圖片來源)，在最簡(jiǎn)單的情況下，數(shù)據(jù)是線性可分的，只需要一條直線就已經(jīng)能夠?qū)颖具M(jìn)行很好地分類。
但如果情況變得復(fù)雜了一點(diǎn)呢？在上圖中(圖片來源)，數(shù)據(jù)就變成了線性不可分的情況。在這種情況下，簡(jiǎn)單的一條直線就已經(jīng)不能夠?qū)颖具M(jìn)行很好地分類了。
于是我們嘗試引入非線性的因素，對(duì)樣本進(jìn)行分類。
在神經(jīng)網(wǎng)絡(luò)中也類似，我們需要引入一些非線性的因素，來更好地解決復(fù)雜的問題。而激活函數(shù)恰好就是那個(gè)能夠幫助我們引入非線性因素的存在，使得我們的神經(jīng)網(wǎng)絡(luò)能夠更好地解決較為復(fù)雜的問題。
激活函數(shù)的定義及其相關(guān)概念
在ICML2016的一篇論文Noisy Activation Functions中，作者將激活函數(shù)定義為一個(gè)幾乎處處可微的 h : R → R 。
在實(shí)際應(yīng)用中，我們還會(huì)涉及到以下的一些概念：
a.飽和
當(dāng)一個(gè)激活函數(shù)h(x)滿足
limn→+∞h′(x)=0limn→+∞h′(x)=0
時(shí)我們稱之為右飽和。
當(dāng)一個(gè)激活函數(shù)h(x)滿足
limn→?∞h′(x)=0limn→?∞h′(x)=0
時(shí)我們稱之為左飽和。當(dāng)一個(gè)激活函數(shù)，既滿足左飽和又滿足又飽和時(shí)，我們稱之為飽和。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式