在前面我們講到了DNN,以及DNN的特例CNN的模型和前向反向傳播算法,這些算法都是前向反饋的,模型的輸出和模型本身沒(méi)有關(guān)聯(lián)關(guān)系。今天我們就討論另一類輸出和模型間有反饋的神經(jīng)網(wǎng)絡(luò):循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks ,以下簡(jiǎn)稱RNN),它廣泛的用于自然語(yǔ)言處理中的語(yǔ)音識(shí)別,手寫(xiě)書(shū)別以及機(jī)器翻譯等領(lǐng)域。
1. RNN概述
在前面講到的DNN和CNN中,訓(xùn)練樣本的輸入和輸出是比較的確定的。但是有一類問(wèn)題DNN和CNN不好解決,就是訓(xùn)練樣本輸入是連續(xù)的序列,且序列的長(zhǎng)短不一,比如基于時(shí)間的序列:一段段連續(xù)的語(yǔ)音,一段段連續(xù)的手寫(xiě)文字。這些序列比較長(zhǎng),且長(zhǎng)度不一,比較難直接的拆分成一個(gè)個(gè)獨(dú)立的樣本來(lái)通過(guò)DNN/CNN進(jìn)行訓(xùn)練。
而對(duì)于這類問(wèn)題,RNN則比較的擅長(zhǎng)。那么RNN是怎么做到的呢?RNN假設(shè)我們的樣本是基于序列的。比如是從序列索引1到序列索引τ
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
