生物學(xué)上具體的專(zhuān)業(yè)術(shù)語(yǔ)我們這里不展開(kāi)描述，我們總結(jié)一下神經(jīng)元結(jié)構(gòu)的特點(diǎn)：
每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；
神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類(lèi)型；
神經(jīng)元具有空間整合特性和閾值特性；
神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸延擱。
由此兩位大牛提出了神經(jīng)網(wǎng)絡(luò)的早期M-P模型，如下圖：
該模型的基本思想很簡(jiǎn)單，就是仿照神經(jīng)元接受多個(gè)輸入信號(hào)，由于突觸的性質(zhì)和突觸強(qiáng)度不同，所以對(duì)神經(jīng)元的影響程度不同，我們加上了權(quán)重的概念，其正負(fù)模擬了神經(jīng)元中的興奮和抑制作用，最后所有信號(hào)累加整合，其值為：
輸入信號(hào)有了，神經(jīng)元是否被激活，要看輸入信號(hào)是否超過(guò)了某一閾值電位，如果被激活神經(jīng)元輸出脈沖，否則神經(jīng)元不會(huì)輸出信號(hào)，其過(guò)程如下函數(shù)：
當(dāng)然這里我們也可以寫(xiě)成矩陣的形式
類(lèi)似神經(jīng)元結(jié)構(gòu)的特點(diǎn)，經(jīng)典的M-P模型的特點(diǎn)可以總結(jié)如下：
每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；
神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類(lèi)型；
神經(jīng)元具有空間整合特性和閾值特性；
神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸延擱；
忽略時(shí)間整合作用和不應(yīng)期；
神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。（神經(jīng)網(wǎng)絡(luò)中權(quán)重在訓(xùn)練結(jié)束后是固定的）
結(jié)合兩個(gè)公式來(lái)看這幾個(gè)特點(diǎn)：對(duì)于特點(diǎn)1，我們的公式有多個(gè)x輸入信號(hào)，但我們的輸出信號(hào)只有一個(gè)o；權(quán)重的正負(fù)體現(xiàn)了特點(diǎn)2中輸入分興奮和抑制；對(duì)于第3個(gè)特點(diǎn)，我們第2個(gè)公式中只有當(dāng)輸入信號(hào)的累加和超出電位閾值才會(huì)有輸出；另外我們的公式只考慮了所有輸入信號(hào)的整合，并沒(méi)有去考慮時(shí)間整合（就是不管你信號(hào)早到晚到，只要到了都是好信號(hào)），體現(xiàn)了特性4和5。
隨著M-P模型的提出，神經(jīng)網(wǎng)絡(luò)的研究有三次興起，最近的一次就是隨著卷積神經(jīng)網(wǎng)絡(luò)提出的深度學(xué)習(xí)的火熱。
早期神經(jīng)網(wǎng)絡(luò)
M-P模型很簡(jiǎn)單，僅僅是一種單個(gè)神經(jīng)元上的建模，并沒(méi)有形成網(wǎng)絡(luò)，沒(méi)法去完成一些特定的任務(wù)。由此人們提出了神經(jīng)網(wǎng)絡(luò)的概念，而早期的研究，由于當(dāng)時(shí)硬件水平和計(jì)算條件的限制，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般比較簡(jiǎn)單。
兩層神經(jīng)網(wǎng)絡(luò)
由此1958年，計(jì)算科學(xué)家Rosenblatt提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。他給它起了一個(gè)名字“感知器”（Perceptron）
其結(jié)構(gòu)如下圖：
這種簡(jiǎn)單的單層神經(jīng)網(wǎng)絡(luò)有點(diǎn)類(lèi)似于邏輯回歸，通過(guò)簡(jiǎn)單的權(quán)重訓(xùn)練，能夠處理簡(jiǎn)單的線性分類(lèi)問(wèn)題，類(lèi)似下圖：
而對(duì)于非線性的分類(lèi)問(wèn)題（如經(jīng)典的異或問(wèn)題）卻無(wú)能為力，后來(lái)研究人員也發(fā)現(xiàn)了這一點(diǎn)，神經(jīng)網(wǎng)絡(luò)研究遍進(jìn)入了低谷期（好傷心TT）
