引言
在上一節(jié)線性分類器中提到，分類方法主要有兩部分組成：1.基于參數(shù)的評分函數(shù)。能夠?qū)颖居成涞筋悇e的分值。2.損失函數(shù)。用來衡量預(yù)測標(biāo)簽和真是標(biāo)簽的一致性程度。這一節(jié)介紹第三個重要部分：最優(yōu)化（optimization）。損失函數(shù)能讓我們定量的評估得到的權(quán)重W的好壞，而最優(yōu)化的目標(biāo)就是找到一個W，使得損失函數(shù)最小。工作流程如下圖：
(x,y)是給定的數(shù)據(jù)集，W是權(quán)重矩陣，通過初始化得到。向前傳遞到評分函數(shù)中得到類別的評分值并存儲在向量f中。損失函數(shù)計算評分函數(shù)值f與類標(biāo)簽y的差值，正則化損失只是一個關(guān)于權(quán)重的函數(shù)。在梯度下降過程中，我們計算權(quán)重的梯度，然后使用梯度更新權(quán)重。一旦理解了這三個部分的關(guān)系，我們可以用更加復(fù)雜的評分函數(shù)來代替線性映射，比如神經(jīng)網(wǎng)絡(luò)、甚至卷積神經(jīng)網(wǎng)絡(luò)等，而損失函數(shù)和優(yōu)化過程這兩部分則相對保持不變。
梯度下降
梯度下降的思想是:要尋找某函數(shù)的最值，最好的方法就是沿著函數(shù)的梯度方向?qū)ふ?，移動量的大小稱為步長。梯度下降的公式如下：
我們常常聽說過梯度上升、梯度下降，那么兩者的區(qū)別又是什么呢？其實這兩者是一樣的，只是公式中的減法變成加法，因此公式為：
梯度上升是用來求函數(shù)的最大值，而梯度下降是用來求最小值。普通的梯度下降版本如下：
#
延伸閱讀
- ssh框架
2016-09-30
- 阿里移動安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍牙鎖
2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe
2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】
2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞
2017-07-26
- 從棧不平衡問題 理解 calling convention
2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明
2017-07-26
- Swift實現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解
2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應(yīng)用分析
2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二)
2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式