最近想寫一篇系列博客比較系統(tǒng)的解釋一下 SLAM 中運(yùn)用到的優(yōu)化理論相關(guān)內(nèi)容,包括線性最小二乘、非線性最小二乘、最小二乘工具的使用、最大似然與最小二 乘的關(guān)系以及矩陣的稀疏性等內(nèi)容。一方面是督促自己對(duì)這部分知識(shí)進(jìn)行總結(jié),另一方面也希望能夠?qū)ζ渌擞兴鶐椭Ｓ捎趦?nèi)容比較多希望能夠堅(jiān)持寫完。
本篇博客主要講解線性最小二乘問題，主要包括以下內(nèi)容：
最小二乘問題的定義
正規(guī)方程求解
喬姆斯基分解法求解
QR分解法求解
奇異值分解法求解
齊次方程的最小二乘
一. 問題的定義
最小二乘問題通?？梢员硎鰹?通過搜集到的一些數(shù)據(jù)(獲取得到的樣本),對(duì)某一個(gè)模型進(jìn)行擬合,并盡可能的使得模型結(jié)果和樣本達(dá)到某種程度上的最佳擬合:
轉(zhuǎn)化為數(shù)學(xué)表達(dá)式為:
其中 x 為模型中參數(shù)所組成的向量,e 通常被稱為殘差向量(residual vector).
現(xiàn)在假設(shè)我們的模型函數(shù)為 Ax,樣本為 b 且方程數(shù)大于未知量數(shù)則有:
轉(zhuǎn)化為最小二乘表達(dá)式為:
該方程通常可以通過正規(guī)方程、QR 分解、喬姆斯基分解(Cholesky decomposition)和奇異值分解(SVD)等方法求解。
二. 求解方法
2.1. 正規(guī)方程(Normal Equation)
將展開可以得到:
為了求解得到該方程的最優(yōu)解(即最小值),我們可以求解其對(duì)于參數(shù) x 的偏導(dǎo)數(shù),并令其等于零:
化簡后得到:
以上被稱為最小二乘的正規(guī)方程(Normal Equation)。進(jìn)一步求解可得到:
該結(jié)果亦可表示為矩陣的偽逆形式(偽逆為逆矩陣廣義形式,奇異陣或非方陣不存在逆矩陣,但可以求解其偽逆矩陣)
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式