最近想寫一篇系列博客比較系統(tǒng)的解釋一下 SLAM 中運(yùn)用到的優(yōu)化理論相關(guān)內(nèi)容,包括線性最小二乘、非線性最小二乘、最小二乘工具的使用、最大似然與最小二 乘的關(guān)系以及矩陣的稀疏性等內(nèi)容。一方面是督促自己對(duì)這部分知識(shí)進(jìn)行總結(jié),另一方面也希望能夠?qū)ζ渌擞兴鶐椭?。由于?nèi)容比較多希望能夠堅(jiān)持寫完。
本篇博客主要講解線性最小二乘問題，主要包括以下內(nèi)容：
最小二乘問題的定義
正規(guī)方程求解
喬姆斯基分解法求解
QR分解法求解
奇異值分解法求解
齊次方程的最小二乘
一. 問題的定義
最小二乘問題通常可以表述為,通過搜集到的一些數(shù)據(jù)(獲取得到的樣本),對(duì)某一個(gè)模型進(jìn)行擬合,并盡可能的使得模型結(jié)果和樣本達(dá)到某種程度上的最佳擬合:
轉(zhuǎn)化為數(shù)學(xué)表達(dá)式為:
其中 x 為模型中參數(shù)所組成的向量,e 通常被稱為殘差向量(residual vector).
現(xiàn)在假設(shè)我們的模型函數(shù)為 Ax,樣本為 b 且方程數(shù)大于未知量數(shù)則有:
轉(zhuǎn)化為最小二乘表達(dá)式為:
該方程通?？梢酝ㄟ^正規(guī)方程、QR 分解、喬姆斯基分解(Cholesky decomposition)和奇異值分解(SVD)等方法求解。
二. 求解方法
2.1. 正規(guī)方程(Normal Equation)
將展開可以得到:
為了求解得到該方程的最優(yōu)解(即最小值),我們可以求解其對(duì)于參數(shù) x 的偏導(dǎo)數(shù),并令其等于零:
化簡后得到:
以上被稱為最小二乘的正規(guī)方程(Normal Equation)。進(jìn)一步求解可得到:
該結(jié)果亦可表示為矩陣的偽逆形式(偽逆為逆矩陣廣義形式,奇異陣或非方陣不存在逆矩陣,但可以求解其偽逆矩陣)
