Hello，我是你們?nèi)艘?jiàn)人愛(ài)花見(jiàn)花開(kāi)的小花。又和大家見(jiàn)面了，今天我們來(lái)聊一聊多視圖學(xué)習(xí)利器------CCA。

一 典型相關(guān)分析的基本思想

當(dāng)我們研究?jī)蓚€(gè)變量x和y之間的相關(guān)關(guān)系的時(shí)候，相關(guān)系數(shù)（相關(guān)系數(shù)是用以反映變量之間相關(guān)關(guān)系密切程度的統(tǒng)計(jì)指標(biāo)。相關(guān)系數(shù)是按積差方法計(jì)算，同樣以?xún)勺兞颗c各自平均值的離差為基礎(chǔ)，通過(guò)兩個(gè)離差相乘來(lái)反映兩變量之間相關(guān)程度；著重研究線性的單相關(guān)系數(shù)）是最常用的變量：其中Sxx為標(biāo)準(zhǔn)差。

那我們?nèi)绾窝芯績(jī)山M變量之間的相關(guān)關(guān)系呢？比如（X1，X2，X3）與（y1,y2）我們是不應(yīng)該計(jì)算如下矩陣：，這樣把每一個(gè)變量之間都求出來(lái)了。但是我們這樣計(jì)算的時(shí)候是不是有點(diǎn)繁瑣，而且總是會(huì)忽略問(wèn)題的本質(zhì)?，F(xiàn)在我們?nèi)绻苷页鰞山M變量的各自的某個(gè)線性組合，討論線性組合之間的相關(guān)關(guān)系，那是不是更為簡(jiǎn)潔？

現(xiàn)在我們利用主成分分析的思想，可以把多個(gè)變量與多個(gè)變量之間的相關(guān)轉(zhuǎn)化成兩個(gè)變量之間的相關(guān)。例如原來(lái)（X1，X2，X3）與（y1,y2）可以分別組合成兩個(gè)變量U,V.我們假設(shè)：

另外。我們找出有最大可能的相關(guān)系數(shù)（a1,a2,a3）與（b1,b2）,這就是典型相關(guān)系數(shù)。也就是使。

典型相關(guān)分析最樸素的思想：首先分別在每組變量中找出第一對(duì)典型變量，使其具有最大相關(guān)性，然后在每組變量中找出第二對(duì)典型變量，使其分別與本組內(nèi)的第一對(duì)典型變量不相關(guān)，第二對(duì)本身具有次大的相關(guān)性。如此下去，直到進(jìn)行到R步，兩組變量的相關(guān)系被提取完為止，可以得到R組變量。

二 典型相關(guān)分析的數(shù)學(xué)表達(dá)

2,1 思考

現(xiàn)在考慮兩組變量的向量<