主成分分析與因子ppt課件-wenkub

　

【正文】 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Yl， Y2除了可以對包含在 Xl， X2中的信息起著濃縮作用之外，還具有不相關的性質，這就使得在研究復雜的問題時避免了信息重疊所帶來的虛假性。 為什么要根據方差確定主成分？ 情形 II下總分的方差為 0，顯然不能反映三個學生各科成績各有所長的實際情形，而紅色標記的變量對應的方差最大，可反映原始數據的大部分信息 有關矩陣知識的回顧 一、兩個線性代數的結論 ??????????????k??????????00000021AUU1kii ?., ??其中 是 A的特征根。 設有 k維 單位 向量 ? ?121212111211111)(auuuuuuaaUUaaa???????????????????????????????????????????????kkkkXYV ar??????????? ??? 121111 , kaaa ?aXa 112211111 ?????? kk XaXaXaY ?1111111111111111211121111)()(???????????????????????????????????????????aaaUUaauuaauuauauaauuakiiikiiikiikiiikiiii即 11 )( ??YV ar 當且僅當 a1 =u1時，即 時， 有最大的方差 ?1。 0),(),( 121122121 ???????? uuuΣuXuXu ?XC o vYYC o v 而 ， 對 k維單位向量 ， 若 且 則有 ???????????kiiikiiiiYV a r122122222 )()( uaauuaΣaa ??????kii222 )( ua 2?2a0),( 21 ?YYC o vXa 22 ??Y12 ua ??????kiii122 auua 2?22222 ??? ?????? aaaUUa 22kk XuXuXuY 22221122 ???? ? 所以如果取線性變換： 則 的方差就可達到第二大 。貢獻率說明該主成分反映了原來 k個指標多大的信息，有多大的綜合能力 。 一些常見的問題中主成分為 2到 3個 。 XbXbXb TqqTT YYY ??? . .. , 2211對于步驟（ 3），也可以按如下方式進行： 取所有特征根大于 1的特征向量（設有 s個）來計算主成分，即 XbXbXb TssTT YYY ??? . . . , 2211注：這種方法計算得到的主成分個數，可能與（ 3）中不同，因而有可能累積貢獻率達不到 85%以上。原始的變量是可觀測的顯在變量，而假想變量是 不可觀測的潛在變量 ，稱為（公共）因子。 而原來變量可用這三個公共因子可以表示為： niFFFx iiiii , . .. ,2,1332211 ????? ????公共因子 是不可觀測的潛在因子 。例如回歸分析中的多重共線性問題。 主成分分析 :原始變量的線性組合表示新的綜合變量，即主成分； 因子分析：潛在的假想變量和隨機影響變量的線性組合表示原始變量。 kiefax iii , . . . ,2,1, ???后來，美國心理學家 L. Thurstone認為智力因子多于一個，于是模型成為 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?因此，我們現在面臨的數據矩陣 Xk?n (k n)是 ????????????knkknnkxxxxxxxxxXXXn????????21222211121121. . .21指標指標指標對象：所面臨的 因子分析的（樣本觀察值的）數學模型 是 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?其中 m k。 基于這樣的假設，可以證明 （ 1） aij也是 xi與 fj之間的簡單相關系數 。實際上 ?ih)()()()(12222212iiiimiiijijieV a rheV a raaaefaExV a r?????????? ??2ih（ 4） fj因子的貢獻 (Contribution, 記為 Vj ), 是該因子在模型中的所有負載的平方和（負載矩陣第 j列元素的平方和）： 22221 kjjjj aaaV ???? ?由于 xi已標準化，所以 k個變量的總方差為 k， Vj / k表示第 j個公共因子的貢獻在所有方差中占的比例 。 如果用大寫字母表示相應的隨機變量（相應樣本值的總體變量），則 總體模型 可以表示為： kiFaFaFaX imimiii , .. .,2,1,2211 ?????? ??其矩陣表示為： εAFX ??其中， A是確定型矩陣， X, F都是標準化了的隨機向量，且 F1, F2, …, Fm互不相關，所以 E(X)=0, E(F)=0, Cov(F, F)=Cov(F)=Im?m, 隨機變量 ε1, ε2, …, εk與 F相互獨立，且 E(ε)=0, ????????????22100),()(kC o vC o v???????εεε。有時這樣的檢驗也稱為 適當性檢驗 。 相關系數實際上反映的是公共因子起的作用。 （ 2）巴特萊特球體相關檢驗 (Bartlett test of sphericity)。 KMO的值 在 ， 非常適合 KMO的值 在 ~， 很適合 KMO的值 在 ~， 適合 KMO的值 在 ~， 不很適合 KMO的值 在 ~， 很勉強 KMO的值 在 ， 不適合 注： 此外還有經驗方法，如果相關系數矩陣中大部分相關系數都小于 ，那么這些變量就不適合做因子分析。 我們的目標是要使第一個公共因子 f1的方差貢獻 2 12212111 kaaaV ???? ?盡可能大，同時必須滿足 ，所以目標函數和約束條件是： )(* XAA RT ?)(*或寫成矩 陣s . t .m ax*121221211XAA RraaaaaTijmttjitk???????形式?可以證明： 若 b1是對應于 R*(X)的最大特征值 λ1的任意一個模長為 1的特征向量，則 就是滿足上述數學規劃問題的一個解 。 （ 2） 若 ε未知 ，求負載矩陣 A的方法（事實上通常都未知 ε） 現 ε未知，先 用 X的相關系數矩陣 R(X)代替上面的R*(X)。若 222 ba ??TTR 2211)( aaaaX ??接近對角矩陣，則說明剩下的主要是特殊因子的影響了，計算停止。 確定因子個數的方法。 上述求公共因子的方法稱為 主成分法。由于 Ak?m是負載矩陣，因此AAT=R*(X)。 2. 旋轉并解釋因子 負載矩陣 Ak?m不是唯一的，對任意已經得到的一個負載矩陣 Ak?m， 都可以通過右乘一個正交矩陣 T得到一個新的負載矩陣 AT。 坐標軸的旋轉，有兩種基本方式： 正交旋轉 （保持因子之間的正交性）與 斜交旋轉 （旋轉后因子之間不再保持正交）。 其中 方差最大法是最常用的 方法。 對公共因子實際意義的解釋 在旋轉完成后，按照負載絕對值的大小，對公共因子的實際含義進行解釋。實際上，絕大多數因子分析并沒有產生如此明確的結果。第二個公共因子 f2對雞肉、魚肉影響大，可以解釋為營養雖好，但制作不便，或食用相對較麻煩。因此需要計算 因子值（得分 , score） 。 在表達式 fj = xβj 兩端左乘 xT, 得 xTfj = xTxβj , 即 ?????????????????????????????????????????????????????????????????kjjjnknnkknkkknnnjjjnkkknnxxxxxxxxxxxxxxxxxxfffxxxxxxxxx??????????????????????????2121222211121121222121211121212221212111上式左端的 第 i個分量 可以寫成（注