《主成分分析與因子》ppt課件-文庫吧

【正文】 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉坐標軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉坐標軸 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Yl， Y2除了可以對包含在 Xl， X2中的信息起著濃縮作用之外，還具有不相關的性質，這就使得在研究復雜的問題時避免了信息重疊所帶來的虛假性。二維平面上的個點的方差大部分都歸結在Yl軸上，而 Y2軸上的方差很小。 Yl和 Y2稱為原始變量 X1和 X2的綜合變量。 Y簡化了系統結構，抓住了主要矛盾。 為什么要根據方差確定主成分？ 情形 II下總分的方差為 0，顯然不能反映三個學生各科成績各有所長的實際情形，而紅色標記的變量對應的方差最大，可反映原始數據的大部分信息 有關矩陣知識的回顧 一、兩個線性代數的結論 ??????????????k??????????00000021AUU1kii ?., ??其中 是 A的特征根。 若 A是 k階實對稱陣 ， 則一定可以找到正交陣 U， 使 若上述矩陣 A的各特征根所對應的單位特征向量為 ??????????????kkkkkkkuuuuuuuuu????????2122221112111),( uuU則實對稱陣 屬于不同特征根所對應的特征向量構成的矩陣是正交的，即有 kuu ,1 ?令 AIUUUU ????即 ), . . . ,2,1,(,0 ,1 kjiji jiji ????????uu 主成分的計算結論 （一） 第一主成分 設 X的協方差陣為 ???????????????2212222111221kkkkk???????????????xΣ由于 Σ x為非負定的對稱陣 ， 則有利用線性代數的知識可得 ， 必存在正交陣 U， 使得 ????????????k??001?UΣU X UUΣ X ????????????k??001?或 其中 ?1， ?2， … ， ?k為 Σ x的特征根 ， 不妨假設 ?1? ?2 ? … ??k 。 而 U恰好是由特征根相對應的單位特征向量所組成的正交陣 。 ??????????????kkkkkkkuuuuuuuuu????????2122221112111),( uuU? ??? kiiii uuu ，， ?21uiki ,2,1 ??下面我們來看，是否由 U的第一列元素為組合系數所構成的原始變量的線性組合是否有最大的方差。 設有 k維 單位 向量 ? ?121212111211111)(auuuuuuaaUUaaa???????????????????????????????????????????????kkkkXYV ar??????????? ??? 121111 , kaaa ?aXa 112211111 ?????? kk XaXaXaY ?1111111111111111211121111)()(???????????????????????????????????????????aaaUUaauuaauuauauaauuakiiikiiikiikiiikiiii即 11 )( ??YV ar 當且僅當 a1 =u1時，即 時， 有最大的方差 ?1。因為 。 如果第一主成分的信息不夠，則需要尋找第二主成分。 kk XuXuY 11111 ??? ?1111 )( ???? uΣu XYVa r（二） 第二主成分 在約束條件 下，尋找第二主成分，取 0),(21 ?YYC o vkk XuXuY 21122 ??? ?因為 所以約束條件 滿足。 0),(),( 121122121 ???????? uuuΣuXuXu ?XC o vYYC o v 而 ， 對 k維單位向量 ， 若 且 則有 ???????????kiiikiiiiYV a r122122222 )()( uaauuaΣaa ??????kii222 )( ua 2?2a0),( 21 ?YYC o vXa 22 ??Y12 ua ??????kiii122 auua 2?22222 ??? ?????? aaaUUa 22kk XuXuXuY 22221122 ???? ? 所以如果取線性變換： 則 的方差就可達到第二大 。 2YkkkkkkkkkkXuXuXuYXuXuXuYXuXuXuY?????????????????22112222112212211111 第一主成分 第二主成分 … 第 k 主成分 依此類推 寫為矩陣形式： XUY ????????????????kkkkkkkuuuuuuuuu???????2122221112111),( uuU),( 21 ?? kXXX ?X是協方差矩陣 Cov(X)的單位特征根構成的矩陣 主成分的性質 一、均值 μUXU ??? )(E二 、 方差為所有特征根之和 ???kiiYV ar1)( 2222121 kk ?????? ??????? ?? 說明主成分分析把 k個隨機變量的總方差分解成為 k個不相關的隨機變量的方差之和 。 協方差矩陣 ?的 對角線上的元素之和等于特征根之和 。 其中 )( Xμ E?精度分析 1）貢獻率：第 i個主成分的方差在全部方差中所占比重 ，稱為它的貢獻率 。貢獻率說明該主成分反映了原來 k個指標多大的信息，有多大的綜合能力 。 ??kiii1?? 2）累積貢獻率：前 s個主成分共有多大的綜合能力，用這 s個主成分的方差和在全部方差中所占比重 來描述，稱為累積貢獻率。 ????kiisii11?? 我們進行主成分分析的目的之一是希望用盡可能少的主成分 Y1， Y2， … ， Ys（ s≤k） 代替原來的 k個指標 。到底應該選擇多少個主成分 ， 在實際工作中 ， 采用的主成分個數 s的多少取決于它們是否能夠反映原來變量85%以上的信息量 ， 即 當累積貢獻率 ≥85%時 , 主成分的個數就足夠了 。 一些常見的問題中主成分為 2到 3個 。 一個簡單的等價算法 1. 數據的標準化 對樣本數據矩陣 Xk?n中的數據 Xij進行標準化處理： iiijij SXXx .??處理后的數據構成的矩陣記為 x 2. 兩個重要結論 x的協方差矩陣 Cov(x)的特征根和單位特征向量與原來數據 X的協方差矩陣 Cov(X)的特征根和單位特征向量相同 . 由 X的原來數據所求得的相關系數矩陣 Rk? k = 標準化后的協方差矩陣 Cov(x) 3. 主成分的簡化算法 （ 1）由 X的原始數據求出 相關系數矩陣 Rk? k。 （ 2）求 R的特征根 ?1， ?2， … ， ?k（從大到小排列）及一組相互正交的單位特征向量 b1， b2， … ， bk。 （ 3）取 ?1， ?2， … ， ?q，使得累積貢獻率滿足 %85)()( 2121 ??????? kq ?????? ??則 即為所求。 XbXbXb TqqT