主成分分析與因子ppt課件-文庫吧在線文庫

　　

【正文】 auaauuakiiikiiikiikiiikiiii即 11 )( ??YV ar 當(dāng)且僅當(dāng) a1 =u1時，即 時， 有最大的方差 ?1。 ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Yl， Y2除了可以對包含在 Xl， X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問題時避免了信息重疊所帶來的虛假性。 設(shè)有 n個樣品，每個樣品有兩個觀測變量Xl和 X2，在由變量 Xl和 X2 所確定的二維平面中，n個樣本點(diǎn)所散布的情況如橢圓狀。 ?????????????kXXX?21X設(shè) 是隨機(jī)向量。 更有意思的是 ，這三個變量其實(shí)都是可以直接測量的 。 ? 在多數(shù)實(shí)際問題評估中，不同指標(biāo)之間是有一定相關(guān)性。同時根據(jù)實(shí)際需要從中可取幾個較少的綜合指標(biāo)盡可能多地反映原來的指標(biāo)的 信息 。 主成分分析是考察多個數(shù)值變量間相關(guān)性的一種多元統(tǒng)計方法。 協(xié)方差矩陣的意義在于它刻畫了變量之間的相關(guān)性 主成分分析的目標(biāo) 就是求原來變量的線性組合 Yi： kkkkkkkkkkXuXaXaYXaXaXaYXaXaXaY?????????????????22112222112212211111寫成矩陣形式就是 ?????????????????????????????????????kkkkkkkk XXXaaaaaaaaaYYY?????????2121222211121121或 AXY ?而且使得 滿足 ? ?TkYYY ?21?YY的協(xié)方差矩陣 Cov(Y)為對角矩陣，即諸 Yi互不相關(guān)。 如果我們將 Xl 軸和 X2軸先平移，再同時按逆時針方向旋轉(zhuǎn) ?角度，得到新坐標(biāo)軸 Yl和 Y2。 Y簡化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。 kk XuXuY 11111 ??? ?1111 )( ???? uΣu XYVa r（二） 第二主成分 在約束條件 下，尋找第二主成分，取 0),(21 ?YYC o vkk XuXuY 21122 ??? ?因為 所以約束條件 滿足。到底應(yīng)該選擇多少個主成分 ， 在實(shí)際工作中 ， 采用的主成分個數(shù) s的多少取決于它們是否能夠反映原來變量85%以上的信息量 ， 即 當(dāng)累積貢獻(xiàn)率 ≥85%時 , 主成分的個數(shù)就足夠了 。這幾個假想變量能夠反映原來眾多變量的主要信息。這會對分析帶來許多麻煩。他提出的問題是：學(xué)生的 k門功課的成績 xi是由一個起公共作用的智力因子 f與起特殊作用的因子 ei所決定的。若 則表明 xi的公共因子 (f1, f2, …, fm)解釋了 xi的 96%的方差（注意 xi的方差等于 1）。 只有在相關(guān)性較高時，才適合做因子分析 。 KMO過小，則不適合作因子分析。 從 求第一個公共因子 f1的負(fù)載向量 a1開始。 否則，再求次大特征根 λ2對應(yīng)的單位特征向量 b2，并令 。然后用剩下的特征根對應(yīng)的單位特征向量來計算公共因子負(fù)載。也就是說負(fù)載矩陣是不唯一的。 ?等量最大法 (Quimax)：把上兩種方法結(jié)合起來的方法。 因子意義的解釋是十分主觀的，在許多研究的資料中，因子分析模型都用少數(shù)可闡述因子提供了合理解釋。例如利用公共因子進(jìn)行回歸分析、作聚類分析、進(jìn)行評價等等。因此矩陣表達(dá)式 xTfj = xTxβj就是 aj = Rβj 于是 βj = R1aj, 從而 fj = x R1aj 注： 這種確定因子值的方法在 SPSS中稱為回歸方法，但它實(shí)際上與第 10章中討論的回歸分析無關(guān)。則 jkjjjnknnkknjjjjxxxxxxxxxfffx βf ???????????????????????????????????????????????????????2121222211121121其中 βj是待定的系數(shù)矩陣，而且不能依靠 fj來估計。例如可解釋為制作方便、食用方便等因素。斜交旋轉(zhuǎn)的缺點(diǎn)是，求出的兩兩正交的公共因子，旋轉(zhuǎn)后，正交性又喪失了。從而降低因子的綜合性，使其實(shí)際意義凸現(xiàn)出來 。對于任意的正交矩陣 Tm?m ，有 T T=T1。 上面出現(xiàn)的向量 aj與 bj的關(guān)系是 ， 用其分量表示就是 jjj ba ??mjbbbaaajkjjjkjjj, . . . ,2,1,2121?????????????????????????????????（ 3）為了使問題簡化，僅選解釋作用比較大的部分公共因子。 )( 11*1 aX fC O VR ??222 ba ??同理可求出 a3, …, am。數(shù)據(jù)是否適合做因子分析一般采用如下主觀判斷。它是所有變量 X1, X2, …, Xk的簡單相關(guān)系數(shù)的平方和與這些變量之間的偏相關(guān)系數(shù)的平方和之差。 對應(yīng)于樣本模型的總體模型 樣本模型 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?可以簡單地用矩陣表達(dá)如下： eAfx ??式中， x=(x1, x2, …, xk)T, f=(f1, f2, …, fm)T, e=(e1, e2, …, ek)T ?????????????kmkkmmaaaaaaaaa???????212222111211A是因子負(fù)載矩陣。 除了假設(shè)公共因子之間互不相關(guān)（兩兩正交）外，進(jìn)一步還假設(shè)特殊因子也互不相關(guān)，并且公共因子與特殊因子之間也互不相關(guān)。 注： 因子分析與回歸分析不同，因子分析中的因子是一個比較抽象的概念，而回歸因子有非常明確的實(shí)際意義； 主成分分析分析與因子分析也有不同，主成分分析僅僅是變量變換，而因子分析需要構(gòu)造因子模型。因子分析方法可以通過 24個變量，找出反映商店環(huán)境、商店服務(wù)水平和商品價格等少數(shù)幾個潛在的因子（例如三個），對商店進(jìn)行綜合評價。 （ 3）取 ?1， ?2， … ， ?q，使得累積貢獻(xiàn)率滿足 %85)()( 2121 ??????? kq ?????? ??則 即為所求。 其中 )( Xμ E?精度分析 1）貢獻(xiàn)率：第 i個主成分的方差在全部方差中所占比重 ，稱為它的貢獻(xiàn)率 。 ??????????????kkkkkkkuuuuuuuuu????????2122221112111),( uuU? ??? kiiii uuu ， ?21uiki ,2,1 ??下面我們來看，是否由 U的第一列元素為組合系數(shù)所構(gòu)成的原始變量的線性組合是否有最大的方差。經(jīng)過上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到 Yl軸上，對數(shù)據(jù)中包含的信息起到了濃縮作用。 幾何解釋示例 ? 2X1X? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?