畢業設計-主成分分析-wenkub

　

【正文】 方法就是降維映射方法，而降維對分方法中所得到的新特征D，D是原有特征X1,X2,X3的二次函數，因此這種映射稱為非線性映射。即使能借助計算機求解，也很難滿足實時處理的要求，而且從編碼應用看還需要將這些信息傳輸給接收端。設有一批樣品，假定對每個樣品取n個特征，即X=(x1，x2，……，xn)T,要求構造n個新特征y1，y2，……，yn，并使得它們滿足以下1）、2）、3）3個條件：1) 每個新特征是原有各特征的線性組合，即 yi=ui1x1+ui2x2+…+uinxn，i=1,2,…,n， ①或yi=uT iX，ui=(ui1,ui2,…，uin)T,i=1,2,…,n,其中uij是常數，2) 各個新變量之間是互不相關的，即相關系數為零，即 r(yi,yj)=0, i,j=1,2,…n； i≠j ②3) u1使y1的方差達到極大值，u2使y2的方差達到次大，即 var(y1)≥var(y2)≥…≥var(yn)≥0 ③需要注意的是上述方差達到極大須加上某種限制，否則線性組合的權值無窮大就沒有意義了，實際問題常規定ui12 +ui22+…+uin2 =1以方便計算。這里S的下表x表示這是對應于舊特征x1，x2，…，xn的協方差矩陣，求出的n個特征值，…，和與之對應的特征向量u1，u2，…，un，每個是一個數，而與之對應的特征向量ui是一個列向量ui(ui1，ui2，……，uin)T,它們之間的關系是 Sxui=ui， i=1,2,…,n ④關于樣品協方差的定義如下：在N個樣品中，第i個特征和第j個特征的之間的協方差為，則可以用如下公式求出，Sij= ⑤表示樣品點中第i個特征的均值，由此協方差公式可以的出Sx是對稱矩陣，即，因而在計算時只要求出它的上三角形或下三角形部分即可，并且Sx主對角線元素就是特征的方差。令 yi=uT iX，i=1,2,…,n，則也就是要滿足如下關系：=或Y=UX ⑥ 于是y1，y2，……，yn就是由x1，x2，……，xn經線性變換而得到的新特征。假定原始資料矩陣已知。在Sy中，…，分別等于新特征y1，y2，……，yn的方差，而且++…+之值仍然等于S11+S22+…+Snn.3） 由表達式①可以看出主成分的個數最多有n，否則主成分分析數據就毫無意義，由于總方差不增不減，y1，y2等前幾個綜合變量的方差較大，而yn1，yn等后幾個綜合變量的方差較小。如下圖 x2 x2 y2 y1 y2 y1 2 2 1 1 2 1 1 2 x1 2 1 1 2 x1 1 1 2 2 下面分別對兩組數據計算主成分的累計方差貢獻率，對PA有：/(+)=100%，/(+)=0即只用第一主成分y1已包含了原數據的全部信息，這一點在本例中是顯而易見的，因為全部的四個點都分布在y1軸上.對PB有： /(+)=80%，/(+)=20%即只用第一主成分y1時，要損失原有信息的20%.接下來我們將兩組數據合并為一組，再進行一次主成分分析，合并后的樣數為N′=10，協方差矩陣、特征值、特征向量如下：特征值′=36/7，′=4/7，特征向量uu2與上面的相同，組在合并兩個樣本數據后只有協方差與特征值發生變化，其累計貢獻率如下： /(+)=90% , /(+)=10%即此時只用第一主成分y1時，要損失原有信息的10%，通過上面的例子可以看出，主成分的最少可以為一個，并且第一個主成分也有可能100%包含原來指標的所有信息，這是最理想的一種情形，實際上，處理問題時我們總會按序多取幾個主成分以保證累計貢獻率足夠大。但是，總體來看，主成分分析方法克服了多重共線性問題，抓住了分析問題的主要矛盾，簡化了計算過程，對很多問題來說，都是一種有效實用的分析方法，這也是該方法應用領域越來越廣闊的原因之一。每份問卷中包含24個(依次用XXX…、X24表示)涉及到生源問題的相關指標(問卷內容見下表)：調查內容主要為家庭影響、個人因素、社會輿論三大方面。 針對有24個特征指標的273份樣品，我們在分析的第一步就是要設法對該27324原始數據矩陣進行標準化處理，然后求解相關系數矩陣，之后計算特征值與特征向量，得出主成分的貢獻率及累計貢獻率后對主成分個數進行取舍，最后如果有必要可以計算各主成分的載荷。同時第6個和第7個相關性也比較大，它們都是關于父母親職業的特征。函數作用：zscore(A)，用matlab自帶的標準化函數對原始數據進行標準化。 endend注：本例中用matlab自帶的zscore函數進行標準化2 %function result=cwfac(vector)。特征向量(vec)及特征值(val)：\n39。特征根排序：\n39。,newy)rate=y/sum(y)。newi=[]。 end end %記下累積貢獻率大85%的特征值的序號放入newi中fprintf(39。主成分載荷：\n39。csum=sum(sco,2)。計算得分：\n39。)v1=zscore(vector)result=cwfac(v1)。結束語 主成分分析能降低所研究的數據的空間維數，是把原來多個變量劃為少數幾個綜合指標的一種統計分析方法，關于主成分的實際意義要結合具體問題和有關專業知識才能給出合理的解釋。同時為了最大限度的確保我們的畢業設計能夠順利的預期合格完成，謝老師特意給我們安排了她的三個研究生，以便我們隨時對畢業設計過程中的疑難問題進行請教，這對我的畢業設計的完成起到了巨大的作用，這里我對三位學長的幫助表示衷心的感謝。看到畢業設計題目時就感覺無從下手，這么深奧的課題似乎感覺到是一個空前的挑戰，但是在謝老師和幾位學長的指導下，把一系列復雜的問題都轉變的簡單化，為我將來更有信心的去面對復雜問題提供了經驗。附錄 【參考文獻】[1](希)Sergios Theodoridis，(希)Konstantinos Koutroumbas. 模式識別. 李晶皎等譯. 北京: 電子工業出版社，2006.[2](美)Mario F Triola. 初級統計學. 北京: 清華大學出版社，2008.[3](美)Richard A Johnson，(美)Dean W Whichern. Applied Multivariate Statistical Analysis(應用多元統計).北京: 清華大學出版社，2008.[4]李靜萍，謝邦昌.