現代統計學分析方法與應用聚類分析(編輯修改稿)

　

【文章內容簡介】 這些數據分成 K個類會導致無意義的聚類。 許多聚類算法都要求給定 K，而選擇幾種算法進行反復檢驗，對于結果的分析也許是有好處的。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 63 167。 實際例子 目錄 上頁 下頁 返回 結束 例 城鎮居民消費水平通常用表 104中的八項指標來描述，八項指標間存在一定的線性相關。為研究城鎮居民的消費結構，需將相關性強的指標歸并到一起，這實際就是對指標聚類。原始數據列于表 。將原始數據錄入 SPSS，并依次點擊“ Analyze”→“Correlate” →“Bivariate” ，打開Bivariate Correlations對話框，把八個變量選入Variables欄中，單擊“ OK”，得到這八個指標對應的相關系數，列于表 105。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 64 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 65 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 66 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 67 167。 實際例子 目錄 上頁 下頁 返回 結束 表 r4,8＝ ，將 G4和 G8并成一新類 G9，然后計算 G9與各類的相關系數，再找最大的相關系數，每次縮小一類得圖 8－ 4。我們可以看出全國城鎮居民得消費結構大致可以分為三個方面，一類是各種副食、日用品及交通通信、文化教育和住房等支出，這是在消費結構中起主導作用的方面；其次是居民購買煙、酒、飲料及著裝支出；糧食和水電燃料是兩項很重要的消費指標，但目前在城鎮居民的消費中占的比例較小，可將它們歸并為同一類。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 68 167。 實際例子 目錄 上頁 下頁 返回 結束 上面介紹的幾種系統聚類方法，并類的原則和步驟基本一致，所不同的是類與類的距離有不同的定義。其實可以把這幾種方法統一起來，有利于在計算機上靈活地選擇更有意義的譜系圖。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 69 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 70 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 71 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 72 167。 實際例子 目錄 上頁 下頁 返回 結束 對例 ，我們采用歐氏距離分別用類平均法、最短距離法、最長距離法把 31個省市分類。類平均法聚類在 SPSS中的操作為：點選“ Analyze”→“Classify” →“Hierarchical Cluster” ，打開Hierarchical Cluster Analysis對話框，將八個聚類指標選入Variables欄中，將表示地區的變量選入 Label Cases By欄中，按“ Plots”按鈕，在彈出的窗口中選中 Dendrogram（譜系圖）選項，按“ Continue”返回主對話框，在按“ Method”按鈕，在 Cluster Method下拉菜單中選擇 Betweengroups linkage（組間連接法，即類平均法）選項，返回主對話框后按“ OK”即可得到聚類結果。最短距離法和最長距離法操作步驟與類平均法一樣，只不過要在Cluster Method下拉菜單中分別選擇 Nearest Neighbor和Furthest Neighbor選項。圖 101圖 101圖 1014分別顯示了三種方法的分類結果。為便于對照，將三種方法分類的結果綜合列于表 106。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 73 167。 實際例子 目錄 上頁 下頁 返回 結束 圖 類平均法譜系圖 2020/10/5 中國人民大學六西格瑪質量管理研究中心 74 167。 實際例子 目錄 上頁 下頁 返回 結束 圖 最短距離法譜系圖 2020/10/5 中國人民大學六西格瑪質量管理研究中心 75 167。 實際例子 目錄 上頁 下頁 返回 結束 圖 最長距離法譜系圖 2020/10/5 中國人民大學六西格瑪質量管理研究中心 76 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 77 167。 實際例子 目錄 上頁 下頁 返回 結束 表 106（續） 2020/10/5 中國人民大學六西格瑪質量管理研究中心 78 167。 實際例子 目錄 上頁 下頁 返回 結束 直觀看出，類平均法分為三類：｛ 1， 9， 11， 19｝為第一類，｛ 13， 2， 22， 10｝為第二類，其他為第三類；最短距離法分為兩類，｛ 1， 9， 11， 19｝為一類，其余的省市歸為一大類；最長距離法也分為三類：｛ 1， 9， 11， 19｝為第一類，｛ 10， 22， 2，13， 26｝為第二類，其余的省市為第三類。很顯然，這三種方法的分類效果是有差異的。那么究竟采用哪一種分類為好呢？一種方法是根據分類問題本身的知識來決定取舍。另一種方法是將幾種方法的共性取出來，有爭議的樣品根據其實際情況再劃分。綜合考慮這兩點，筆者認為從全國各省、市、區的消費情況來看，分為三類較為合適。由分類結果可以看出，類平均法和最長距離法的分類結果基本上一致，只是在西藏應該劃入第二類還是第三類上存在差異，從表 ，西藏的經濟發展和消費水平與始終處在第二類的福建、天津、重慶和江蘇有較大差距，因此劃入第三類較為合適，即這個聚類分析用類平均法較為合適。 更多的聚類分析方法請參考文獻 [16]、 [19]。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 79 167。 實際例子 目錄 上頁 下頁 返回 結束 例 10． 5 我們仍以 2020年 31個省、市、自治區的城鎮居民月平均消費支出數據為例，在 SPSS中利用 K均值法對 31個省、市、自治區的城鎮居民消費水平進行聚類分析。 在 SPSS中依次點擊“ Analyze”→“Classify” →“K Means Cluster”，打開 KMeans Cluster Analysis對話框，將 8個變量選入 Variable框中，將表示地區的變量選入 Label Cases By欄中，將分類數（ Number of clusters）定為 3。另外，點擊 Iterate按鈕可以在其中輸入最大迭代次數（ Maximum iterations）和收斂標準（ Convergence criterion）；在 Save按鈕中可以選擇保存樣本的聚類結果（ Cluster membership）和各樣本距各自中心點的距離（ Distance from cluster center）；在 Options按鈕中可以選擇輸出初始類中心點、方差分析表等結果，讀者可以根據實際情況來選擇。點擊“ OK”得到聚類結果如下： 2020/10/5 中國人民大學六西格瑪質量管理研究中心 80 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 81 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 82 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 83 167。 實際例子 目錄 上頁 下頁 返回 結束 2020/10/5 中國人民大學六西格瑪質量管理研究中心 84 167。 實際例子 目錄 上頁 下頁 返回 結束 其中第一個表顯示了 3個類的初始類中心情況，可以看出，第一類的各指標值總體上是最優的，往下依次為第二類和第三類。第二個表展示了 3個類中心點每次迭代的偏移情況，可知第一次迭代 3個類的中心點分別偏移了 ， ，直到第三次迭代 3個類的中心點偏移才達到指定判定標準（ 0）。第三個表展示了 3個類的最終類中心情況，總體來看，第一類各指標值仍是最優的。最后一個表給出了各類中的樣品數目，第一類包括 4個地區，第二類包括 6個地區，第三類包括 21個地區。如果在操作過程中選擇了保存樣本的聚類結果，可以返回數據表，看到名為 QCL_1的變量，其各值表示對應地區所屬的類別：北京、上海、浙江和廣東為第一類；天津、江蘇、福建、山東、湖南和重慶為第二類；其他為第三類。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 85 2020/10/5 中國人民大學六西格瑪質量管理研究中心 86 第十一章 判別分析 目錄 上頁 下頁 返回 結束 ?167。 判別分析的基本思想 ?167。 距離判別 ?167。 Bayes判別 ?167。 Fisher判別 ?167。 逐步判別 ?167。 判別分析應用的幾個例子 2020/10/5 中國人民大學六西格瑪質量管理研究中心 87 第十一章 判別分析 目錄 上頁 下頁 返回 結束 回歸模型普及性的基礎在于用它去預測和解釋度量 (metric)變量。但是對于非度量 (nonmetric)變量，多元回歸不適合解決此類問題。本章介紹的判別分析來解決被解釋變量是非度量變量的情形。在這種情況下，人們對于預測和解釋影響一個對象所屬類別的關系感興趣，比如為什么某人是或者不是消費者，一家公司成功還是破產等。本章的目的主要有兩個：（ 1）介紹判別分析的內在性質、基本原理和應用條件；（ 2）舉例說明這些方法的應用和結果的解釋。 判別分析在主要目的是識別一個個體所屬類別的情況下有著廣泛的應用。潛在的應用包括預測新產品的成功或失敗、決定一個學生是否被錄取、按職業興趣對學生分組、確定某人信用風險的種類、或者預測一個公司是否成功。在每種情況下，將對象進行分組，并且要求使用這兩種方法中的一種可以通過人們選擇的解釋變量來預測或者解釋每個對象的所屬類別。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 88 167。 判別分析的基本思想 目錄 上頁 下頁 返回 結束 有時會遇到包含屬性被解釋變量和幾個度量解釋變量的問題，這時需要選擇一種合適的分析方法。比如，我們希望區分好和差的信用風險。如果有信用風險的度量指標，就可以使用多元回歸。但我們可能僅能判斷某人是在好的或者差的一類，這就不是多元回歸分析所要求的度量類型。 當被解釋變量是屬性變量而解釋變量是度量變量時，判別分析是合適的統計分析方法。在很多情況下，被解釋變量包含兩組或者兩類，比如，雄性與雌性、高與低。另外，有多于兩組的情況，比如低、中、高的分類。判別分析能夠解決兩組或者更多組的情況。當包含兩組時，稱作兩組判別分析。當包含三組或者三組以上時，稱作多組判別分析（ Multiple discriminant analysis）。 2020/10/5 中國人民大學六西格瑪質量管理研究中心 89 167。 散點圖矩陣 目錄 上頁 下頁 返回 結束 判別分析的假設條件 判別分