sas系統和數據分析多元線性回歸分析-資料下載頁

【導讀】通常，回歸模型包括k個變量，即一個因變量和k個自變量。其中,Y為因變量觀察的N列向量，X為自變量觀察的N×(k+1)矩陣，?第二個下標表示相應的行（觀察）。模型形式由()給定；根據X的秩為(k+1)的假定，可以保證不會出現共線性。的一列將為其余列的線性組合，而X的秩將小于(k+1))，關于誤差的假設是最有用的假設，因為用它可以保證最小二乘法估計過程的統計性質。項的平均值為0，方差為常數，以及協方差為0。進行微分，并使之等于0，即：。被稱為“交叉乘積矩陣”，即錯誤!現在可以考慮最小二乘估計量的性質。首先可以證明它們是無偏估計量。值，則最小二乘法估計量將是無偏的。計量，也就是說，它在全部無偏估計量中方差最小，這就是著名的高斯－馬爾可夫定理。式()成立的一個必要和充分的條件是0?為一半正定矩陣。的估計量，該估計量自然選。為已知時，可用正態分布假設檢驗。為此，我們利用以下的統計結果：。分布，具有N－k－1個自由度；

　　

【正文】 分別表示 oxygen 變量作為 x 軸 ,其他六個變量作為 y 軸的散點圖。對角線上第一個 oxygen 小方格里的左下角數字 和右上角數字 ,表示變量oxygen 的 數值變化范圍。其他行和列中的散點圖所代表的兩個變量類同。 繪制散點圖矩陣圖是為了研究變量間的相關性，從圖 中，我們發現變量 runpulse與maxpulse 之間存在有較強的共線性，如果在回歸模型中增加方差膨脹系數（ vif），共線性水平 A G E 38 57 W E I G H T R U N T I M E R S T P U L S E 40 76 R U N P U L S E 146 186 M A X P U L S E 155 192 O X Y G E N 圖 fitness 變量間的散點圖矩陣 20526cea4e291d4d4b2a47115609da33 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 20 of 40 的容許值（ tol），條件數（ collin）選項對回歸進行診斷，也會得到相同的結論。另外，我們從圖中還發現耗氧量 oxygen 與變量 runtime 有較強的負相關。從下面的相關系數計算中也能得到這些相同認識。 3. 相關系數計算 編寫的相關系數計算程序如下： proc corr data= fitness 。 var oxygen age weight runtime rstpulse runpulse maxpulse。 label oxygen = 39。Oxygen consumption39。 age = 39。Age in years39。 weight = 39。weight in kg39。 runtime = 39。Min. to run miles39。 rstpulse= 39。Heart rate while resting39。 runpulse= 39。Heart rate while running39。 maxpulse= 39。Maximum heart rate39。 run 。 運行后，在 Output 窗口得到表 所示的結果。 表 fitness 變量間的相關系數 20526cea4e291d4d4b2a47115609da33 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 21 of 40 4. 回歸分析 編寫的回歸分析程序如下： proc reg data= fitness。 model oxygen=age maxpulse rstpulse runpulse runtime weight/ss1 ss2 。 run 。 Model語句中增加 ss1 和 ss2 選項，回歸模型將計算每個自變量兩種不同類型的平方和，其中， ss1 是按 model 語句中自變量的排列順序依 次 計算每個自變量的 平方和，也稱為第一類平方和或稱順序平方和， ss2 是把 model 語句中每個自變量排到變量列表的最后，所計算的第一類平方和，也稱為第二類平方和或稱部分平方和。通過分析每個自變量的這兩類平方和，能知道回歸模型總的平方和的構成和各個自變量所貢獻的平方和，進而能知道哪些自變量是最重要的回歸變量，哪些回歸變量可能是無關緊要的，配合參數估計的 t檢驗，最終為縮減回歸變量提供依據， 達 到簡化模型的目的。運行后，在 Output 窗口得到表 所示的結果。 表 fitness數據的回歸分析結果 Correlation Analysis 7 39。VAR39。 Variables: OXYGEN AGE WEIGHT RUNTIME RSTPULSE RUNPULSE MAXPULSE Simple Statistics Variable N Mean Std Dev Sum Minimum Maximum Label OXYGEN 31 Oxygen consumption AGE 31 Age in years WEIGHT 31 Weight in kg RUNTIME 31 Min. to run miles RSTPULSE 31 Heart rate while resting RUNPULSE 31 Heart rate while running MAXPULSE 31 Maximum heart rate Pearson Correlation Coefficients / Prob |R| under Ho: Rho=0 / N = 31 OXYGEN AGE WEIGHT RUNTIME RSTPULSE RUNPULSE MAXPULSE OXYGEN Oxygen consumption AGE Age in years WEIGHT Weight in kg RUNTIME Min. to run miles RSTPULSE Heart rate while resting RUNPULSE Heart rate while running MAXPULSE Maximum heart rate 20526cea4e291d4d4b2a47115609da33 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 22 of 40 這一輸出與簡 單線性回歸的輸出是完全相仿的，只是進入回歸的自變量有 6 個。從參數的估計值容易得到擬合的回歸為： oxygen= － 0． 219916age + 0． 304735maxpulse－ －－ － 方差分析類似于例 ， 在 多元線性回歸時， F Value 是除了截距外其他所有參數都為零的假設檢驗。 RSquare 同時還是多重相關系數的平方，換言之，它是 自變量 與預測值之間的相關系數平 方。我們這里不再重復分析和計算。 多元線性回歸模型的第一個重要問題是模型的簡化，也就是說如何正確地縮減 自變量 達到最優的簡化模型。由于 自變量 除了對總方差貢獻大小外，還存在著 自變量 間的相關性，刪除哪一個自變量并不是一個簡單問題。我們在這里重點分析參數估計表中的 Type I SS 和 Type II SS 平方和，配合分析參數估計的 t 檢驗 p 值，對縮減自變量的依據有所掌握。 類型 1 的平方和（ Type I SS）被稱為序列平方和，它是按 model語句中 自變量 的先后序列，每加入一個自變量到這個序列中，回歸模型因此而增加的平方 和，把這個增加的平方和算為這個自變量的類型 1 的平方和。截距 INTERCEP 的 Type I SS為 2yn ，稱為修正均值， 31 =69578。 age 的類型 1 的平方和等于回歸模型只包括截距和 age 時的 RSS 值（ ）， maxpulse 的類型 1 的平方和等于回歸模型只包括截距、 age、 maxpulse時的 RSS值（ ）減回歸模型只包括截距和 age 時的 RSS 值（ ），即 －=，實質上是指回歸模型在前面模型的基礎上增加了自變量 maxpulse 而增加的 RSS，用表達式表示為 ： Type I SS（ maxpulse） =RSS（ model oxygen=age maxpulse ）－ RSS（ model oxygen=age） 以此類推， weight 的類型 1 的平方和為 ： Type I SS（ weight） =RSS（ model oxygen=age maxpulse rstpulse runpulse runtime weight ）－RSS（ model oxygen= age maxpulse rstpulse runpulse runtime） Model: MODEL1 Dependent Variable: OXYGEN Analysis of Variance Sum of Mean Source DF Squares Square F Value ProbF Model 6 Error 24 C Total 30 Root MSE Rsquare Dep Mean Adj Rsq . Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob |T| Type I SS Type II SS INTERCEP 1 69578 AGE 1 MAXPULSE 1 RSTPULSE 1 RUNPULSE 1 RUNTIME 1 WEIGHT 1 20526cea4e291d4d4b2a47115609da33 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 23 of 40 所以有恆等式 ： Type I SS（ age） + Type I SS（ maxpulse） + Type I SS（ rstpulse） + T