Tiểu luận Các cách phát hiện đa cộng tuyến. Các biện pháp khắc phục hiện tượng đa cộng tuyến. Ví dụ minh họa

LỜI MỞ ĐẦU Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biến giải thích Xi của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứngkhi tất cả các biến khác trong mô hình được giữ cố định. Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta không thể tách biệt sự ảnh hưởng riêng biệt của một biến nào đó. Hiện tượng trên được gọi là đa công tuyến.Vậy phải làm như thế nào để nhận biết và khắc phục hiện tượng này.Chúng ta đi nghiên cứu đề tài: “Các cách phát hiện đa cộng tuyến. Các biện pháp khắc phục hiện tượng đa cộng tuyến. Ví dụ minh họa” A. LÍ THUYẾT I. GIỚI THIỆU VỀ ĐA CỘNG TUYẾN Thông thường các biến độc lập không có mối quan hệ tuyến tính, nếu quy tắc này bị vi phạm sẽ có hiện tượng đa cộng tuyến. Như vậy, đa cộng tuyến là hiện tượng các biến độc lập trong mô hình phụ thuộc lẫn nhau và thể hiện được dưới dạng hàm số. II. CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN 1.R cao nhưng tỉ số t thấp Trong trường hợp Rcao (thường R> 0,8) mà tỉ số t thấp thì đó chính là dấu hiệu của hiện tượng đa cộng tuyến . 2.Tương quan cặp giữa các biến giải thích cao Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng có tồn tại đa cộng tuyến. Tuy nhiên tiêu chuẩn này thường không chính xác. Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến. Thí dụ, ta có 3 biến giải thích X, X, X như sau X = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X= (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X = X + Xnghĩa là ta có đa cộng tuyến hoàn hảo, tuy nhiên tương quan cặp là: r = -1/3 ; r = r =0,59 Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương quan cặp những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên nghiệm có ích. 3.Xem xét tương quan riêng Vì vấn đề được đề cập đến dựa vào tương quan bậc không. Farrar và Glauber đã đề nghị sử dụng hệ số tương quan riêng. Trong hồi quy của Y đối với các biến X, X ,X. Nếu ta nhận thấy răng r cao trong khi đó r; r; r tương đối thấp thì điều đó có thể gợi ý rằng các biến X, X và Xcó tương quan cao và ít nhất một trong các biến này là thừa. Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đa cộng tuyến. 4.Hồi quy phụ Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ. Hồi quy phụ là hồi quy mỗi một biến giải thích X theo các biến giải thích còn lại. R được tính từ hồi quy này ta ký hiện R Mối liên hệ giữa F và R: F= F tuân theo phân phối F với k – 2 và n-k +1 bậc tự do. Trong đó n là , k là số biến giải thích kể cả hệ số chặn trong mô hình. R là hệ số xác định trong hồi quy của biến X theo các biến X khác. Nếu F tính được vượt điểm tới hạn F(k-2,n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là X có liên hệ tuyến tính với các biến X khác. Nếu F có ý nghĩa về mặt thống kê chúng ta vẫn phải quyến định liệu biến X nào sẽ bị loại khỏi mô hình. Một trở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán. Nhưng ngày nay nhiều chương trình máy tính đã có thể đảm đương được công việc tính toán này. 5.Nhân tử phóng đại phương sai Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến X, ký hiệu là VIF(X). VIF(X) được thiết lập trên cơ sở của hệ số xác định R trong hồi quy của biến X với các biến khác nhau như sau: VIF(X) = (5.15) Nhìn vào công thức (5.15) có thể giải thích VIF(X) bằng tỷ số chung của phương sai thực của β trong hồi quy gốc của Y đối với các biến X và phương sai của ước lượng β trong hồi quy mà ở đó Xtrực giao với các biến khác. Ta coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huông thực và tình huống lý tưởng. Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống đó. Nó chỉ cho biết rằng các tình huống là không lý tưởng. Đồ thị của mối liên hệ của R và VIF là 0,9 1 100 1 10 500500000 V IF R Như hình vẽ chỉ ra khi R tăng từ 0,9 đến 1 thì VIF tăng rất mạnh. Khi R =1 thì VIF là vô hạn. Có nhiều chương trình máy tính có thể cho biết VIF đối với các biến độc lập trong hồi quy. 6. Độ đo Theil Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các biến giải thích. Một độ đo mà xem xét tương quan của biến giải thích với biến được giải thích là độ đo Theil. Độ đo Theil được định nghĩa như sau m = R-( R- R) Trong đó Rlà hệ số xác định bội trong hồi quy của Y đối với các biến X , X… X trong mô hình hồi quy: Y = β + βX + β X+ ……. + β X+ U R là hệ số xác định bội trong mô hình hồi quy của biến Y đối với các biên X , X, … ,X, X, … ,X Đại lượng R - Rđược gọi là “đóng góp tăng thêm vào” vào hệ số xác định bội. Nếu X , X… X không tương quan với nhau thì m = 0 vì những đóng góp tăng thêm đó cộng lại bằng R. Trong các trường hợp khác m có thể nhận giá trị âm hoặc dương lớn. Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có 2 biến giải thích X và X. Theo ký hiệu đã sử dụng ở chương trước ta có: m = R- ( R- r) – (R– r) Tỷ số t liên hệ với tương quan riêng r, r Trong phần hồi quy bội ta đã biết: R = r + (1- r) r R = r + (1- r) r Thay 2 công thức này vào biểu thức xác định m ta được: m = R- (r + (1- r) r - r) - ( r + (1- r) r- r ) = R- ((1- r) r + (1- r) r) Đặt 1- r = w; 1- r = wvà gọi là các trọng số. Công thức (5.16) được viết lại dưới dạng m = R- (w r + w r) Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng số của các hệ số tương quan riêng. Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đều có ý nghĩa sử dụng hạn chế. Chúng chỉ cho ta những thông báo rằng sự việc không phải là lý tưởng. Còn một số độ đo nữa nhưng liên quan đến giá trị riêng hoặc thống kê Bayes chúng ta không trình bày ở đây. Biện pháp khắc phục Sử dụng thông tin tiên nghiệm Một trong các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phải tận dụng thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượng các hệ số riêng. Thí dụ : ta muốn ước lượng hàm sản xuất của 1 quá trình sản xuất nào đó có dạng : Qt =AL Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t ; Lt lao động thời kỳ t ; Kt vốn thời kỳ t ; Ut là nhiễu ;A , a, β là các tham số mà chúng ta cần ước lượng .Lấy ln cả 2 vế (5.17) ta được : LnQt = LnA + alnLt + βKt Ut Đặt LnQt = Q*t ; LnA = A* ; LnLt = L*t Ta được Q*t = A* + aL*t + βK*t + Ut (5.18) Giả sử L|K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đến phương sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn . Giả sử từ 1 nguồn thông tin có lới theo quy mô nào đó mà ta biết được rằng ngành công nghiệp này thuộc ngành cso lợi tức theo quy mô không đổi nghĩa là a+ β =1 .Với thông tin này ,cách xử lý của chúng ta sẽ là thay β = 1 - a vào (5.18) và thu được : Q*t = A* + aL*t + ( 1 - a )K*t + Ut (5.19) Từ đó ta được Q*t – K*t = A* + a(L*t – K*t ) + Ut Đặt Q*t – K*t = Y*t và L*t – K*t = Z*t ta được Y*t = A* + a Z*t + Ut Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập trong mô hình xuống còn 1 biến Z*t Sau khi thu được ước lượng α của a thì β tính được từ điều kiện β = 1 – α Thu thập số liệu hoặc lấy thêm mẫu mới Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan đến cùng các biến trong mẫu ban đầu mà đa cộng tuyến có thể không nghiêm trọng nữa. Điều này có thể làm được khi chi phí cho việc lấy mẫu khác có thể chấp nhận được trong thực tế . Đôi khi chỉ cần thu thập thêm số liệu , tăng cỡ mẫu có thể làm giảm tính nghiêm trọng của đa cộng tuyến . 3. Bỏ biến Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “ đơn giản nhất “là bỏ biến cộng tuyến ra khỏi phương trình. Khi phải sử dụng biện pháp này thì cách thức tiến hành như sau : Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích còn X2 .X3 …Xk là các biến giải thích . Chúng ta thấy rằng X2 tương quan chặt chẽ với X3 .Khi đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3 .Vậy nếu ta bỏ 1 trong 2 biến X2 hoặc X3 khỏi mô hình hồi quy , ta sẽ giải quyết được vấn đề đa cộng tuyến nhưng sẽ mất đi 1 phần thông tin về Y . Bằng phép so sánh R2 và trong các phép hồi quy khác nhau mà có và không có 1 trong 2 biến chúng ta có thể quyết định nên bỏ biến nào trong biến X2 và X3 khỏi mô hình . Thí dụ R2 đối với hồi quy của Y đối với tất cả các biến X1X2X3 …Xk là 0.94; R2 khi loại biến X2 là 0.87 và R2 khi loại biến X3 là 0.92 ;như vậy trong trường hợp này ta loại X3 Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế có những trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trong mô hình .Trong trường hợp như vậy việc loại bỏ 1 biến phải được cân nhắc cẩn thận giữa sai lệch khi bỏ 1 biến cộng tuyến với việc tăng phương sai của các ước lượng hệ số khi biến đó ở trong mô hình . 4. Sử dụng sai phân cấp 1 Thủ tục được trình bày trong chương 7 – tự tương quan .Mặc dù biện pháp này có thể giảm tương quan qua lại giữa các biến nhưng chúng cũng có thể được sử dụng như 1 giải pháp cho vấn đề đa cộng tuyến . Thí dụ Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y và các biến phụ thuộc X2 và X3 theo mô hình sau : Yt = β 1 + β 2 X 2t + β 3X 3t+ U t (5.20) Trong đó t là thời gian . Phương trình trên đúng với t thì cũng đúng với t-1 nghĩa là : Yt-1 = β 2 + β 2 X 2t-1 + β 3X 3t-1 + U t-1 (5.21) Từ (5.20) và (5.21) ta được : Yt – Yt-1 = β 2 (X 2t - X 2t-1 ) + β 3 (X 3t - X 3t-1) + U t - U t-1 (5.22) Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta được : yt = β 2 x2t + β 3 x3t + Vt (5.23) Mô hình hồi quy dạng (5.23) thường làm giảm tính nghiêm trọng của đa cộng tuyến vì dù X2 và X3 có thể tương quan cao nhưng không có lý do tiên nghiệm nào chắc chắn rằng sai phân của chúng cũng tương quan cao. Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số bấn đề chẳng hạn như số hạng sai số Vt trong (5.23) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến tính cổ điển là các nhiễu không tương quan .Vậy thì biện pháp sửa chữa này có thể lại còn tồi tệ hơn căn bệnh . 5.Giảm tương quan trong hồi quy đa thức Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiện với lũy thừa khác nhau trong mô hình hồi quy .Trong thực hành để giảm tương quan trong hồi quy đa thức người ta thường sử dụng dạng độ lệch .Nếu việc sử dụng dạng độ lệch mà vẫn không giảm đa cộng tuyến thù người ta có thể phải xem xét đến kỹ thuật “ đa thức trực giao “. 6. Một số biện pháp khác Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biện pháp khác nữa để cứu chữa căn bệnh này như sau : Hồi quy thành phần chính Sử dụng các ước lượng từ bên ngoài Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giải pháp cho vấn đề đa cộng tuyến như thế nào còn phụ thuộc vào bản chất của tập số liệu và tính nghiêm trọng của vấn đề đa cộng tuyến. B. VÍ DỤ MINH HỌA Cho bảng số liệu sau: Y X Z 130771 321853 435319 150033 342607 474855 177983 382137 527055 217434 445221 603688 253686 511221 701906 298543 584793 822432 358629 675916 951456 493300 809862 1108752 589746 1091876 1436955 632326 1206819 1580461 770211 1446901 1898664 827032 1794466 2415204 tổng cục thống kê từ năm 2000 -2011) Trong đó: Y là tích lũy tài sản quốc gia theo giá thực tế( tỉ đồng) X là tiêu dùng cuối cùng quốc gia theo giá thực tế( tỉ đồng) Z là tổng thu nhập quốc gia theo giá thực tế( tỉ đồng) Yêu cầu: Hãy phát hiện hiện tượng đa cộng tuyến và tìm biện pháp khắc phục. Với α = 5%. Lập mô hình hàm hồi quy Ta có mô hình hàm hồi quy tuyến tính thể hiện sự phụ thuộc của tích lũy tài sản quốc gia vào tiêu dùng cuối cùng và tổng thu nhập quốc gia: Yi=β1+β2Xi+β3Zi+Ui Mô hình ước lượng của hàm hồi quy: yi = β1 + β2Xi + β3Zi Từ bảng số liệu sử dụng phần mềm eviews ta kết quả sau: Dependent Variable: Y Method: Least Squares Date: 03/24/14 Time: 22:04 Sample: 1 12 Included observations: 12 Variable Coefficient Std. Error t-Statistic Prob.   C 15390.94 30957.40 0.497165 0.6310 X 1.035505 0.750666 1.379448 0.2011 Z -0.404423 0.572356 -0.706593 0.4977 R-squared 0.973185     Mean dependent var 408307.8 Adjusted R-squared 0.967227     S.D. dependent var 246478.9 S.E. of regression 44621.06     Akaike info criterion 24.46212 Sum squared resid 1.79E+10     Schwarz criterion 24.58334 Log likelihood -143.7727     Hannan-Quinn criter. 24.41723 F-statistic 163.3196     Durbin-Watson stat 1.004286 Prob(F-statistic) 0.000000 Từ kết quả ước lượng thu được hàm hồi quy mẫu sau: yi = 15390.94 + 1.035505Xi – 0.404423Yi Phát hiện hiện tượng đa cộng tuyến Cách 1: Hệ số xác định bội cao nhưng t thấp Với α = 0.05 ta có: tα2n-k = t0.0259 = 2.262 Nhận xét: Từ bảng kết quả eviews ta có: R2 = 0.973185 > 0.8 Thống kê t của hệ số tương ứng với biến X T = 1.379448 < 2.262 Thống kê t của hệ số tương ứng với biến Z T = 0.706593 < 2.262 Vậy R2 cao nhưng t thấp. Suy ra có hiện tượng đa cộng tuyến. Cách 2: Hệ số tương quan giữa các biến giải thích cao Kết quả từ eviews ta thấy được tương quan giữa các biến giải thích: X Z X  1.000000  0.999305 Z  0.999305  1.000000 Ta có: r12 = 0.999305 > 0.8 Như vậy càng có cơ sở kết luận hiện tượng đa cộng tuyến trong mô hình trên Cách 3: Hồi quy phụ Ta hồi quy biến X theo biến Z được kết quả như sau: Dependent Variable: X Method: Least Squares Date: 03/28/14 Time: 22:54 Sample: 1 12 Included observations: 12 Variable Coefficient Std. Error t-Statistic Prob.   C -21542.70 11120.44 -1.937217 0.0815 Z 0.761934 0.008990 84.75422 0.0000 R-squared 0.998610     Mean dependent var 801139.3 Adjusted R-squared 0.998471     S.D. dependent var 480684.5 S.E. of regression 18797.19     Akaike info criterion 22.67181 Sum squared resid 3.53E+09     Schwarz criterion 22.75263 Log likelihood -134.0309     Hannan-Quinn criter. 22.64189 F-statistic 7183.278     Durbin-Watson stat 1.116681 Prob(F-statistic) 0.000000 Ta có ta đi kiểm định giả thiết : X không có hiện tượng đa cộng tuyến với Z : X có hiện tượng đa cộng tuyến với Z Nhận xét: Ta thấy giá trị p-value của thống kê F là 0.000000 < =0.05 => bác bỏ giả thiết chấp nhận giả thiết Vậy càng có cơ sở khẳng định mô hình trên có hiện tượng đa cộng tuyến Cách 4: : Độ đo Theil Ta có các hệ số tương quan giữa các biến Y và X,Z như sau: Y X Z Y  1.000000  0.985747  0.983624 X  0.985747  1.000000  0.999305 Z  0.983624  0.999305  1.000000 Để tính được độ đo Theil ta phải tính được ,. Theo công thức đã biết ở chương hai ta có = ( r13-r12r23)2(1- r122)(1- r232) = (0.983624-0.985747×0.999305)2(1- 0.9857472)×(1 - 0.9993052) ≈ 0.05257 Ta có: r132 = 0.9836242 ≈ 0.96752 Trong phần hồi quy bội ta đã biết: R = r + (1- r) r R = r + (1- r) r Vậy R = 0.96752 + (1 – 0.96752)× 0.05257 ≈ 0.96581 Mặt khác ta có: m = R- (r + (1- r) r - r) - ( r + (1- r) r- r ) = R- ((1- r) r + (1- r) r) Suy ra: m = 0.96581 – ((1 - 0.9857472)× 0.05257) + (1 - 0.9836242× 0.05257) = 0.96261 Vậy m khác 0 nên chứng tỏ có hiện tượng đa cộng tuyến sảy ra. Và mức độ đa cộng tuyến là 0.98654 Biện pháp khắc phục Cách 1: Bỏ biến Bước 1: Hồi quy Y theo X => Bước 2: Hồi quy Y theo Z => Bước 3: So sánh và trong các hồi quy trên Bước 4: Kết luận. * Bước 1: Hồi quy Y theo X Dependent Variable: Y Method: Least Squares Date: 03/29/14 Time: 09:16 Sample: 2000 2011 Included observations: 12 Variable Coefficient Std. Error t-Statistic Prob. C 3365.264 25203.61 0.133523 0.8964 X 0.505458 0.027279 18.52920 0.0000 R-squared 0.971698 Mean dependent var 408307.8 Adjusted R-squared 0.968868 S.D. dependent var 246478.9 S.E. of regression 43489.57 Akaike info criterion 24.34944 Sum squared resid 1.89E+10 Schwarz criterion 24.43026 Log likelihood -144.0966 F-statistic 343.3314 Durbin-Watson stat 1.148020 Prob(F-statistic) 0.000000 * Bước 2: Hồi quy Y theo Z. Dependent Variable: Y Method: Least Squares Date: 03/29/14 Time: 09:18 Sample: 2000 2011 Included observations: 12 Variable Coefficient Std. Error t-Statistic Prob. C -6916.624 27563.81 -0.250931 0.8069 Z 0.384564 0.022283 17.25817 0.0000 R-squared 0.967516 Mean dependent var 408307.8 Adjusted R-squared 0.964268 S.D. dependent var 246478.9 S.E. of regression 46591.90 Akaike info criterion 24.48725 Sum squared resid 2.17E+10 Schwarz criterion 24.56807 Log likelihood -144.9235 F-statistic 297.8446 Durbin-Watson stat 1.252724 Prob(F-statistic) 0.000000 * Bước 3 : Từ kết quả hồi quy ở trên ta có: = 0.973185 = 0.967227 = 0.971698 = 0.967516 = 0.968868 = 0.964268 * Bước 4: Ta tiến hành so sánh. Và kết luận trong trường hợp này loại biến Z Cách 2: Thu thập thêm số liệu để tang kích thước mẫu Ta thu thập thêm một số mẫu để tăng kích thước được bảng số liệu sau: Y X Z 130771 321853 435319 150033 342607 474855 177983 382137 527055 217434 445221 603688 253686 511221 701906 298543 584793 822432 358629 675916 951456 493300 809862 1108752 589746 1091876 1436955 632326 1206819 1580461 770211 1446901 1898664 827032 1794466 2415204 892837 1811238 2523146 942822 1899678 2600198 992838 1915089 2822899 1023847 1997283 3016754 1092733 2001838 3199767 1123883 2078934 3202984 1200389 2121838 3300484 Từ bảng số liệu, sử dụng phần mềm eview ta được kết quả sau: Dependent Variable: Y Method: Least Squares Date: 03/29/14 Time: 08:31 Sample: 1 19 Included observations: 19 Variable Coefficient Std. Error t-Statistic Prob.   C 5556.839 20959.22 0.265126 0.7943 X 0.242395 0.112216 2.160078 0.0463 Z 0.189806 0.073213 2.592498 0.0196 R-squared 0.989332     Mean dependent var 640475.9 Adjusted R-squared 0.987999     S.D. dependent var 372159.5 S.E. of regression 40770.30     Akaike info criterion 24.21323 Sum squared resid 2.66E+10     Schwarz criterion 24.36236 Log likelihood -227.0257     Hannan-Quinn criter. 24.23847 F-statistic 741.9164     Durbin-Watson stat 1.096358 Prob(F-statistic) 0.000000 Ta có mô hình hồi quy mới: yi = 5556.839 + 0.242395Xi + 0.189806Zi t1 =0.265126 t2 = 2.160078 t3 = 2.592498 R2 = 0.989332 Mô hình sau khi đã tăng kích thước mẫu có R2 khá gần một, các tỷ số t cũng khá cao nên mô hình ước lượng là phù hợp