Báo cáo Phương pháp phân tích phần dư trong hàm hồi quy

BÁO CÁO TỐT NGHIỆP Đề tài Phương pháp phân tích phần dư trong hàm hồi quyMỤC LỤC CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI 1.1. Khái niệm ,cơ sở phân tích hàm hồi qui ............................................................3 1.2. bản chất của phần dư trong hàm hồi quy .......................................................... 4 1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy.................................. 4 1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy ...................................... 4 CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG HÀM HỒI QUY 2.1. Mô hình hồi qui đơn biến ( Hai biến )................................................................. 5 2.1.1. Khái niệm về hồi quy................................................................................... 5 2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ nhất OLS............................................................6-7 2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất.... tổng quát .........................................................8-9 2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu... 10-11 2.1.5. Một số dạng hàm thường được sử dụng............................................... 12-15 2.2. Mô hình hồi quy tuyến tính bộ........................................................................... 16 2.2..1 .Xây dựng mô hình .................................................................................... 16 2..2.2. Mô hình hồi quy 3 biến ....................................................................... 16-17 2.2..3. Mô hình hồi quy K biến........................................................................... 18 CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM HỒI QUY 3.1. Phát hiện phương sai của sai số thay đổi......................................................... 19 3.1.1 Xem xét đồ thị............................................................................................ 20 3.1.2 Kiểm đinh Glejser ................................................................................... 20 3.1.3 Kiểm đinh While............................................................................. 20-21 . 3.1.4 Kiểm định Breusch-Paga................................................................. 21-22 3.2 .Phát hiện có sự tương quan............................................................................... 22 3.2.1. Phương pháp đồ thị....................................................................... 22-23 3.2.2. Phương phá kiểm định số lượng........................................................ 24 3.3. Phân tích phần dư để kiểm tra các giả định trong...................................... 24-26 phân tích hồi qui tuyến tính. CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI 1.1. Khái niệm ,cơ sở phân tích hàm hồi qui Gỉa sử chúng ta có mô hình hồi qui tổng thể PRF : E(Y/X=Xi) = + X nếu như E tuyến tính với Xi thì Yi =Ui khi đó ta có mô hình hồi quy mẫu SRF: từ trên : Yi = + Xi + ei trong đó β1 : là hệ số tự do ( hệ số góc ) β2 : là hệ số góc và là ước lượng của β1và β2 ei :được gọi là phần dư hay chính là ước lượng của Ui Giá trị ước lượng của Yi Yi SRF: Hình biểu diễn phần dư ei vậy phần dư hàm hồi quy là ước lượng của Ui hay là giá trị chênh lệch giữa biến phụ thuộc (Yi) với biến tiêu thức phụ thuộc () ei = Yi - phần dư hàm hồi quy có thể âm có thể dương 1.2. bản chất của phần dư trong hàm hồi quy -Chúng ta có thế xây dựng được mô hình hồi quy bội dù chúng ta có đưa vào bao nhiêu biến đi chăng nữa thì yếu tố phần dư vẫn tồn tại vì yếu tố hiễn nhiên của chúng ,ngaycả khi các biến bị loại bỏ khỏi mô hình - ei được sử dụng như một yếu tố đại diienj cho tất cả các biến không có trong mô hình ngay cả khi các biến bị loại bỏ khỏi mô hình là biến nào đi chăng nữa khi đó quá trình chuyển đổi mô hình hồi quy tổng thể PRF sang mô hình hồi quy mẫu SRF luôn luôn tồn tại phần dư ei như một yếu tố ngẫu nhiên - Ngoài các biến giải thích đã có trong mô hình còn có một số biến khác nhưng ảnh hưởng của chúng đến Y rất nhỏ .Trong trường hợp này chúng ta có thể sử dụng yếu tố ngẫu nhiên Ui để đại diện cho chúng .Tức phàn dư ei đại diện cho quá trình chuyển đổi mô hình PRF sang SRF , với ei là ước lượng của Ui 1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy là ước lượng của Ui hay là giá trị chênh lệch giữa biến phụ thuộc với ước lượng của biến tiêu thức phụ thuộc vì vậy quá trình phân tích phần dư trong hàm hồi quy chúng ta xác định được các tham số và của mô hình hồi quy cũng như các yếu tố khác có trong mô hình hồi quy 1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy Việc phân tích phần dư trong hàm hồi quy là cơ sở là tiền đề trong tất cả các phân tích của hàm hồi quy với cỏ sở ban đầu là tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình => min CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG HÀM HỒI QUY 2.1. Mô hình hồi qui đơn biến ( Hai biến ) 2.1.1. Khái niệm về hồi quy Phân tích hồi quy là tìm quan hệ phụ thuộc của một biến, được gọi là biến phụ thuộc vào một hoặc nhiều biến khác, được gọi là biến độc lập nhằm mục đích ước lượng hoặc tiên đoán giá trị kỳ vọng của biến phụ thuộc khi biết trước giá trị của biến độc lập. Theo Damodar N.Gujarati, Basic Econometrics-Third Edition, McGraw-Hill-1995, p16. Một số tên gọi khác của biến phụ thuộc và biến độc lập như sau: -Biến phụ thuộc: biến được giải thích, biến được dự báo, biến được hồi quy, biến phản ứng, biến nội sinh. -Biến độc lập: biến giải thích, biến dự báo, biến hồi quy, biến tác nhân hay biến kiểm soát, biến ngoại sinh. -Hàm hồi quy tổng thể và hồi quy mẫu giả sử chúng ta có n cặp quan sát của Y và X khi đó xây dựng được mô hình hồi quy PRF : E(Y/X=Xi) = + X SRF Yi = Yi = + Xi + ei cặp quan sát thứ i có giá trị tương ứng ( Xi , Yi ) ; i= 1,n .Ta phải tìm Y sao cho nó càng gần giá trị (Yi) có thể được tức phần dư càng nhỏ càng tốt 2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ nhất OLS Từ trên ta có do ei; i= 1,n có thể dương ,có thể âm do vậy cần phải tìm Yi sao cho tổng bình phương của các phần dư đạt cực tiểu => min Điều kiện để () đạt cực trị là: Từ (3.7) và (3.8) chúng ta rút ra Các phương trình ta được gọi là các phương trình chuẩn. Giải hệ phương trình chuẩn ta được (3.11) Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có Đặt và ta nhận được (3.13) a. Các tính chất của phần dư ei Giá trị trung bình của phần dư bằng 0: Các phần dư ei và Yi không tương quan với nhau: Các phần dư ei và Xi không tương quan với nhau: (4) Phần dư ei là yếu tố quan trọng ,trong quá trình đo sự phù hợp của hàm hồi quy Từ RSS ( Residual sum of Squarses ) tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Y và giá trị nhận được từ hàm hồi quy = b. Phương sai của phần dư có thể được ước tính như sau s2 Chính là ước số s2. 2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất tổng quát Để giải đáp cho câu hỏi khi phương sai của sai số thay đổi ,thì phương pháp bình phương nhỏ nhất tổng quát là cần thiết .Trước khi đi vào nội dung cụ thể chúng ta trình bày phương pháp bình phương nhỏ nhất có trọng số a. phương pháp bình phương nhỏ nhất có trọng số Từ mô hình hai biến Yi = + Xi + ei Như ta đã biết phương pháp bình phương nhỏ nhất không có trọng số cực tiểu tổng bình phương phần dư => min để thu được ước lượng Còn phương pháp bình phương nhỏ nhất có trọng số cực tiểu tổng bình phương các phần dư có trọng số => min Trong đó β1* , β1* là các ước lượng bình phương nhỏ nhất có trọng số ở đây các trọng số Wi là tính như sau Wi = 1/ () , > 0 b..Phương pháp bình phương nhỏ nhất tổng quát Từ mô hình 2 biến Yi = + Xi + Ui Đặt , chia hai vế của (5,12) cho wi chúng ta có mô hình hồi quy Ta viết lại mô hình như sau Trong đó = 1 ( ) * = / i ei* = ei / i Để thu đươc ước lượng bình phương nhỏ nhất tổng quát , ta cực tiểu hàm ta sẽ thu được các ước lượng Lưu ý Trong quá trình phân tích phần dư đối với giá trị biến độc lập X hoặc giá trị dự đoán sẽ cho ta biết liệu phương sai của sai số có thay đổi hay không .Phương sai của phần dư được chỉ da bằng đọ rộng của biểu đồ phân giải của phần dư khi giảm hoặc tăng .Nếu độ rộng của biểu đồ rãi của phần dư tăng hoặc giảm .Khi X tăng thì giá trị giả thiết về phương sai hắng số có thể không thõa mãn 2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R2. Để có cái nhìn trực quan về R2, chúng ta xem xét đồ thị sau Y Yi Yi Xi Yi - Y Yi - Yi Yi - Y X Y SRF Hình 3.5. Phân tích độ thích hợp của hồi quy : biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với giá trị trung bình : biến thiên của Y được giải thích bởi hàm hồi quy : biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số hồi quy. Trên mỗi Xi chúng ta kỳ vọng ei nhỏ nhất, hay phần lớn biến thiên của biến phụ thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất. Ta có Với và Vậy(3.21) Số hạng cuối cùng của (3.21) bằng 0. Vậy Đặt , và TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y. ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích được bằng hàm hồi quy của Y. RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có: TSS = ESS + RSS Đặt Mặt khác ta có Vậy Vậy đối với hồi quy hai biến R2 là bình phương của hệ số tương quan. Tính chất của R2 0≤ R2 ≤1. Với R2=0 thể hiện X và Y độc lập thống kê. R2 =1 thể hiện X và Y phụ thuộc tuyến tính hoàn hảo. R2 không xét đến quan hệ nhân quả. 2.1.5. Một số dạng hàm thường được sử dụng a.Tuyến tính trong tham số Trong mục 3.2.1 chúng ta đã đặt yêu cầu là để ước lượng theo phương pháp bình phương tối thiểu thì mô hình hồi quy phải tuyến tính. Sử dụng tính chất hàm tuyến tính của các phân phối chuẩn cũng là phân phối chuẩn, dựa vào các giả định chặt chẽ và phương pháp bình phương tối thiểu, người ta rút ra các hàm ước lượng tham số hiệu quả và các trị thống kê kiểm định. Hồi quy tuyến tính chỉ yêu cầu tuyến tính trong các tham số, không yêu cầu tuyến tính trong biến số. Mô hình (1) là mô hình tuyến tính trong các tham số nhưng phi tuyến theo biến số. Mô hình (2) là mô hình phi tuyến trong các tham số nhưng tuyến tính trong biến số. Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình chúng ta xác định được các tham số và của mô hình hồi quy cũng như các yếu tố khác có trong mô hình hồi quy => min b. Một số mô hình thông dụng - Mô hình Logarit kép Mô hình logarit kép phù hợp với dữ liệu ở nhiều lĩnh vực khác nhau. Ví dụ đường cầu với độ co dãn không đổi hoặc hàm sản xuất Cobb-Douglas. Mô hình đường cầu : (3) Không thể ước lượng mô hình (3) theo OLS vì nó phi tuyến trong tham số. Tuy nhiên nếu chúng ta lấy logarit hai vế thì ta được mô hình (3) Đặt và ta được mô hình (3.31) Mô hình này tuyến tính theo tham số nên có thể ước lượng theo OLS. Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình chúng ta xác định được các tham số và của mô hình hồi quy cũng như các yếu tố khác có trong mô hình hồi quy => min Chúng ta sẽ chứng minh đặc tính đáng lưu ý của mô hình này là độ co dãn cầu theo giá không đổi. Định nghĩa độ co dãn: Lấy vi phân hai vế của ta có => Vậy độ co dãn của cầu theo giá không đổi. 0 X 0 ln(X) Y Y = b1Xb2 ln(Y) ln(Y) = ln(b1) + b2ln(X) Hình . Chuyển dạng Log-log Tổng quát, đối với mô hình logarit kép, hệ số ứng với ln của một biến số độc lập là độ co dãn của biến phụ thuộc vào biến độc lập đó. -Mô hình Logarit-tuyến tính hay mô hình tăng trưởng Gọi g là tốc độ tăng trưởng, t chỉ thời kỳ. Mô hình tăng trưởng như sau Lấy logarit hai vế của Đặt , và ta được mô hình hồi quy Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình chúng ta xác định được các tham số và của mô hình hồi quy cũng như các yếu tố khác có trong mô hình hồi quy => min -Mô hình tuyến tính-Logarit (Lin-log) Mô hình này phù hợp với quan hệ thu nhập và tiêu dùng của một hàng hoá thông thường với Y là chi tiêu cho hàng hoá đó và X là thu nhập. Quan hệ này cho thấy Y tăng theo X nhưng tốc độ tăng chậm dần. 0 X 0 ln(X) Y Y Y = b1 + b2ln(X) Hình . Chuyển dạng Lin-log Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình chúng ta xác định được các tham số và của mô hình hồi quy cũng như các yếu tố khác có trong mô hình hồi quy => min -Mô hình nghịch đảo hay mô hình Hyperbol Mô hình này phù hợp cho nghiên cứu đường chi phí đơn vị, đường tiêu dùng theo thu nhập Engel hoặc đường cong Philip. X X X Y Y Y b1>0 b2 >0 b1>0 b20 Đường chi phí đơn vị Đường tiêu dùng Đường Philip Hình . Dạng hàm nghịch đảo Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình chúng ta xác định được các tham số và của mô hình hồi quy cũng như các yếu tố khác có trong mô hình hồi quy => min 2.2. Mô hình hồi quy tuyến tính bộ 2.2..1 .Xây dựng mô hình Mô hình hồi quy bội cho tổng thể PRF Với X2,i, X3,i,…,Xk,i là giá trị các biến độc lập ứng với quan sát i Hàm hồi quy mẫu Theo phương pháp tối thiểu tổng bình phương phần dư cho kết quả ước lượng hiệu quả . Phương pháp bình phương tối thiểu đạt cực tiểu. 2..2.2. Mô hình hồi quy 3 biến Hàm hồi quy tổng thể (4.7) Hàm hồi quy mẫu (4.8) Kỳ vọng của sai số hồi quy bằng 0: Không tự tương quan: , i≠j Phương sai đồng nhất: Không có tương quan giữa sai số và từng Xm: Không có sự đa cộng tuyến hoàn hảo giữa X2 và X3. Dạng hàm của mô hình được xác định một cách đúng đắn. Để thu được các tham số của mô hình ta thực hiên phương pháp bình phương be nhất OLS => min Từ đây xác định (4.10) (4.11) Lưu ý Các tính chất phần dư trong mô hình này Các phần dư ei không tương quan với nhau và nghĩa là Các phần dư ei không tương quan với : 2.2..3. Mô hình hồi quy K biến Từ mô hình hồi quy mẫu SRF : Ta có mô hình hôi quy : Nói cụ thể hơn Y1 = b1 + b2x21 + …+ bkxk1 +  e1 Y2 = b1 + b2x22 + …+ bkxk2 +  e2 Y3 = b1 + b2x23 + …+ bkxk3 +  e3 …………………………… Yn = b1 + b2x2n + …+ bkxkn +  en hay Y = X +e trong đó e = = Y - X các ước lượng OLS ta tìm được => min là tổng bình phương các phần dư RSS CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM HỒI QUY 3.1 Phát hiện phương sai của sai số thay đổi Như chúng ta đã biết việc phát hiện da phương sai của sai số thay đổi rất khó .Do vậy để làm được điều này việc phân tích phần dư có ý nghĩa cực kỳ quan trọng trong quá trình phát hiện phương sai của sai số thay đổi 3.1.1 Xem xét đồ thị Đồ thị của sai số hồi quy , phần dư đối với giá trị của biến độc lập X hoặc giá trị dự đoán Y^ sẽ xho ta biết liệu phương sai của sai số thay đổi hay không .Phương sai của phần dư được chỉ ra bằng độ rộng của biểu đồ phân giải của phần dư khi X tăng lên .Nếu độ rộng của biểu đồ rải của phần dư tăng lên hoặc giảm đi khi X tăng thì giả thiết về phương sai hằng số có thể không thõa mãn Đồ thị phân tán phần dư ei theo Xi Theo các đồ thị trên thì khi giá trị dự báo Y tăng (hoặc khi X tăng) thì phần dư có xu hướng tăng, hay mô hình có phương sai của sai số thay đổi. Lưu ý : Người ta có thể vẽ đồ thị phần dư bình phương đối với X hoặc Y Kiểm định Park Hàm đề nghị Ln 2 = ln + β2 lnXi + = β1 + β2 lnXi + Trong đó = ln 2 2 thu được từ hồi quy gốc 2 thu được từ hồi quy gốc .Tức từ hồi quy gốc ta thu được các phần dư sau đó bình phương chúng được 2 rồi lấy ln2 Như vậy ta thực hiện kiểm định Park theo các bước sau (1) Ươcs lượng hồi quy gốc ,cho dù có hoặc không tồn tại hiện tượng phương sai của sai số thay đổi (2) Từ hồi quy gốc thu được các phần dư sau đó bình phương được 2 rồi đến lấy ln (3) Tiến hành kiểm định nêu ở mục [4- 136 ] Bài giảng kinh tế lượng PGS.TS NGYỄN QUANG ĐÔNG 3.1.3. Kiểm đinh Glejser Kiểm đinh Glejser cũng tương tự như kiểm đinh Park .Sau khi thu được phần dư từ hồi quy theo phương pháp bình phương nhỏ nhất . Kiểm đinh Glejser đề nghị hồi quy giá trị tuyệt đối cua , đối với biến Xi nào đó mà có thể kết hợp chặt chaex với Trong thực tế Glejser sử dụng các hàm sau = β1 + β2 Xi + = β1 + β2 + = β1 + β2 1/ + = β1 + β2 1/Xi + =(β1 + β2Xi ) + = (β1 + β2X ) + Kiểm đinh While Mô hình hồi quy Tiến hành kiểm định Theo phương phap bình phương nhỏ nhất OLS , ta thu được phần dư tương ưng Ươcs lượng mô hình 2 = Từ các bước trên ta xác định được mô hình có phương sai của sai số thay đổi hay không 3.1.5. Kiểm định Breusch-Paga Xét hồi quy bội Trong (k-1) biến độc lập trên ta trích ra (p-1) biến làm biến độc lập cho một hồi quy phụ. Trong hồi quy phụ này phần dư từ hồi quy mô hình(5.17) làm hồi quy biến phụ thuộc. Các dạng hồi quy phụ thường sử dụng là Quy tắc quyết định Nếu . mô hình có phương sai của sai số thay đổi và thực hiện kỹ thuật ước lượng mô hình như sau: Đối với kiểm định Breusch-Pagan Đối với kiểm định Glejser Đối với kiểm định Harvey-Godfrey Ta có. Đến đây chúng ta có thể chuyển dạng hồi quy theo OLS thông thường sang hồi quy theo bình phương tối thiểu có trọng số WLS. Phát hiện có sự tương quan trong các công cụ phát hiên sự tương quan trong mô hình hồi quy ,việc phân tích phần dư có ý nghĩa cực kỳ quan trọng trong quán trình phát hiện sự tương quan 3.2.1.Phương pháp đồ thị Sự tương quan trong các mô hình cổ điển gắn liền với các nhiễu tổng thể Ui không quan sát được cái mà chúng ta quan sát được là phần dư ei thu được từ phương pháp bình phương nhỏ nhất thong thường Dù ei không hoàn toàn giống Ui nhưng sự xem xét trực tiếp thường gọi cho ta manh mối nào đó về sự tương quan U .Trên thực tế sự xem xét trực quan về ei hoặc ei2 có thể cho thong tin hữu ích về tự tương quan và tính không đồng phương sai , sự không phù hợp của mô hình Có những cách khác nhau để xem xét phần dư .Chúng ta có thể đơn thuần vẽ đồ thị của chúng theo thơì gian Phần Dư ……………………………………………………. ……………………………………………………… …………………………………………………….. t Đồ thị phần dư theo thời gian Đồ thị phần dư theo thời gian ở trên không biểu thị một kiểu mẫu nào khi thời gian tăng lên những phần dư như vậy hình như phân bố ít nhiều ngẫu nhiên xung quanh trung bình của chúng Phương phá kiểm định số lượng a.Phương pháp kiểm định các đoạn mạch Từ việc phân tích phần dư ei ta thu được một chuỗi các phần dư và đânhs đáu theop tiêu thức phần dư am ,phần dư dương + + - - - - + + - + + + + - - + + + + + + + - - - - - - - - -+ + + + + + + - Ta xác định tổng quan sát n = Trong đó n Tổng quan sát Số ký hiệu dương ( số phần dư dương ) Số ký hiệu âm ( số phần dư âm ) Vậy từ đó tax ac định được yêu cầu bài toán b.Kiểm định với tính độc lập của các phần dư Để kiểm định với tính độc lập của phần dư ,ta sử dụng bảng tiếp liên .Bảng tiếp liê-n mà chúng ta sử dụng tại đây gồm một số dòng và một số cột .Cụ thể là bảng tiếp liên gồm 2 dòng , 2cootj .Các dòng tương ứng với các phần dư dương tại( t )các cột tương ứng với các phần dư âm tại (t-1 ) .Trong mỗi ô ta tính và Trrong đó : Tần số thực tế ở ô (ij) : Tần số lý thuyết ở ô (ịj) Từ bảng trên ta thiết lập được các phần dư Phát hiện sự tồn tại của đa cộng tuyến Từ việc phân tích phần dư ta xây dụng được mà = Do vậy nếu R> 0.8 thì dâu s hiệu của đa cộng tuyến 3.3. Ph