Bài giảng Hàm tương quan đa biến

Hàm tương quan đa biến Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-1 Mục tiêu học tập  Thông hiểu việc xây dựng mô hình với việc phân tích đa biến  Thực hiện việc xây dựng hàm tương quan đa biến.  Phân tích và lý giải kết quả của hàm tương quan đa biến  Thực hiện các phép kiểm định thống kê với hàm tương quan đa biến Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-2 Mô hình của hàm tương quan đa biến Hàm tương quan của đám đông Y-intercept Population slopes Random Error y  β0  β1x1  β2x2  βk xk  ε Hàm tương quan ước lượng Estimated Estimated Estimated slope coefficients (or predicted) intercept value of y yˆ  b0  b1x1  b2x2  bk xk Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-3 Mô hình của hàm tương quan đa biến (trường hợp hai biến) Mô hình hai biến y yˆ  b0  b1x1  b2x2 x2 x1 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-4 Mô hình của hàm tương quan đa biến (trường hợp hai biến) Hai biến y Quan sát thực tế yˆ  b  b x  b x yi 0 1 1 2 2 < y < i e = (y – y) x2i x2 x1i Hàm tương quan sẽ có độ chính xác của ướclượng x1 cao khi tối thiểu hóa tổng Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. bình phương sai lệch: Chape2 14-5 Multiple Regression Assumptions Sai lệch (errors) hay phần dư (residuals): < e = (y – y)  Giả thuyết  Các sai lệch có phân phối chuẩn  Bình quân của các sai lệch co giá trị bằng 0  Phương sai của các sai lệch là cố định  Các sai lệch hoàn toàn độc lập Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-6 Ma trận hệ số tương quan  Ma trận hệ số tương quan giữa biến phụ thuôc và các biến độc lập được tính trên Excel:  Tools / Data Analysis… / Correlation  Kiểm tra độ tin cậy thống kê của các hệ số tương quan với phép kiểm định t Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-7 Ví dụ  Một nhà sản xuất bánh nướng muốn đánh giá sự tác động của giá cả và quảng cáo đến sản lượng hàng bán ra  Biến phụ thuộc: Sản lượng (Chiếc mỗi tuần)  Biến độc lập: giá cả ($) và chi phí quảng cáo (đơn vị $100/tuần)  Thông tin được thu thập liên tục trong 15 tuần Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-8 Hàm tương quan đa biến Pie Price Advertising Week Sales ($) ($100s) Multiple regression model: 1 350 5.50 3.3 2 460 7.50 3.3 3 350 8.00 3.0 Sales = b0 + b1 (Price) 4 430 8.00 4.5 5 350 6.80 3.0 + b2 (Advertising) 6 380 7.50 4.0 7 430 4.50 3.0 8 470 6.40 3.7 Correlation matrix: 9 450 7.00 3.5 Pie Sales Price Advertising 10 490 5.00 4.0 Pie Sales 1 11 340 7.20 3.5 Price -0.44327 1 12 300 7.90 3.2 Advertising 0.55632 0.03044 1 13 440 5.90 4.0 14 450 5.00 3.5 15 300 7.00 2.7 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-9 Giải thích ý nghĩa các hệ số tương quan (bi)  bi  Giá trị trung bình của y sẽ thay đổi bi đơn vị khi gia tăng một đơn vị Xi, giả định rằng các biến khác đều cố định  Hằng số tương quan (b0)  Giá trị trung bình của y khi mọi biến Xi đều bằng 0. Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-10 Kết quả của hàm tương quan đa biến Regression Statistics Multiple R 0.72213 R Square 0.52148 Adjusted R Square 0.44172 Standard Error 47.46341 Sales  306.526 - 24.975(Price)  74.131(Adv ertising) Observations 15 ANOVA df SS MS F Significance F Regression 2 29460.027 14730.013 6.53861 0.01201 Residual 12 27033.306 2252.776 Total 14 56493.333 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept 306.52619 114.25389 2.68285 0.01993 57.58835 555.46404 Price -24.97509 10.83213 -2.30565 0.03979 -48.57626 -1.37392 Advertising 74.13096 25.96732 2.85478 0.01449 17.55303 130.70888 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-11 Hệ số xác định của hàm tương quan đa biến  Tỷ lệ % biến thiên của y có thể giải thích bởi sự biến thiên đồng thời của tất cả các Xi ESS Sum of squares regression R 2   TSS Total sum of squares Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-12 Hệ số xác định của hàm tương quan đa biến (continued) Regression Statistics SSR 29460.0 Multiple R 0.72213 R2    .52148 R Square 0.52148 SST 56493.3 Adjusted R Square 0.44172 Standard Error 47.46341 52.1% of the variation in pie sales Observations 15 is explained by the variation in price and advertising ANOVA df SS MS F Significance F Regression 2 29460.027 14730.013 6.53861 0.01201 Residual 12 27033.306 2252.776 Total 14 56493.333 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept 306.52619 114.25389 2.68285 0.01993 57.58835 555.46404 Price -24.97509 10.83213 -2.30565 0.03979 -48.57626 -1.37392 Advertising 74.13096 25.96732 2.85478 0.01449 17.55303 130.70888 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-13 Hệ số xác định đã điều chỉnh (Adjusted R2)  R2 hầu như không bao giờ giảm khi chúng ta thêm biến độc lập mới vào mô hình  Gây khó khăn trong việc so sánh các mô hình trước và sau khi thêm biến mới  Tác đông thực khi thêm biến mới  Chúng ta sẽ giãm bậc tự do khi có biến mới thêm vào.  Việc thêm biến mới có đũ năng lực giải thích để bù đấp cho sự mất mát khi giãm bậc tự do hay không? Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-14 Hệ số xác định đã điều chỉnh (Adjusted R2) (continued)  Thể hiện % tổng biến thiên của y có thể giải thích đượcbởi tất cả các biến Xi đã được điều chỉnh cho số biến sử dụng 2 2  n 1  RA  1 (1R )   n  k 1 (n = Cở mẩu, k = số lượng các biến độc lập) Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-15 Hệ số xác định đã điều chỉnh (Adjusted R2) Tác dụng của việc sử dụng R2 đã điều chỉnh  Trừng phạt việc đưa quá nhiều biến không cần thiết vào mô hình  Hữu dụng trong việc so sánh mô hình Thường giá trị của nó nhỏ hơn R2 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-16 Hệ số xác định đã điều chỉnh (Adjusted R2) (continued) Regression Statistics 2 Multiple R 0.72213 RA  .44172 R Square 0.52148 44.2% of the variation in pie sales is Adjusted R Square 0.44172 Standard Error 47.46341 explained by the variation in price and Observations 15 advertising, taking into account the sample size and number of independent variables ANOVA df SS MS F Significance F Regression 2 29460.027 14730.013 6.53861 0.01201 Residual 12 27033.306 2252.776 Total 14 56493.333 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept 306.52619 114.25389 2.68285 0.01993 57.58835 555.46404 Price -24.97509 10.83213 -2.30565 0.03979 -48.57626 -1.37392 Advertising 74.13096 25.96732 2.85478 0.01449 17.55303 130.70888 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-17 Kiểm tra độ tin cậy của mô hình tương quan  Dùng kiểm định F  Thể hiện tất cả các biến đôc lập có mối quan hệ tương quan tuyến tính với biến phụ thuộc y hay không?  Giả thuyết :  H0: β1 = β2 = … = βk = 0 (không có quan hệ tuyến tính)  HA: Tối thiểu có βi ≠ 0 (Tối thiểu có một biến có quan hệ tuyến tính với y) Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-18 Cách xác định kiểm định F (continued)  Giá trị F tính toán: ESS MESS F  k  RSS MRSS n  k 1 where F has (numerator) D1 = k and (denominator) D2 = (n – k - 1) degrees of freedom Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-19 Kết quả kiểm định F trên Excel (continued) Regression Statistics Multiple R 0.72213 MSR 14730.0 R Square 0.52148 F    6.5386 Adjusted R Square 0.44172 MSE 2252.8 Standard Error 47.46341 With 2 and 12 degrees Observations 15 P-value for of freedom the F-Test ANOVA df SS MS F Significance F Regression 2 29460.027 14730.013 6.53861 0.01201 Residual 12 27033.306 2252.776 Total 14 56493.333 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept 306.52619 114.25389 2.68285 0.01993 57.58835 555.46404 Price -24.97509 10.83213 -2.30565 0.03979 -48.57626 -1.37392 Advertising 74.13096 25.96732 2.85478 0.01449 17.55303 130.70888 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-20 Kết quả kiểm định F trên Excel (continued) H0: β1 = β2 = 0 F tính toán: Coù ít nhaát i khaùc 0 MESS HA: β F   6.5386 a = .05 MRSS df = 2 df = 12 1 2 Quyết định: Critical Từ chối H0 ở mức ý nghĩa 5% Value: Conclusion: Fa = 3.885 The regression model does explain a = .05 a significant portion of the variation in pie sales 0 F Do not Reject H0 (There is evidence that at least one reject H0 F.05 = 3.885 independent variable affects y) Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-21 Kiểm định tương quan tuyến tính của biến độc lập với biến phụ thuộc  Sử dụng phép kiểm định t  Thể hiện mối quan hệ tuyến tính giửa biến xi và y  Giả thuyết :  H0: βi = 0 (không có quan hệ tuyến tính)  HA: βi ≠ 0 (có quan hệ tương quan tuyến tính) Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-22 Kiểm định tương quan tuyến tính của biến độc lập với biến phụ thuộc (continued) Xác định t tính toán : b  0 (df = n – k – 1) t  i s bi Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-23 Kiểm định tương quan tuyến tính của biến độc lập với biến phụ thuộc (continued) Regression Statistics t-value for Price is t = -2.306, with Multiple R 0.72213 p-value .0398 R Square 0.52148 Adjusted R Square 0.44172 Standard Error 47.46341 t-value for Advertising is t = 2.855, Observations 15 with p-value .0145 ANOVA df SS MS F Significance F Regression 2 29460.027 14730.013 6.53861 0.01201 Residual 12 27033.306 2252.776 Total 14 56493.333 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept 306.52619 114.25389 2.68285 0.01993 57.58835 555.46404 Price -24.97509 10.83213 -2.30565 0.03979 -48.57626 -1.37392 Advertising 74.13096 25.96732 2.85478 0.01449 17.55303 130.70888 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-24 Kiểm định tương quan tuyến tính của biến độc lập với biến phụ thuộc From Excel output: H0: βi = 0 Coefficients Standard Error t Stat P-value HA: βi  0 Price -24.97509 10.83213 -2.30565 0.03979 Advertising 74.13096 25.96732 2.85478 0.01449 d.f. = 15-2-1 = 12 a = .05 The test statistic for each variable falls ta/2 = 2.1788 in the rejection region (p-values < .05) Decision: a/2=.025 a/2=.025 Reject H0 for each variable Conclusion: There is evidence that both Reject H0-t Do not reject H0 t Reject H0 α/2 0 α/2 Price and Advertising affect -2.1788 2.1788 pie sales at a = .05 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-25 Ước lượng các thông số của hàm tương quan đám đông từ mẩu Khoảng ước lượng hệ số góc của đám đông β1 (the effect of changes in price on pie sales): b  t s where t has i a / 2 bi (n – k – 1) d.f. Coefficients Standard Error … Lower 95% Upper 95% Intercept 306.52619 114.25389 … 57.58835 555.46404 Price -24.97509 10.83213 … -48.57626 -1.37392 Advertising 74.13096 25.96732 … 17.55303 130.70888 Example: sản lượng bánh nướng hàng tuần ước lượng sẽ giảm trong khoảng 1.37 đến 48.58 đơn vị mỗi khi giá cả giảm $1 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-26 Sai lệch tiêu chuẩn của hàm tương quan  Cách xác định sai lệch tiêu chuẩn của hàm tương quan: RSS s   MRSS  n  k 1  Muốn đánh giá giá trị nầy lớn hay nhỏ, chúng ta cần phải so sánh với giá tri trung bình của biến phụ thuộc Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-27 Độ lệch tiêu chuẩn của hàm tương quan (continued) Regression Statistics Multiple R 0.72213 Sai lệch tiêu chuẩn của hàm R Square 0.52148 47.46 Adjusted R Square 0.44172 tương quan là Standard Error 47.46341 Observations 15 ANOVA df SS MS F Significance F Regression 2 29460.027 14730.013 6.53861 0.01201 Residual 12 27033.306 2252.776 Total 14 56493.333 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept 306.52619 114.25389 2.68285 0.01993 57.58835 555.46404 Price -24.97509 10.83213 -2.30565 0.03979 -48.57626 -1.37392 Advertising 74.13096 25.96732 2.85478 0.01449 17.55303 130.70888 Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-28 Độ lệch tiêu chuẩn của hàm tương quan (continued)  Độ lệch tiêu chuẩn của hàm tươg quan là 47.46  Với khoảng ước lượng 2 sigma, khoảng biến động sẽ nàm trong khoảng 2* (47.46)= 94.92.  Sản lượng bánh nướng bán ra trong tuần biến động từ 300 đến 500 do đó mức biến động nầy khá lớn. Như vậy có khả năng se tồn tại những biến khác tác động đến sản lượng bán ra mà chúng ta chưa xét đến để đưa vào hàm tương quan. Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-29 Hiện tượng đa cộng tuyến (Multicollinearity)  Hiện tượng đa cộng tuyến : Hệ số tương quan giửa các biến độc lập rất cao  Lúc đó sự tác động của các biến độc lập vào biến phụ thuộc sẽ bị sai lệch Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-30 Hiện tượng đa cộng tuyến (Multicollinearity) (continued)  Việc tồn tại hai biến độc lập có tương quan cao gây tác động xấu đến kết quả của hàm tương quan  Dẫn đến sự không ổn định của các thông số hàm tương quan (Hệ số sai lệch tiêu chuẩn cao, và giá trị t tính toán thấp)  Dấu của các thông số của hàm tương quan bị sai lệch Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-31 Một vài chỉ báo của hiện tượng đa cộng tuyến  Sai lệch về dấu của thông số của hàm tương quan  Sự thay đổi về lượng của các thông số của hàm tương quan khi thêm biến mới vào  Một biến độc lập từ chổ đủ độ tin cậy thống kê sẽ trở nên không đủ độ tin cậy thống kê khi thêm biến độc lập mới vào  Độ lệch tiêu chuẩn của hàm tương quan sẽ gia tăng khi biến độc lập mới được thêm vào Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-32 Phát hiện hiện tượng đa cộng tuyến (Variance Inflationary Factor) VIFj is used to measure collinearity: 1 VIF j  2 1  R j 2 th R j is the coefficient of determination when the j independent variable is regressed against the remaining k – 1 independent variables If VIFj > 5, xj is highly correlated with the other explanatory variables Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-33 Dummy-Variable Model Example (with 2 Levels) Let: ˆ y = pie sales y  b0  b1x1  b2 x2 x1 = price x2 = holiday (X2 = 1 if a holiday occurred during the week) (X2 = 0 if there was no holiday that week) Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-34 Qualitative (Dummy) Variables  Categorical explanatory variable (dummy variable) with two or more levels:  yes or no, on or off, male or female  coded as 0 or 1  Regression intercepts are different if the variable is significant  Assumes equal slopes for other variables  The number of dummy variables needed is (number of levels - 1) Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-35 Dummy-Variable Model Example (with 2 Levels) (continued) Holiday yˆ  b0  b1x1  b2 (1)  (b0  b2 )  b1x1 No Holiday yˆ  b0  b1x1  b2 (0)  b0  b1x1 Different Same intercept slope y (sales) If H0: β2 = 0 is b0 + b2 rejected, then b0 “Holiday” has a significant effect on pie sales Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. x1 (Price) Chap 14-36 Interpretation of the Dummy Variable Coefficient (with 2 Levels) Example: Sales  300 - 30(Price)  15(Holiday) Sales: number of pies sold per week Price: pie price in $ 1 If a holiday occurred during the week Holiday: 0 If no holiday occurred b2 = 15: on average, sales were 15 pies greater in weeks with a holiday than in weeks without a holiday, given the same price Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-37 Dummy-Variable Models (more than 2 Levels)  The number of dummy variables is one less than the number of levels  Example: y = house price ; x1 = square feet  The style of the house is also thought to matter: Style = ranch, split level, condo Three levels, so two dummy variables are needed Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-38 Dummy-Variable Models (more than 2 Levels) (continued) Let the default category be “condo” 1 if ranch 1 if split level x2   x3   0 if not 0 if not ˆ y  b0  b1x1  b 2x2  b3 x3 b2 shows the impact on price if the house is a ranch style, compared to a condo b3 shows the impact on price if the house is a split level style, compared to a condo Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-39 Interpreting the Dummy Variable Coefficients (with 3 Levels) Suppose the estimated equation is yˆ  20.43  0.045x1  23.53x 2 18.84x 3 For a condo: x = x = 0 2 3 With the same square feet, a yˆ  20.43  0.045x1 ranch will have an estimated average price of 23.53 For a ranch: x = 0 thousand dollars more than a 3 condo yˆ  20.43  0.045x1  23.53 With the same square feet, a For a split level: x = 0 split level will have an 2 estimated average price of yˆ  20.43  0.045x1 18.84 18.84 thousand dollars more than a condo. Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-40 Nonlinear Relationships  The relationship between the dependent variable and an independent variable may not be linear  Useful when scatter diagram indicates non- linear relationship  Example: Quadratic model  2 y  β0  β1x j  β2x j  ε  The second independent variable is the square of the first variable Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-41 Polynomial Regression Model General form: 2 p y  β0  β1x j  β2x j  βp x j  ε  where: β0 = Population regression constant βi = Population regression coefficient for variable xj : j = 1, 2, …k p = Order of the polynomial i = Model error If p = 2 the model is a quadratic model: 2 y  β0  β1x j  β2x j  ε Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-42 Linear vs. Nonlinear Fit y y x x x x residuals residuals Linear fit does not give Nonlinear fit gives random residuals  random residuals Business Statistics: A Decision-Making Approach, 6e © 2005 Prentice-Hall, Inc. Chap 14-43 Quadratic Regression