User Tools

Site Tools


multiple_regression

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
multiple_regression [2018/12/21 23:42]
hkimscil [Determining IVs' role]
multiple_regression [2019/05/23 09:50] (current)
hkimscil [Why overall model is significant while IVs are not?]
Line 150: Line 150:
 |     ​| ​    ​| ​ B   ​| ​ Std. Error   ​| ​ Beta   ​| ​    ​| ​   |  |     ​| ​    ​| ​ B   ​| ​ Std. Error   ​| ​ Beta   ​| ​    ​| ​   | 
 |  1.000    |  (Constant) ​  ​| ​ 6.399    |  1.517    |     ​| ​ 4.220    |  0.004   ​| ​ |  1.000    |  (Constant) ​  ​| ​ 6.399    |  1.517    |     ​| ​ 4.220    |  0.004   ​| ​
-|     ​| ​ ​bankIncome ​ ​income ​  ​| ​ 0.012    |  0.004    |  0.616    |  3.325    |  0.013   ​| ​+|     ​| ​ income ​  ​| ​ 0.012    |  0.004    |  0.616    |  3.325    |  0.013   ​| ​
 |     ​| ​ bankfam ​  ​| ​ -0.545 ​   |  0.226    |  -0.446 ​   |  -2.406 ​   |  0.047   ​| ​ |     ​| ​ bankfam ​  ​| ​ -0.545 ​   |  0.226    |  -0.446 ​   |  -2.406 ​   |  0.047   ​| ​
 | a Dependent Variable: bankbook ​ number of bank   ​||||||| | a Dependent Variable: bankbook ​ number of bank   ​|||||||
  
-b에 대한 (coefficients) 유의도 테스트는 t-test를 이용하여 한다. 위의 표에서 . . . .  
  
 +====== Slope test ======
 +
 +b에 대한 (coefficients) 유의도 테스트는 t-test를 이용하여 한다. t-test는 기본적으로 트리트먼트효과 (독립변인효과 혹은 차이)를 랜덤에러인 standard error로 나누어서 구하므로,​ 위의 표에서 income에 대한 t value는 0.012/​0.004;​ bankfam의 경우는 -0.545 / 0.226로 구할 수 있다. ​
 +
 +독립변인이 하나일 경우에 구한 t 값은 해당 리그레션 모델의 F test값의 제곱근을 씌운 값이 된다. 독립변인이 둘 이상인 경우에는 독립변인 간의 상관관계가 존재하는 경우가 대다수이므로 t 값의 제곱이 꼭 F 값이 되지는 않는다.
 +
 +====== Beta coefficients ======
 +[[:beta coefficients]] 혹은 Standardized coefficients 참조 ​
  
 ====== e.g., ====== ====== e.g., ======
Line 321: Line 328:
 </​code>​ </​code>​
  
-====== ​무엇부터라는 문제 ​======+====== ​Why overall model is significant while IVs are not====== 
 +see https://​www.researchgate.net/​post/​Why_is_the_Multiple_regression_model_not_significant_while_simple_regression_for_the_same_variables_is_significant 
 + 
 +<​code>​ 
 +RSS = 3:10 #Right shoe size 
 +LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS 
 +cor(LSS, RSS) #​correlation ~ 0.99 
 +  
 +weights = 120 + rnorm(RSS, 10*RSS, 10) 
 +  
 +##Fit a joint model 
 +m = lm(weights ~ LSS + RSS) 
 + 
 +##F-value is very small, but neither LSS or RSS are significant 
 +summary(m) 
 +</​code>​ 
 + 
 + 
 +<​code>>​ RSS = 3:10 #Right shoe size 
 +> LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS 
 +> cor(LSS, RSS) #​correlation ~ 0.99 
 +[1] 0.9994836 
 +>  
 +> weights = 120 + rnorm(RSS, 10*RSS, 10) 
 +>  
 +> ##Fit a joint model 
 +> m = lm(weights ~ LSS + RSS) 
 +>  
 +> ##F-value is very small, but neither LSS or RSS are significant 
 +> summary(m) 
 + 
 +Call: 
 +lm(formula = weights ~ LSS + RSS) 
 + 
 +Residuals:​ 
 +      1       ​2 ​      ​3 ​      ​4 ​      ​5 ​      ​6 ​      ​7 ​      8  
 + ​4.8544 ​ 4.5254 -3.6333 -7.6402 -0.2467 -3.1997 -5.2665 10.6066  
 + 
 +Coefficients:​ 
 +            Estimate Std. Error t value Pr(>​|t|) ​    
 +(Intercept) ​ 104.842 ​     8.169  12.834 5.11e-05 *** 
 +LSS          -14.162 ​    ​35.447 ​ -0.400 ​   0.706     
 +RSS           ​26.305 ​    ​35.034 ​  ​0.751 ​   0.487     
 +--- 
 +Signif. codes: ​ 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
 + 
 +Residual standard error: 7.296 on 5 degrees of freedom 
 +Multiple R-squared: ​ 0.9599,​ Adjusted R-squared: ​ 0.9439  
 +F-statistic:​ 59.92 on 2 and 5 DF,  p-value: 0.000321 
 + 
 +>  
 +> ##Fitting RSS or LSS separately gives a significant result.  
 +> summary(lm(weights ~ LSS)) 
 + 
 +Call: 
 +lm(formula = weights ~ LSS) 
 + 
 +Residuals:​ 
 +   ​Min ​    1Q Median ​    ​3Q ​   Max  
 +-6.055 -4.930 -2.925 ​ 4.886 11.854  
 + 
 +Coefficients:​ 
 +            Estimate Std. Error t value Pr(>​|t|) ​    
 +(Intercept) ​ 103.099 ​     7.543   13.67 9.53e-06 *** 
 +LSS           ​12.440 ​     1.097   11.34 2.81e-05 *** 
 +--- 
 +Signif. codes: ​ 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
 + 
 +Residual standard error: 7.026 on 6 degrees of freedom 
 +Multiple R-squared: ​ 0.9554,​ Adjusted R-squared: ​ 0.948  
 +F-statistic:​ 128.6 on 1 and 6 DF,  p-value: 2.814e-05 
 + 
 +>  
 +</​code>​ 
 + 
 + 
 +====== The problem of "which one is entered first?" ​======
  
 __그림 여기쯤 수록__ __그림 여기쯤 수록__
Line 397: Line 480:
   * LifeSat Score on Life Satisfaction Inventory seven years after College   * LifeSat Score on Life Satisfaction Inventory seven years after College
   * Income Income seven years after College (in thousands)   * Income Income seven years after College (in thousands)
 +
  
 ====== Resources ====== ====== Resources ======
multiple_regression.1545405164.txt.gz · Last modified: 2018/12/21 23:42 by hkimscil