Differences

This shows you the differences between two versions of the page.

--- multiple_regression [2018/11/09 07:53] – hkimscil
+++ multiple_regression [2019/05/21 22:40] – [Why overall model is significant while IVs are not?] hkimscil
@@ Line 150: / Line 150: @@
 |     |     |  B   |  Std. Error   |  Beta   |     |    |
 |  1.000    |  (Constant)   |  6.399    |  1.517    |     |  4.220    |  0.004   |
-|     |  bankIncome  income   |  0.012    |  0.004    |  0.616    |  3.325    |  0.013   |
+|     |  income   |  0.012    |  0.004    |  0.616    |  3.325    |  0.013   |
 |     |  bankfam   |  -0.545    |  0.226    |  -0.446    |  -2.406    |  0.047   |
 | a Dependent Variable: bankbook  number of bank   |||||||
-b에 대한 (coefficients) 유의도 테스트는 t-test를 이용하여 한다. 위의 표에서 . . . .
+====== Slope test ======
+b에 대한 (coefficients) 유의도 테스트는 t-test를 이용하여 한다. t-test는 기본적으로 트리트먼트효과 (독립변인효과 혹은 차이)를 랜덤에러인 standard error로 나누어서 구하므로, 위의 표에서 income에 대한 t value는 0.012/0.004; bankfam의 경우는 -0.545 / 0.226로 구할 수 있다.
+독립변인이 하나일 경우에 구한 t 값은 해당 리그레션 모델의 F test값의 제곱근을 씌운 값이 된다. 독립변인이 둘 이상인 경우에는 독립변인 간의 상관관계가 존재하는 경우가 대다수이므로 t 값의 제곱이 꼭 F 값이 되지는 않는다.
+====== Beta coefficients ======
+[[:beta coefficients]] 혹은 Standardized coefficients 참조
 ====== e.g., ======
@@ Line 321: / Line 328: @@
 </code>
-====== 무엇부터? 라는 문제 ======
+====== Why overall model is significant while IVs are not? ======
+see https://www.researchgate.net/post/Why_is_the_Multiple_regression_model_not_significant_while_simple_regression_for_the_same_variables_is_significant
+<code>> RSS = 3:10 #Right shoe size
+> LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
+> cor(LSS, RSS) #correlation ~ 0.99
+[1] 0.9983294
+>
+> weights = 120 + rnorm(RSS, 10*RSS, 10)
+>
+> ##Fit a joint model
+> m = lm(weights ~ LSS + RSS)
+>
+> ##F-value is very small, but neither LSS or RSS are significant
+> summary(m)
+Call:
+lm(formula = weights ~ LSS + RSS)
+Residuals:
+       2       3       4       5       6       7
+.6231 -4.8706  1.3063  0.9639 -1.3120 -6.1247  2.6604
+
+.7536
+Coefficients:
+            Estimate Std. Error t value Pr(>|t|)
+(Intercept)  103.116      4.832  21.339 4.19e-06 ***
+LSS          -27.546     11.952  -2.305   0.0694 .
+RSS           39.299     12.040   3.264   0.0223 *
+---
+Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
+Residual standard error: 4.508 on 5 degrees of freedom
+Multiple R-squared:  0.9827,	Adjusted R-squared:  0.9757
+F-statistic: 141.6 on 2 and 5 DF,  p-value: 3.964e-05
+>
+> ##Fitting RSS or LSS separately gives a significant result.
+> summary(lm(weights ~ LSS))
+Call:
+lm(formula = weights ~ LSS)
+Residuals:
+    Min      1Q  Median      3Q     Max
+-11.044  -2.203  -0.422   2.774  12.369
+Coefficients:
+            Estimate Std. Error t value Pr(>|t|)
+(Intercept)  105.939      7.679   13.79 9.03e-06 ***
+LSS           11.401      1.115   10.22 5.11e-05 ***
+---
+Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
+Residual standard error: 7.282 on 6 degrees of freedom
+Multiple R-squared:  0.9457,	Adjusted R-squared:  0.9366
+F-statistic: 104.5 on 1 and 6 DF,  p-value: 5.113e-05
+>
+</code>
+====== The problem of "which one is entered first?" ======
 __그림 여기쯤 수록__
@@ Line 339: / Line 409: @@
     * . . . the stepwise procedure defines an a posteriori order based solely on a statistical consideration (the statistical significance of semi-partial correlations) . . . .
 ====== Determining IVs' role ======
+For a complete explanation and examples, read [[:partial  and semipartial correlation]]
 https://www.youtube.com/watch?v=-QsMvrQDxyU
 [{{ :partial.correlations.jpg?300 |r-squared semi-partial partial correlations }}]
@@ Line 396: / Line 467: @@
   * LifeSat Score on Life Satisfaction Inventory seven years after College
   * Income Income seven years after College (in thousands)
 ====== Resources ======