Differences

This shows you the differences between two versions of the page.

--- multiple_regression_examples [2020/12/01 17:05] – [각각의 독립변인이 고유하게 미치는 영향력은 (설명력은) 무엇인지를 본다] hkimscil
+++ multiple_regression_examples [2023/10/21 13:26] (current) – hkimscil
@@ Line 183: / Line 183: @@
 그렇다면 stress 와 bmi가 공통으로 기여하는 부분을 뺀 순수 기여분은 어떻게 될까? 즉, 위의 .80 부분 중 bmi와 공통으로 기여하는 부분을 제외한 나머지는 얼마일까? 보통 이와 같은 작업을 bmi의 (다른 독립변인의) 영향력을 제어하고 (control) 순수기여분만을 살펴본다고 이야기 한다.
+===== 방법 1 =====
 이를 위해서 아래를 계획, 수행해본다.
@@ Line 244: / Line 245: @@
 즉, '' stress: 8.1% '' 와 '' bmi: 1.78% '' 만이 독립변인의 고유영향력이고 이를 제외한 '' 82.17 - (9.88) = 72.29 '' 가 공통영향력이라고 하겠다.
+이를 파티션을 하면서 직접 살펴보려면
+  * 우선 $\frac{b}{a+b+c+d}$ 를 보려고 한다.
+  * 그림에서 m.bmi <- lm((a+b+c+d)~(b+e)) 와 같이 한후에 r제곱값을 보고, sqrt 하면 r값을 알 수 있다.
+  * b+e를 구하려면 lm(bmi~stress)를 한후, 그 residual을 보면 된다.
+  * a+b+c+d 는 happiness 그 자체이다.
+<code>
+m.bmi <- lm(bmi ~ stress)
+mod <- lm(happiness ~ resid(m.bmi))
+summary(mod)
+</code>
+<code>
+> m.bmi <- lm(bmi ~ stress)
+> mod <- lm(happiness ~ resid(m.bmi))
+> summary(mod)
+Call:
+lm(formula = happiness ~ resid(m.bmi))
+Residuals:
+     Min       1Q   Median       3Q      Max
+-1.97283 -0.94440  0.05897  0.97961  2.29664
+Coefficients:
+             Estimate Std. Error t value Pr(>|t|)
+(Intercept)   2.83333    0.24698  11.472 4.27e-12 ***
+resid(m.bmi) -0.05954    0.08358  -0.712    0.482
+---
+Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
+Residual standard error: 1.353 on 28 degrees of freedom
+Multiple R-squared:  0.0178,	Adjusted R-squared:  -0.01728
+F-statistic: 0.5074 on 1 and 28 DF,  p-value: 0.4822
+</code>
+위의 분석에서 R-square 값인 0.0178 이 bmi의 고유의 설명력이다. r값은 sqrt(0.0178)이다. 그리고, 위의 모델은 significant하지 않음을 주목한다.
+다음으로 $\frac {d}{a+b+c+d}$을 구해서 stress 고유설명력을 본다. 이제는
+<code>
+m.stress <- lm(stress ~ bmi)
+mod2 <- lm(happiness ~ resid(m.stress))
+sumary(mod2)
+</code>
+<code>
+> m.stress <- lm(stress ~ bmi)
+> mod2 <- lm(happiness ~ resid(m.stress))
+> summary(mod2)
+Call:
+lm(formula = happiness ~ resid(m.stress))
+Residuals:
+    Min      1Q  Median      3Q     Max
+-1.9383 -1.2297  0.2170  0.9804  1.9284
+Coefficients:
+                Estimate Std. Error t value Pr(>|t|)
+(Intercept)       2.8333     0.2388  11.865 1.95e-12 ***
+resid(m.stress)  -0.6781     0.4295  -1.579    0.126
+---
+Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
+Residual standard error: 1.308 on 28 degrees of freedom
+Multiple R-squared:  0.08173,	Adjusted R-squared:  0.04894
+F-statistic: 2.492 on 1 and 28 DF,  p-value: 0.1256
+>
+</code>
+Multiple R-squared 인 0.08173 이 고유 설명력이고, 이 또한 significant 하지 않다.
+.08173 값과 0.0178을 더한 값을 제외한 lm(happiness~bmi+stress) 에서의 R-squared 값이 공통설명력이 된다. 아래의 분석 결과에서 Multiple R-squared:  0.8217 이 두 변인을 모두 합한 설명력이다.
+<code>
+m.both <- lm(happiness~bmi+stress)
+summary(m.both)
+</code>
+<code>
+> m.both <- lm(happiness~bmi+stress)
+> summary(m.both)
+Call:
+lm(formula = happiness ~ bmi + stress)
+Residuals:
+     Min       1Q   Median       3Q      Max
+-0.89293 -0.40909  0.08816  0.29844  1.46429
+Coefficients:
+            Estimate Std. Error t value Pr(>|t|)
+(Intercept)  6.29098    0.50779  12.389 1.19e-12 ***
+bmi         -0.05954    0.03626  -1.642  0.11222
+stress      -0.67809    0.19273  -3.518  0.00156 **
+---
+Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
+Residual standard error: 0.5869 on 27 degrees of freedom
+Multiple R-squared:  0.8217,	Adjusted R-squared:  0.8085
+F-statistic: 62.22 on 2 and 27 DF,  p-value: 7.76e-11
+</code>
+이 값은 0.72217 이다.
+<code>
+> 0.8217- (0.08173 + 0.0178)
+[1] 0.72217
+>
+</code>
+bmi나 stress 중 하나를 IV로 취하는 것이 좋다는 결론을 내린다.