Differences

This shows you the differences between two versions of the page.

--- expected_value_and_variance_properties [2025/09/23 23:34] – [Theorems] hkimscil
+++ expected_value_and_variance_properties [2025/10/01 00:00] (current) – [e.gs in R] hkimscil
@@ Line 1: / Line 1: @@
-====== Theorems ======
+====== Expected value and variance properties ======
 ^ EXPECT VALUE ^^
 | $E(X)$ | $\sum{X}\cdot P(X=x)$  |
@@ Line 30: / Line 30: @@
 ====== Theorem 2: Why square ======
 $ \ref{var.theorem.1} $ 에 따르면
 $$ Var[X] = E[X^2] − E[X]^2 $$
 이므로
-\begin{align*}
+\begin{eqnarray*}
-Var[aX] & = E[a^2X^2] − (E[aX])^2 \\
+Var[aX] & = & E[a^2X^2] − (E[aX])^2 \\
- & = a^2 E[X^2] - (a E[X])^2 \\
+ & = & a^2 E[X^2] - (a E[X])^2 \\
- & = a^2 E[X^2] - (a^2 E[X]^2) \\
+ & = & a^2 E[X^2] - (a^2 E[X]^2) \\
- & = a^2 (E[X^2] - (E[X])^2) \\
+ & = & a^2 (E[X^2] - (E[X])^2) \\
- & = a^2 (Var[X]) \label{var.theorem.2} \tag{variance theorem 2} \\
+ & = & a^2 (Var[X]) \label{var.theorem.2} \tag{variance theorem 2} \\
-\end{align*}
+\end{eqnarray*}
 ====== Theorem 3: Why Var[X+c] = Var[X] ======
 \begin{align}
@@ Line 130: / Line 129: @@
 따라서
-\begin{align*}
+\begin{eqnarray}
-Var[(X+Y)] = Var[X] + 2 Cov[X,Y] + Var[Y] \\
+Var[(X+Y)] = Var[X] + 2 Cov[X,Y] + Var[Y] \nonumber \\
-\end{align*}
+\end{eqnarray}
+그런데 일반적으로 변인 X와 변인 Y는 독립적이므로 두 변인 간의 cov값은 (Cov[X,Y]) 0 이다. 따라서
+\begin{eqnarray}
+Var[(X+Y)] = Var[X] + Var[Y] \nonumber \\
+\end{eqnarray}
+마찬가지로
+\begin{eqnarray}
+Var[(X-Y)] & = & Var[X] - 2 Cov[X,Y] + Var[Y] \nonumber \\
+& = & Var[X] + Var[Y] \nonumber
+\end{eqnarray}
@@ Line 162: / Line 173: @@
 = & Var(X) + Var(X) \\
+= & 2 * Var(X) \\
 \end{align*}
-X1, X2는 같은 분포를 갖는 서로 독립적인 집합이고 (가령 각 집합은 n=10000이고 mean=0, var=4의 특성을 갖는) 이 때의 두 집합을 합한 집합의 Variance는 각 Variance를 더한 값과 같다는 뜻. 반면에 아래는 동일한 집합을 선형적인 관계로 옮긴 것 (X to 2X).
+X1, X2는 같은 분포를 갖는 서로 독립적인 집합이고 (가령 각 집합은 n=10000이고 mean=0, var=4의 특성을 갖는) 이 때의 두 집합을 합한 집합의 Variance는 각 Variance를 더한 값과 같다는 뜻.
+반면에 아래는 동일한 집합을 선형적인 관계로 옮긴 것 (X to 2X).
 \begin{align}
@@ Line 256: / Line 270: @@
 ^2*var(x1)
 v.11
+</code>
+<code>
+> # variance theorem 4-1, 4-2
+> # http://commres.net/wiki/variance_theorem
+>
+> # need a function, rnorm2
+> rnorm2 <- function(n,mean,sd) {
++     mean+sd*scale(rnorm(n))
++ }
+>
+> m <- 50
+> v <- 4
+> n <- 100000
+> set.seed(1)
+> x1 <- rnorm2(n, m, sqrt(v))
+> x2 <- rnorm2(n, m, sqrt(v))
+> x3 <- rnorm2(n, m, sqrt(v))
+>
+> # Note: x1, x2, x3는 평균과 표준편차를
+> # 같은 값으로 갖는 (공유하는) 독립적인
+> # 집단
+>
+> y1 <- 3*x1 +5
+> exp.y1 <- mean(y1)
+> exp.3xplus5 <- 3 * mean(x1) + 5
+> exp.y1
+[1] 155
+> exp.3xplus5
+[1] 155
+>
+> var(x1)
+     [,1]
+[1,]    4
+> var((3*x1)+5)
+     [,1]
+[1,]   36
+> 3^2 * var(x1)
+     [,1]
+[1,]   36
+> var(y1)  # 9 * var(x) 위와 동일
+     [,1]
+[1,]   36
+>
+> v.12 <- var(x1 + x2)
+> v.12
+         [,1]
+[1,] 7.974862
+>
+> ######################################
+> ## v.12 should be near var(x1)+var(x2)
+> ######################################
+> # 정확히 2*v가 아닌 이유는 x1, x2가
+> # 아주 약간은 (random하게) dependent하기 때문
+> # (혹은 상관관계가 있기 때문, covariance가
+> # 있기 때문)
+> # theorem 5-1 에서
+> # var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))
+>
+> cov.x1x2 <- cov(x1,x2)
+> cov.x1x2
+            [,1]
+[1,] -0.01256899
+>
+> var(x1 + x2)
+         [,1]
+[1,] 7.974862
+> var(x1) + var(x2) + (2*cov.x1x2)
+         [,1]
+[1,] 7.974862
+>
+> # theorem 5-2 도 확인
+> var(x1 - x2)
+         [,1]
+[1,] 8.025138
+> var(x1) + var(x2) - (2 * cov.x1x2)
+         [,1]
+[1,] 8.025138
+>
+> # only when x1, x2 are independent (orthogonal)
+> # var(x1+x2) == var(x1) + var(x2)
+> ########################################
+>
+> ## 그리고 동일한 (독립적이지 않은) 집합 X1에 대해서는
+> v.11 <- var(x1 + x1)
+> # var(2*x1) = 2^2 var(X1)
+> 2^2*var(x1)
+     [,1]
+[1,]   16
+> v.11
+     [,1]
+[1,]   16
+>
+> v.111 <- var(x1 + x1 + x1)
+> v.111
+     [,1]
+[1,]   36
+> var(3*x1)
+     [,1]
+[1,]   36
+> 3^2*var(x1)
+     [,1]
+[1,]   36
+>
 </code>