Table of Contents
Mean and Variance of Geometric Distribution
Mean
기대값 E(X)는 아래처럼 배웠고.
\begin{align}
E(X) & = \sum_{k=1}^{\infty} k \cdot P(X=k) \nonumber \\
\end{align}
$P(X=k) $가 geometric distiribution에서는 $q^{(k-1)} \cdot p $ 이므로 $E(X)$는 아래와 같다.
\begin{align} E(X) & = \sum_{k=1}^{\infty} k \cdot q^{(k-1)} \cdot p \nonumber \\ E(X) & = \sum_{k=1}^{\infty} k \cdot (1-p)^{(k-1)} \cdot p \;\;\;\;\;\;\;\;\;\; \because q = (1-p) \nonumber \\ & = p \sum_{k=1}^{\infty} k (1-p)^{(k-1)} \nonumber \\ E(X) & = p \left[1 + 2(1-p) + 3(1-p)^2 + 4(1-p)^3 + 4(1-p)^4 + . . . \right] \\ (1-p)E(X) & = p \left[\qquad \;(1-p) + 2(1-p)^2 + 3(1-p)^3 + 4(1-p)^4 + . . . \right] \\ (1-(1-p))E(X) & = p \left[1 + \;\;(1-p) + (1-p)^2 + (1-p)^3 + (1-p)^4 + . . . \right] \nonumber \\ \end{align}
Geometric Sequences and Sums을 참조하여 보면
\begin{align}
\sum_{k=0}^{\infty}(ar^k)
& = a + ar + ar^2 + ar^3 + . . . + ar^{(n-2)} + ar^{(n-1)} + \cdots \nonumber \\
& = a \left[ 1 + r + r^2 + r^3 + . . . + r^{(n-2)} + r^{(n-1)} + \cdots \right] \\
& = a \cdot \frac {(1 - r^{n})}{1-r} \\
& = a\left(\frac{1}{1-r}\right)
\end{align}
위 $(4)$에서 r의 절대값이 1보다 작고, n이 무한이라고 할 때 이는 $(5)$와 같다.
위의 식 $(1)$에서 $(2)$를 뺀 후 살펴보면 이는 위의 $(3)$과 같은 형식이다. 따라서 이 식은 (아래) $a = p$ 이고 $r = (1-p)$ 인 경우이다 (밑줄 부분). 그리고 p 는 -1 과 1사이에 있다는 것을 (분수라는 것을) 안다 (확률분포이므로)
\begin{align*} (1-(1-p))E(X) & = \underline{p} \left[1 + \underline{(1-p)} + \underline{(1-p)^2} + \underline{(1-p)^3} + \underline{(1-p)^4} + . . . \right] \\ & = \sum_{k=0}^{\infty} \left(p \cdot (1-p)^{k} \right) \\ (1-(1-p))E(X) & = p \frac {1 - (1-p)^k} {1-(1-p)}, \;\;\; \text{because } {(1-p)^k \rightarrow 0} \\ & = p \frac {1}{1-(1-p)} \\ p \cdot E(X) & = 1 \\ \therefore \quad E(X) & = \frac {1}{p} \\ \end{align*}
Variance
For (1), see
Variance Theorem 1 in Expected value and variance properties
\begin{align}
Var(X) & = E((X-E(X))^{2}) \nonumber \\
& = E(X^{2} - 2XE(X) + E(X)^{2}) \nonumber \\
& = E(X^{2}) - E(2X)(X) + E(X)^{2} \nonumber \\
& = E(X^{2}) - 2E(X)E(X) + E(X)^{2} \nonumber \\
& = E(X^{2}) - 2E(X)^{2} + E(X)^{2} \nonumber \\
& = E(X^{2}) - E(X)^{2}
\end{align}
Geometric distribution의 probability는 아래와 같다
$p(x) = q^{(k-1)} \cdot p $ 혹은
$p(x) = (1-p)^{(k-1)} \cdot p $
그리고 우선 $(6)$식에서 $E(X^2)$ 부분을 보면,
\begin{align} E(X^{2}) & = \sum_{x=1}^{n} x^2 p(x) \nonumber \\ & = \sum_{x=1}^{n} x^2 \cdot (1-p)^{(x-1)} \cdot p \nonumber \\ & = p \cdot \sum_{x=1}^{n} x^2 (1-p)^{(x-1)} \nonumber \\ \nonumber \\ & = p \left(1^2(1-p)^0 + 2^2(1-p)^1 + 3^2(1-p)^2 + . . . + n^2(1-p)^{n-1} \right) \\ (1-p) E(X^{2}) & = p \left(\qquad\qquad\quad\;\; 1^2(1-p)^1 + 2^2(1-p)^2 + . . . + (n-1)^2(1-p)^{n-1} + n^2(1-p)^n \right) \\ \nonumber \\ \end{align}
위에서 $ (7) - (8) = $ 은
\begin{align} (1-(1-p))E(X^{2}) & = p \cdot \left(1^2 (1-p)^0 + (2^2-1^2)(1-p)^1 + (3^2-2^2)(1-p)^2 + . . . + (n^2 - (n-1)^2)(1-p)^{n-1} + n^2(1-p)^n \right) \nonumber \\ E(X^{2}) & = \left(\underline{(1^2-0^2)(1-p)^0 + (2^2-1^2)(1-p)^1 + (3^2-2^2)(1-p)^2 + . . . + (n^2 - (n-1)^2)(1-p)^{n-1}} + n^2(1-p)^n \right) \nonumber \end{align}
밑줄 부분은
\begin{eqnarray*}
\sum_{k=1}^{n} (k^2-(k-1)^2) (1-p)^{k-1}
\end{eqnarray*}
이므로
\begin{eqnarray}
E(X^{2})
& = & \sum_{k=1}^{n} (k^2-(k-1)^2) (1-p)^{k-1} + n^2(1-p)^n
\end{eqnarray}
한편 $(k^2-(k-1)^2)$ 부분은 아래와 같이 정리할 수 있다.
\begin{eqnarray*}
a^2 - b^2 & = & (a+b) (a-b) \\
a = k; b = (k-1) \\
k^2 - (k-1)^2 & = & (k + (k-1)) (k - (k-1)) \\
& = & 2k -1
\end{eqnarray*}
따라서 $(9)$ 는
\begin{eqnarray*}
E(X^{2})
& = & \sum_{k=1}^{n} (2k-1) (1-p)^{k-1} + n^2(1-p)^n \\
& = & \sum_{k=1}^{n} 2k * (1-p)^{k-1} - \sum_{k=1}^{n} 1 * (1-p)^{k-1} + n^2(1-p)^n \\
& = & 2 \underline {\sum_{k=1}^{n} k(1-p)^{k-1}} - \underline{\sum_{k=1}^{n} (1-p)^{k-1}} + \underline{n^2(1-p)^n} \\
\end{eqnarray*}
첫번 째 밑줄부분에서
\begin{eqnarray*}
\sum_{k=1}^{n} k(1-p)^{k-1} \\
\\
\end{eqnarray*}
이는 기하분포의 평균에서 p가 생략된 것과 같다.
\begin{align*}
E(X) = \sum_{k=1}^{n} k (1-p)^{k-1} \cdot p & = \frac{1}{p} \\
\sum_{k=1}^{n} k (1-p)^{k-1} & = \frac{1}{p^2} \\
\\
\end{align*}
두 번째 밑줄에서
\begin{eqnarray*}
\sum_{k=1}^{n} (1-p)^{k-1} \\
\end{eqnarray*}
n이 무한대로 간다고 생각하면 (geometric sequences and sums 참조)
\begin{eqnarray*}
\sum_{k=1}^{\infty} ar^{k-1} & = & a \frac{1-r^n}{1-r} \\
a=1; r = (1-p); \\
\sum_{k=1}^{\infty} (1-p)^{k-1} & = & \frac{1-(1-p)^n}{1-(1-p)} \\
(1-p)^n \rightarrow 0 ; \\
& = & \frac{1}{p}
\end{eqnarray*}
마지막 밑줄부분에서 k가 무한으로 가는 경우를 생각하면 (즉, 아주 크다고 생각하면)
\begin{eqnarray*}
n^2 \cdot (1-p)^n & = & 0 \\
\\
\end{eqnarray*}
따라서
\begin{eqnarray*} E(X^{2}) & = & 2 \underline {\sum_{k=1}^{n} k(1-p)^{k-1}} - \underline{\sum_{k=1}^{n} (1-p)^{k-1}} + \underline{n^2(1-p)^n} \\ & = & 2 \cdot \frac{1}{p^2} - \frac{1}{p} + 0 \\ \end{eqnarray*}
다시 처음으로 돌아가서
\begin{eqnarray*}
Var(X) & = & E(X^{2}) - E(X)^{2} \\
& = & 2 \cdot \frac{1}{p^2} - \frac{1}{p} - \left(\frac{1}{p}\right)^2 \\
& = & \frac{1}{p^2} - \frac{1}{p} \\
& = & \frac{1-p}{p^2} \\
& = & \frac{q}{p^2} \\
\end{eqnarray*}