====== Covariance ======
====== Covariance ======
\begin{eqnarray*}
Cov[X, Y] & = & E[(X-EX)(Y-EY)] \\
& = & E[XY] - (EX)(EY) \\
\end{eqnarray*}

\begin{eqnarray}
E[(X−EX)(Y−EY)]  \nonumber \\
& = & E[XY−X(EY)−(EX)Y+(EX)(EY)] \\
& = & E[XY]−(EX)(EY)−(EX)(EY)+(EX)(EY) \\
& = & E[XY]−(EX)(EY)\\
\end{eqnarray}

위 $[1]$에서 $[2]$가 되는 이유는 $E[X], E[Y]$ 가 상수이기 때문. 가령, 
\begin{eqnarray*}
E[X*2] & = & 2*E[X] 
\end{eqnarray*}
위처럼 $ E[X] = \mu$ 로 보면
\begin{eqnarray*}
E[X*\mu] & = & \mu*E[X] \\
& = & E[X]E[X]
\end{eqnarray*}

위와 비슷하게 우리는 $Var[X]$ 에 대한 값도 아래와 같다는 것을 안다.
\begin{eqnarray*}
Var[X] & = & E[(X-\mu)^2] \\
& = & E[X^2 - 2 \mu X + \mu^2] \\
& = & E[X^2] - E[2 \mu X] + E[\mu^2] \\
& = & E[X^2] - 2\mu E[X] + \mu^2 \\
& = & E[X^2] - 2E[X]^2 + E[X]^2 \\
& = & E[X^2] - E[X]^2 \\
\end{eqnarray*}