Covariance

Variance is for 1-dimensional data while

Covariance Matrix is for vector data distribution

Definition

cov(X, Y) = E[(X - E[X])(Y - E[Y])] \newline = E[XY] - E[X]E[Y]

using definition

V[X+Y] = E[(X+Y)^2] - (E[X + Y])^2 \\ = V[X] + V[Y] + Cov[X, Y]

Covariance 0, not reversal. But jointly normally distributed but uncorrelated, then they are indeed independent.

X와0 Y가 각각의 평균에서 떨어진 정도를 곱한 기대값이므로, 이를 두 벡터의 내적으로 해석할 수 있다. 특히

Correlation 은 cos 같이 -1 ~ 1로 바운딩된 형태로 벡터 크기 나눠준 것과 같음.