Outer Product

对于随机向量 $a$，有：

$E[a{a}^{\prime }]=\text{Var}(a)+E[a]E[a{]}^{\prime }$

这就是”协方差矩阵 + 均值的外积”。

外积（outer product） 是指两个向量相乘得到一个矩阵。如果 $\mu =E[a]$ 是 $K\times 1$ 的向量，那么：

$\mu {\mu }^{\prime }=\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_K\end{array}\right)\left(\begin{array}{cccc}{\mu }_1& {\mu }_2& \cdots & {\mu }_K\end{array}\right)=\left(\begin{array}{ccc}{\mu }_1^2& {\mu }_1{\mu }_2& \cdots \\ {\mu }_2{\mu }_1& {\mu }_2^2& \cdots \\ ⋮& & \ddots \end{array}\right)$

这是一个 $K\times K$ 的矩阵，叫做外积。与之对应，内积（inner product） ${\mu }^{\prime }\mu =\sum {\mu }_i^2$ 是一个标量。

为什么有这个恒等式？ 其实就是标量情形 $E[X^2]=\text{Var}(X)+(E[X]{)}^2$ 的多维推广。