期望
离散型 $E(X)=\sum_{i}x_{i}p_{i}$
连续型 $E(X)=\int_{-\infty}^{\infty}xf(x)dx$
无条件成立 $E(kX)=kE(X), E(X+Y)=E(X)+E(Y)$
若X和Y相互独立，$E(XY)=E(X)E(Y)$
方差
定义 $D(X)=E\lbrace[X-E(X)]^{2}\rbrace$
无条件成立
$D(c)=0$
$D(X+c)=D(X)$
$D(kX)=k^{2}D(X)$
$D(X)=E(X^{2})-[E(X)]^2$
若X和Y独立，$D(X+Y)=D(X)+D(Y)$
协方差
定义 $Cov(X,Y)=E\lbrace[X-E(X)][Y-E(Y)]\rbrace$
无条件成立
$Cov(X, Y)=Cov(Y, X)$
$Cov(aX+b, cY+d)=acCov(X, Y)$
$Cov(X_{1}+X_{2}, Y)=Cov(X_{1}, Y)+Cov(X_{2}, Y)$
$Cov(X, Y)=E(XY)-E(X)E(Y)$
若X和Y独立，$Cov(X, Y)=0$
协方差是两个随机变量具有相同方向变化趋势的度量，若Cov(X，Y)>0，它们的变化趋势相同，若Cov(X，Y)<0，它们变化趋势相反，若Cov(X，Y)=0，则X和Y不相关。
协方差上界
若$D(X)=\sigma_{1}^{2}, D(Y)=\sigma_{2}^{2}$，取任意实数t，构造随机变量Z，$Z=(X-E(X)).t+(Y-E(Y))$，
$E(Z^{2})=\sigma_{1}^{2}t^{2}+2Cov(X, Y)t+\sigma_{2}^{2}\geq 0$
以t为变量的一元二次方程或者无解，或者只有相同的一个解，所以有：
$\Rightarrow \Delta=4Cov^{2}(X, Y)-4\sigma_{1}^{2}\sigma_{2}^{2}\leq 0$
$\Rightarrow \vert Cov(X, Y) \vert \leq \sigma_{1}\sigma{2}$
协方差矩阵
对于n维随机变量$(X_{1}, X_{2},…X_{n})$，任意两个元素的$X_{i}, X_{j}$都可以得到一个协方差，从而形成一个n*n的矩阵，即为协方差矩阵；显然协方差矩阵为对称矩阵；
$c_{ij}=E\lbrace [X_{i}-E(X_{i})][X_{j}-E(X_{j})] \rbrace=Cov(X_{i}, X_{j})$
$C=
\left[
\begin{matrix}
c_{11} & c_{12} & \cdots & c_{1n} \\
c_{21} & c_{22} & \cdots & c_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
c_{n1} & c_{n2} & \cdots & c_{nn}
\end{matrix}
\right]
$
样本统计量
设$X_{1}, X_{2}…X_{n}$为一组样本，则，样本均值为$\bar{X}=\frac{1}{n}\Sigma_{i=1}^{n}X_{i}$，样本的方差为$S^{2}=\frac{1}{n-1}\Sigma_{i=1}^{n}(X_{i}-\bar{X})^2$
