机器学习中的数学-切比雪夫不等式

设随机变量X的期望为$\mu$,方差为$\sigma^{2}$,对于任意正数$\varepsilon$,有:
$P\lbrace \vert X-\mu \vert \geq \varepsilon \rbrace \leq \frac{\sigma^{2}}{\varepsilon^{2}}$

切比雪夫不等式说明,X的方差越小,事件$\lbrace \vert X-\mu \vert \lt \varepsilon \rbrace$发生的概率越大。即:X取的值基本上集中在期望$\mu$附近。也进一步说明了方差的含义。

$P\lbrace \vert X-\mu \vert \geq \varepsilon \rbrace$
$=\int_{\vert X-\mu \vert \geq \varepsilon}f(x)dx$
$\leq \int_{\vert X-\mu \vert \geq \varepsilon}\frac{\vert X-\mu \vert^{2}}{\varepsilon^{2}}f(x)dx$
$=\frac{1}{\varepsilon^{2}}\int_{\vert X-\mu \vert \geq \varepsilon}\int(X-\mu)^{2}f(x)dx$
$\leq \frac{1}{\varepsilon^{2}}\int_{-\infty}^{+\infty}(X-\mu)^{2}f(x)dx$
$=\frac{\sigma^{2}}{\varepsilon^{2}}$

坚持原创技术分享,您的支持将鼓励我继续创作!