机器学习中的数学-二项分布与0-1分布

0-1分布

已知随机变量X的取值只能为0或1,取值为1的概率为p,取值为0的概率为1-p,则期望和方差有,
$E(X)=1.p+0.(1-p)=p,$
$D(X)=E(X^2)-[E(X)]^2$
$=1^2.p+0^2.(1-p)-p^2$
$=p-p^2=pq$

二项分布(Bernoulli Distribution,伯努利分布)

二项分布就是重复n次独立的伯努利试验。在每次试验中只有两种可能的结果,而且两种结果发生与否互相对立,并且相互独立,与其它各次试验结果无关,事件发生与否的概率在每一次独立试验中都保持不变,则这一系列试验总称为n重伯努利实验,当试验次数为1时,二项分布服从0-1分布。记$\varepsilon~B(n, p)$,其中n为实验次数,p为单次事件发生的概率
推论:由二项式分布的定义知,随机变量X是n重伯努利实验中事件A发生的次数,且在每次试验中A发生的概率为p。因此,可以将二项式分布分解成n个相互独立且以p为参数的(0-1)分布随机变量之和.即:
设$X_i$为第i次试验中事件A发生的次数,i=1,2,3,…n,,则$X=\sum_{i=1}^{n}X_{i}$,显然,$X_i$相互独立均服从参数为p的0-1分布,所以有:
$E(X)=\sum_{i=1}^{n}E(X_{i})=np$
$D(X)=\sum_{i=1}^{n}D(X_i)$
$=np(1-p)$

推理过程
$P\lbrace X=k \rbrace=C_{n}^{k}p^{k}(1-p)^{n-k}, k=0,1,2,..n$
则有,
$E(X)=\sum_{k=0}^{n}k.P\lbrace X=k \rbrace$
$=\sum_{k=0}^{n}k.C_{n}^{k}p^{k}(1-p)^{n-k}$
$=\sum_{k=0}^{n}\frac{kn!}{k!(n-k)!}p^{k}(1-p)^{n-k}$
$=\sum_{k=1}^{n}\frac{np(n-1)!}{(k-1)![(n-1)-(k-1)]!}p^{k-1}(1-p)^{(n-1)-(k-1)}$
$=np\sum_{k=1}^{n}\frac{(n-1)!}{(k-1)![(n-1)-(k-1)]!}p^{k-1}(1-p)^{(n-1)-(k-1)}$
$=np[p+(1-p)]^{n-1}$
$=np$

$E(X^2)=E[X(X-1)+X]=E[X(X-1)]+E(X)$
$=\sum_{k=0}^{n}k(k-1)C_{n}^{k}p^{k}(1-p)^{n-k}+np$
$=\sum_{k=0}^{n}\frac{k(k-1)n!}{k!(n-k)!}p^{k}(1-p)^{n-k}+np$
$=\sum_{k=0}^{n}\frac{n!}{(k-2)!(n-k)!}p^{k}(1-p)^{n-k}+np$
$=n(n-1)p^{2}\sum_{k=2}^{n}\frac{(n-2)!}{(k-2)!(n-k)!}p^{k-2}(1-p)^{(n-2)-(k-2)}+np$
$=n(n-1)p^{2}[p+(1-p)]^{n-2}+np$
$=(n^2-n)p^{2}+np$

$D(X)=E(X^{2})-[E(X)]^2=(n^{2}-n)p^{2}+np-(np)^2$
$=np(1-p)$

坚持原创技术分享,您的支持将鼓励我继续创作!