机器学习中的数学-交叉熵

交叉熵是一个信息论的概念，用于度量两个概率分布的差异性信息，用来估算平均编码长度。给定两个概率分布p,q，通过q来表示p的的平均编码长度，记为交叉熵，表示为：

$H(p,q)=-\Sigma_{x}p(x)log(q(x))$
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性
交叉熵表示的是两个概率分布之间的距离，或者说使用概率分布q表达概率分布p的难度，p代表正确答案，q代表预测值，交叉熵越小，两个概率分布越接近