损失函数

MSELoss

(Mean Squared Error)均方误差

计算预测值与实际值的平方差的均值

$$MSE=\frac{1}{n}\sum _{i=1}^n(\hat{y}-y{)}^2$$

CrossEntropyLoss

交叉熵损失

从信息论基础到信息量\熵\交叉熵\交叉熵损失

信息量:
$I(x)=-lo{g}_{}2(P(x))$
用来衡量一件事情有多”意外”,如果一件事情总是发生,则它没有带来信息量,概率越低,信息量越大:不常见的事情带来更大的信息量,反之也是

熵:
$H(P)=-{\sum }_{i=1}^{n}P(x_i)lo{g}_2(P(x_i))$
,即信息量的加权平均,反映从一个分布中抽取一个事件所带来的信息量.可以想象为“知道真实概率的人所经历的惊异程度”

交叉熵:
$H(P,Q)=-{\sum }_{x}P(x)log(Q(x))$
在知道真实分布为P(x),预测分布为Q(x)来编码信息时,所需要的平均信息量,在这里可以理解为对模型预测的惩罚,P(x)越接近Q(x),则交叉熵越小,反之越大,可以想象为“主观概率为Q的观察者在看到根据概率P生成的数据时的预期惊异”

交叉熵损失:
$L(y,\hat{y})=-{\sum }_{j=1}^q{y}_{j}log(\hat{y})$