今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
公式
首先需要了解CrossEntropyLoss的计算过程，交叉熵的函数是这样的：
其中，其中yi表示真实的分类结果。这里只给出公式，关于CrossEntropyLoss的其他详细细节请参照其他博文。
测试代码（一维）
import torch import torch.nn as nn import math criterion = nn.CrossEntropyLoss() output = torch.randn(1, 5, requires_grad=True) label = torch.empty(1, dtype=torch.long).random_(5) loss = criterion(output, label) print("网络输出为5类:") print(output) print("要计算label的类别:") print(label) print("计算loss的结果:") print(loss) first = 0 for i in range(1): first = -output[i][label[i]] second<b style="color:transparent">来源gao@dai!ma.com搞$代^码网</b> = 0 for i in range(1): for j in range(5): second += math.exp(output[i][j]) res = 0 res = (first + math.log(second)) print("自己的计算结果：") print(res)
测试代码（多维）
import torch import torch.nn as nn import math criterion = nn.CrossEntropyLoss() output = torch.randn(3, 5, requires_grad=True) label = torch.empty(3, dtype=torch.long).random_(5) loss = criterion(output, label) print("网络输出为3个5类:") print(output) print("要计算loss的类别:") print(label) print("计算loss的结果:") print(loss) first = [0, 0, 0] for i in range(3): first[i] = -output[i][label[i]] second = [0, 0, 0] for i in range(3): for j in range(5): second[i] += math.exp(output[i][j]) res = 0 for i in range(3): res += (first[i] + math.log(second[i])) print("自己的计算结果：") print(res/3)
nn.CrossEntropyLoss()中的计算方法
注意：在计算CrossEntropyLosss时，真实的label（一个标量）被处理成onehot编码的形式。
在pytorch中，CrossEntropyLoss计算公式为：
CrossEntropyLoss带权重的计算公式为（默认weight=None）：
以上就是pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解的详细内容，更多请关注gaodaima搞代码网其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
转载请注明原文链接：pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
