• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

Pytorch获取无梯度TorchTensor中的值

python 搞代码 4年前 (2022-01-07) 118次浏览 已收录 0个评论
文章目录[隐藏]

这篇文章主要介绍了Pytorch获取无梯度TorchTensor中的值,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

获取无梯度Tensor

遇到的问题:

使用两个网络并行运算,一个网络的输出值要给另一个网络反馈。而反馈的输出值带有网络权重的梯度来源gaodai#ma#com搞@代~码网,即grad_fn=.

这时候如果把反馈值扔到第二网络中更新,会出现第一个计算图丢失无法更新的错误。哎哟喂,我根本不需要第一个网络的梯度好吗?

一开始用了一个笨办法,先转numpy,然后再转回torch.Tensor。因为numpy数据是不带梯度的。

但是我的原始tensor的放在cuda上的,

cuda的张量是不能直接转Tensor,所以

 t_error = td_error.cuda().data.cpu().numpy() t_error = torch.FloatTensor(t_error).to(device)

从cuda转回了cpu,变成numpy,又转成了tensor,又回到了cuda上,坑爹呢这是,可能只有我才能写出如此低效的辣鸡代码了。

后来发现,其实直接在返回的时候添加

 with torch.no_grad(): td_error = reward + GAMMA * v_ - v

即可.

补充:在pytorch中取一个tensor的均值,然后该张量中的所有值与其对比!

Pytorch中的Tensor的shape是(B, C, W, H),

对该tensor取均值并与所有值做对比代码如下:

 C, H, W = tensor.shape[1], tensor.shape[2], tensor.shape[3] for c in range(C): mean = torch.mean(x[0][c]) for h in range(H): for w in range(W): if x[0][c][h][w] >= mean: x[0][c][h][w] = mean 

以上为个人经验,希望能给大家一个参考,也希望大家多多支持gaodaima搞代码网

以上就是Pytorch获取无梯度TorchTensor中的值的详细内容,更多请关注gaodaima搞代码网其它相关文章!


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Pytorch获取无梯度TorchTensor中的值

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址