Pytorch自动求导函数详解流程以及与TensorFlow搭建网络的对比

import torch
class myrelu(torch.autograd.Function):#自定义子类
    # 通过建立torch.autograd的子类来实现自定义的autograd函数，并完成张量的正向和反向传播
    @staticmethod
    def forward(ctx, x):
        # 在正向传播中，接受到一个上下文对象和一个包含输入的张量，必须返回一个包含输出的张量，可以使用上下文对象来缓存对象，以便在反向传播中使用
        ctx.save_for_backward(x)
        return x.clamp(min=0)
    @staticmethod
    def backward(ctx, grad_output):
        """
        在反向传播中，我们接收到上下文对象和一个张量，
        其包含了相对于正向传播过程中产生的输出的损失的梯度。
        我们可以从上下文对象中检索缓存的数据，
        并且必须计算并返回与正向传播的输入相关的损失的梯度。
        """
        x, = ctx.saved_tensors
        grad_x = grad_output.clone()
        grad_x[x < 0] = 0
        return grad_x

#%%
device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')
# n是批量大小，d_in是输入维度
# h是隐藏的维度，d_out是输出维度
n,d_in,h,d_out=64,1000,100,10
# 创建随机输入和输出数据,requires_grad默认设置为False,表示不需要后期微分操作
x=torch.randn(n,d_in,device=device)
y=torch.randn(n,d_out,device=device)
# 随机初始化权重，requires_grad默认设置为True,表示想要计算其微分
w1=torch.randn(d_in,h,device=device,requires_grad=True)
w2=torch.randn(h,d_out,device=device,requires_grad=True)

learning_rate=1e-6
for i in range(500):
    #前向传播，使用tensor上的操作计算预测值y
  #调用自定义的myrelu.apply函数
    y_pred=m<div style="color:transparent">本文来源gaodai^.ma#com搞#代!码网</div>yrelu.apply(x.mm(w1)).mm(w2)
       
    
    #使用tensor中的操作计算损失值，loss.item()得到loss这个张量对应的数值
    loss=(y_pred-y).pow(2).sum()
    print(i,loss.item())
    
    #使用autograd计算反向传播，这个调用将计算loss对所有的requires_grad=True的tensor梯度，
    #调用之后，w1.grad和w2.grad将分别是loss对w1和w2的梯度张量
    loss.backward()
    #使用梯度下降更新权重，只想对w1和w2的值进行原地改变：不想更新构建计算图
    #所以使用torch.no_grad()阻止pytorch更新构建计算图
    with torch.no_grad():
        w1-=learning_rate*w1.grad
        w2-=learning_rate*w2.grad
        #反向传播后手动将梯度置零
        w1.grad.zero_()
        w2.grad.zero_()