1.ResNet的创新
现在重新稍微系统的介绍一下ResNet网络结构。 ResNet结构首先通过一个卷积层然后有一个池化层，然后通过一系列的残差结构，最后再通过一个平均池化下采样操作，以及一个全连接层的得到了一个输出。ResNet网络可以达到很深的层数的原因就是不断的堆叠残差结构而来的。
1）亮点
网络中的亮点 ：
- 超深的网络结构( 突破1000 层)
- 提出residual 模块
- 使用Batch Normalization 加速训练( 丢弃dropout)
但是，一般来说，并不是一直的加深神经网络的结构就会得到一个更好的结果，一般太深的网络会出现过拟合的现象严重，可能还没有一些浅层网络要好。
2）原因
其中有两个原因：
- 梯度消失或梯度爆炸
当层数过多的时候，假设每一层的误差梯度都是一个小于1的数值，当进行方向传播的过程中，每向前传播一层，都要乘以一个小于1的误差梯本文来源gao@daima#com搞(%代@#码网@度，当网络越来越深时，所成的小于1的系数也就越来越多，此时梯度便越趋近于0，这样梯度便会越来越小。这便会造成梯度消失的现象。
而当所成的误差梯度是一个大于1的系数，而随着网络层数的加深，梯度便会越来越大，这便会造成梯度爆炸的现象。
- 退化问题(degradation problem)
当解决了梯度消失或者梯度爆炸的问题之后，其实网络的效果可能还是不尽如意，还可能有退化问题。为此，ResNet提出了残差结构来解决这个退化问题。 也正是因为有这个残差的结构，所以才可以搭建这么深的网络。
2.ResNet的结构
残差结构如图所示
作图是针对ResNet-18/34层浅层网络的结构，右图是ResNet-50/101/152层深层网络的结构，其中注意：主分支与shortcut 的输出特征矩阵shape。
一下表格为网络的一些主要参数
可以看见，不同层数的网络结构其实框架是类似的，不同的至少堆叠的残差结构的数量。
1）浅层的残差结构
需要注意，有些残差结构的ShortCut是实线，而有的是虚线，这两者是不同的。对于左图来说，ShortCut是实线，这表明输入与输出的shape是一样的，所以可以直接的进行相加。而对于右图来说，其输入的shape与输出的shape是不一样的，这时候需要调整步长stribe与kernel size来使得两条路（主分支与捷径分支）所处理好的shape是一模一样的。
2）深层的残差结构
同样的，需要注意，主分支与shortcut 的输出特征矩阵shape必须相同，同样的通过步长来调整。
但是注意原论文中：
右侧虚线残差结构的主分支上、第一个1×1卷积层的步距是2，第二个3×3卷积层的步距是1.
转载请注明原文链接：pytorch实现ResNet结构的实例代码
