目录
经典网络架构：
（1）Alexnet：
（2）Vgg：
（3）Resnet
经典网络架构：
（1）Alexnet：
12年的经典之作，他是一个8层的网络，有5层的卷积，3层的全连接，其中的LRN层后来被证明没用，就不用去管他了。
（2）Vgg：
14年的经典之作，比12年的改进了很多，右边是vgg有很多不同的版本，红色框起来的是比较主流的版本，Vgg所有的卷积都是3x3的(比较小)，都是细粒度进行特征提取；
Vgg有16层和19层的版本，Vgg中每经过一次pooling，会损失一部分特征信息，体积会变成原来的1/4，会损失信息，Vgg网络在经过pooling之后会损失信息，他会想办法弥补回来，他会在下一次卷积过程当中，使得特征图翻倍，pooling前是64个特征图，pooling后特征图是128个特征图，等等，使用特征图个数翻倍来弥补长宽的损失信息。
感受野：最终当前一个点能够感受到原始区域的一个大小，这叫做一个感受野。
（3）Resnet
15年提出的，这个网络基本的出发点就是有一个保底，我们的网络学习完之后至少不会比原来的网络差。
上一部分是之前遇到的问题，在Vgg上网络层数越多，网络结构越深，但是error却越大，所以增加层数的时候，后边增加的层数学习的不好，影响了效果；为了解决这个问题，残差网络出现了，既要增加层数，也要保证学习的效果好一些。
所以15年提出了同等映射，我希望加进来一层，虽然你表现的不好，我不能给你剔除掉，但是你表现不好我让你为0就好了，相当于你加进来我不用你，我知道你表现不好，我把你的权重参数设置为0，我不用你这一层。
Resnet效果：
左边是传统网络，层数越高他的error值越大；右边是Resnet，层数越大比之前效果好了，所以说有了残差网络，他相当于把深度学习给救活了，神经网络的层数可以超过20层达到几百层1千层都没问题，不会比原来差但是提升也不大。
PS：所以以后大家在做一些实际的问题中，肯定要选择不同的神经网络去做，建议首选是残差网络。
建议把这个网络理解成特征提取，不建议把他当做一个分类网络，因为一个问题他是分类还是回归决定于的是损失函数还有最后的层是怎么连的，所以Resnet既然当做一个特征提取，他能够运用到各种各样的框架当中，物体检测的，物体追踪的、分类的、检索的、识别的、什么样的任务都能用，他相当于是一个通用的网络结构，能够到101层(101层是比较常见的数值);
