卷积神经网络的发展历史：Lenet5->Alexnet->VGG->GooLenet->ResNet

卷积神经网络的发展主要是为了解决人类视觉问题，但现在也用于其他方向。开发流程主要从Lenet5->Alexnet->VGG->GooLenet->ResNet等开始。 ，并且是在20世纪90年代才实施的。

1998年，LeCun提出了卷积层、池化层和全连接层的结合来解决手写数字识别问题。此时的效果已经非常好，可以与其他经典机器学习模型进行比较。架构如下，一个32 x 32的输入，通过卷积提取特征，然后下采样，卷积再下采样，然后全连接和高斯连接。

Alexnet

后来，随着可用的结构化数据和处理能力呈指数级增长，模型可以进一步改进，特别是Imagenet开源数据集的出现，有数百万张图像被标记和分类。

2012年LSVRC挑战赛，Hinton和他的学生Alex Krizhevsky开发了Alexnet深度卷积网络，结构与Lenet5类似，但卷积层更深，参数总数达到千万级，结构如下，多个卷积层在每个网络的深度都达到数百个。

VGG

2014年LSVRC挑战赛的有力竞争对手，牛津大学视觉几何组织提出的VGG模型，与Alexnet相比主要是减少了卷积核，改用3x3，如下图所示一个VGG结构，大体结构是一样的，只是卷积配置可能不同，激活函数使用ReLU，池化使用最大池化，最后使用Softmax输出不同的概率。

GoogLenet

在2014年，该网络模型赢得了LSVRC挑战赛，该系列赛首次由大公司成功引入并获胜，此后一直由拥有大量预算的大公司获胜。

GoogLenet 主要由 9 个 Inception 模块组成，只有很小的变化。Inception模块的结构如下图，

GoogLenet参数数量减少到1000万以上，准确率比Alexnet更高，误差从16.4%下降到6.7%。

2015年，随着《重新思考计算机视觉的Inception架构》文章的发表，Google研究人员发布了新的Inception架构，主要解决协方差平移问题，其中对原始输入和各层的输出值进行归一化。另外，卷积核的大小也发生了变化，网络的整体深度和卷积的分解都增加了。

ResNet

ResNet是由前微软研究院现任Facebook AI研究科学家何凯明博士于2015年提出的，ResNet在当年取得了辉煌的战绩，取得了5个第一。网络如下，

该模块的卷积部分首先使用1 x 1卷积将256维降为64维，然后进入3 x 3过滤层，最后通过1 x 恢复256维1个卷积。组合的形式大致如下。

作者：超人王小健