AI学习目录汇总

1、从全链接层到卷积

1.1 卷积

我们在前面学习的多层感知机中，已经认识了全链接层，缺点很明显，在稍微大点的网络模型中，参数成指数级别增长。参数量很快就达到数十亿，这样的量级几乎无法计算。为此科学家们想出一个减少参数的方法：卷积。

从全链接层到卷积的推论，使用如下两个原则：

• 平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。
• 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。

（本人的理解）如果已经了解过什么是卷积核，可以这样理解上面的两个原则：

• 卷积核以一定步长在图像上滑过，为什么要这么做？原理就是“平移不变性”
• 卷积核为什么设计成小尺寸（3x3、5x5等）？原理就是“局部性”

从全链接层到卷积的数学推理，建议多读几遍原书中的内容，作者讲解的逻辑很清晰，读完豁然开朗。