如何理解卷积神经网络（CNN）中的卷积和池化？

Question

如何理解卷积神经网络（CNN）中的卷积和池化？

题主在学习ML的过程中发现，在CNN的诸多教程与论文当中对卷积和池化的介绍都不如其他方面直观和易于理解，这个领域对我来说一直是一个黑箱，除了能简单掌握…

关注者

614

被浏览

897,871

31 个回答

刚写完相关的文章，转载一部分过来。

来自自己的专栏：当我们在谈论数据挖掘 - 知乎专栏

CNN 其实可以看作 DNN 的一种特殊形式。它跟传统 DNN 标志性的区别在于两点，Convolution Kernel 以及 Pooling。

Convolution Kernel

卷积

说起卷积，一般我们我们接触过的都是一维信号的卷积，也就是

y[n]=x[n]\ast h[n]=\sum_k x[k]h[n-k]

在信号处理中， x[n] 是输入信号， h[n] 是单位响应。于是输出信号 y[n] 就是输入信号 x[n] 的延迟响应的叠加。这也就是一维卷积本质：加权叠加/积分。

那么对于二维信号，比如图像，卷积的公式就是

y[m,n]=x[m,n]\ast h[m,n]=\sum_j \sum_i x[i,j]h[m-i,n-j]

假设现在 Convolution Kernel 大小是 3\times 3 ，我们就可以化简上式为

看公式不太容易明白，我们画个图看看，假如 Convolution Kernel 如下图

那么，从 Input Image 到 Output Image 的变化如下

可以看出，其实二维卷积一样也是加权叠加/积分。需要注意的是，其中 Convolution Kernel 进行了水平和竖直方向的翻转。

Convolution Kernel 的意义

Convolution Kernel 其实在图像处理中并不是新事物，Sobel 算子等一系列滤波算子，一直都在被用于边缘检测等工作中，只是以前被称为 Filter。做图像处理的同学应该有印象。

Convolution Kernel 具有的一个属性就是局部性。即它只关注局部特征，局部的程度取决于 Convolution Kernel 的大小。比如用 Sobel 算子进行边缘检测，本质就是比较图像邻近像素的相似性。

也可以从另外一个角度理解 Convolution Kernel 的意义。学过信号处理的同学应该记得，时域卷积对应频域相乘。所以原图像与 Convolution Kernel 的卷积，其实对频域信息进行选择。比如，图像中的边缘和轮廓属于是高频信息，图像中某区域强度的综合考量属于低频信息。在传统图像处理里，这是指导设计 Convolution Kernel 的一个重要方面。

CNN 的 Convolution Kernel

CNN 中的 Convolution Kernel 跟传统的 Convolution Kernel 本质没有什么不同。仍然以图像为例，Convolution Kernel 依次与 Input 不同位置的图像块做卷积，得到 Output，如下图。

同时，CNN 有一些它独特的地方，比如各种定义：

CNN 可以看作是 DNN 的一种简化形式，即这里 Convolution Kernel 中的每一个权值就可以看成是 DNN 中的 w ，且与 DNN 一样，会多一个参数 Bias b
一个 Convolution Kernel 在与 Input 不同区域做卷积时，它的参数是固定不变的。放在 DNN 的框架中理解，就是对同一层 Layer 中的神经元而言，它们的 w 和 b 是相同的，只是所连接的节点在改变。因此在 CNN 里，这叫做 Shared Weights and Biases
在 CNN 中，Convolution Kernel 可能是高维的。假如输入是 m \times n \times k 维的，那么一般 Convolution Kernel 就会选择为 d \times d \times k 维，也就是与输入的 Depth 一致
最重要的一点，在 CNN 中，Convolution Kernel 的权值不需要提前设计，而是跟 DNN 一样利用 GD 来优化，我们只需要初始化
如上面所说，其实 Convolution Kernel 卷积后得到的会是原图的某些特征（如边缘信息），所以在 CNN 中，Convolution Kernel 卷积得到的 Layer 称作 Feature Map
一般 CNN 中两层之间会含有多个 Convolution Kernel，目的是学习出 Input 的不同特征，对应得到多个 Feature Map。又由于 Convolution Kernel 中的参数是通过 GD 优化得到而非我们设定的，于是初始化就显得格外重要了

Pooling

Pooling 的本质，其实是采样。Pooling 对于输入的 Feature Map，选择某种方式对其进行压缩。如下图，表示的就是对 Feature Map 2 \times 2 邻域内的值，选择最大值输出到下一层，这叫做 Max Pooling。于是一个 2N \times 2N 的 Feature Map 被压缩到了 N \times N 。