1 引言

全连接网络：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。

参数个数：Σ(前层x后层+后层)

如之前用于手写识别的3层全连接网络，输入层784个节点，隐藏层500个节点，输出层10个节点。则：

注：这里说的某层的参数是指该层与前一层之间的参数，因而输入层没有参数。

所以，一张分辨率仅仅是28x28的黑白图像，就有近40万个待优化的参数。现实生活中高分辨率的彩色图像，像素点更多，且为红绿蓝三通道信息。

待优化的参数过多， 容易导致模型过拟合。为避免这种现象，实际应用中一般不会将原始图片直接喂入全连接网络。而是先对原始图像进行特征提取，把提取到的特征喂给全连接网络，再让全连接网络计算出分类评估值。

2 CNN基础

2.1 卷积 Convolutional

卷积是一种有效提取图片特征的方法。一般用一个正方形卷积核，遍历图片上的每一个像素点。图片与卷积核重合区域内相对应的每一个像素值乘卷积核内相对应点的权重，然后求和，再加上偏置后，Zui后得到输出图片中的一个像素值。

2.2 全零填充 Pdding

有时会在输入图片周围进行全零填充，这样可以保证输出图片的尺寸和输入图片一致。

输出数据的尺寸=(w+2*p-k)/s+1

如：输入量是32x32x3，核是5x5x3，不用全零填充，则输出为(32-5+1)/1=28。

如果要让输出量保持在32x32x3，可根据公式计算出需要填充几层零。32=(32+2P-5)/1 +1，计算出P=2，即需填充2层（圈）零。

2.3 TensorFlow中卷积计算函数

tf.nn.conv2d(输入,卷积核,步长,padding='VALID')