LeNet-5神经网络在MNIST数据集上的实现，主要分为三个部分：

前向传播过程（mnist_ lenet5_forward.py）

反向传播过程（mnist_ lenet5_backword.py）

测试过程（mnist_ lenet5_test.py）

4.1 前向传播过程（mnist_lenet5_forward.py）

实现对网络中参数和偏置的初始化、定义卷积结构和池化结构、定义前向传播程。

具体代码如下所示：

定义前向传播过程中常用到的参数

import tensorflow as tf

#输入图片的尺寸和通道数
IMAGE_SIZE = 28
NUM_CHANNELS = 1

#第一层卷积核的大小和个数
CONV1_SIZE = 5
CONV1_KERNEL_NUM = 32

#第二层卷积核的大小和个数
CONV2_SIZE = 5
CONV2_KERNEL_NUM = 64

#第三层全连接层的神经元个数
FC_SIZE = 512

#第四层全连接层的神经元个数
OUTPUT_NODE = 10

权重w生成函数和偏置b生成函数与之前的定义相同

def get_weight(shape, regularizer): #生成张量的维度，正则化项的权重
# tf.truncated_normal：生成去掉过大偏离点的正态分布随机数的张量，stddev是指标准差
w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))
#  为权重加入L2正则化
if regularizer != None:
tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w))
return w

def get_bias(shape):
b = tf.Variable(tf.zeros(shape))
return b

卷积层与池化计算函数如下

def conv2d(x,w): #一个输入 batch，卷积层的权重   'SAME' 表示使用全 0  填充，而'VALID'
return tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x): #ksize表示池化过滤器的边长为2 strides表示过滤器移动步长是2 'SAME'提供使用全0填充
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

定义前向传播过程

def forward(x, train, regularizer):
#【卷积池化】
conv1_w = get_weight([CONV1_SIZE, CONV1_SIZE, NUM_CHANNELS, CONV1_KERNEL_NUM], regularizer) #初始化卷积核
conv1_b = get_bias([CONV1_KERNEL_NUM]) #初始化偏置项
conv1 = conv2d(x, conv1_w)
relu1 = tf.nn.relu(tf.nn.bias_add(conv1, conv1_b)) #非线性激活，相比sigmoid和tanh函数，relu函数可快速收敛
pool1 = max_pool_2x2(relu1)

#【卷积池化】
conv2_w = get_weight([CONV2_SIZE, CONV2_SIZE, CONV1_KERNEL_NUM, CONV2_KERNEL_NUM],regularizer)
conv2_b = get_bias([CONV2_KERNEL_NUM])
conv2 = conv2d(pool1, conv2_w)
relu2 = tf.nn.relu(tf.nn.bias_add(conv2, conv2_b))
pool2 = max_pool_2x2(relu2)

#将上一池化层的输出pool2（矩阵）转化为下一层全连接层的输入格式（向量）
pool_shape = pool2.get_shape().as_list() #得到pool2输出矩阵的维度，并存入list中，注意pool_shape[0]是一个batch的值
nodes = pool_shape[1] * pool_shape[2] * pool_shape[3] #从list中依次取出矩阵的长宽及深度，并求三者的乘积就得到矩阵被拉长后的长度
reshaped = tf.reshape(pool2, [pool_shape[0], nodes]) #将pool2转换为一个batch的向量再传入后续的全连接

#【全连接】
fc1_w = get_weight([nodes, FC_SIZE], regularizer)
fc1_b = get_bias([FC_SIZE])
fc1 = tf.nn.relu(tf.matmul(reshaped, fc1_w) + fc1_b)
if train:
fc1 = tf.nn.dropout(fc1, 0.5)#如果是训练阶段，则对该层输出使用dropout，随机将该层输出中的一半神经元置为无效

##全连接
fc2_w = get_weight([FC_SIZE, OUTPUT_NODE], regularizer)
fc2_b = get_bias([OUTPUT_NODE])
y = tf.matmul(fc1, fc2_w) + fc2_b
return y