图解深度学习与神经网络：从张量到TensorFlow实现

1 深度学习及TensorFlow 简介1
1.1 深度学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 TensorFlow 简介及安装. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 基本的数据结构及运算6
2.1 张量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.1 张量的定义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.2 Tensor 与Numpy 的ndarray 转换. . . . . . . . . . . . . . . . . . . . . . 9
2.1.3 张量的尺寸. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.4 图像转换为张量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 随机数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 均匀（平均）分布随机数. . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.2 正态（高斯）分布随机数. . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 单个张量的运算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 改变张量的数据类型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.2 访问张量中某一个区域的值. . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3.3 转置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.4 改变形状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.5 归约运算：求和、平均值、*（小）值. . . . . . . . . . . . . . . . . 29
2.3.6 *（小）值的位置索引. . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 多个张量之间的运算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 基本运算：加、减、乘、除. . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.2 乘法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.3 张量的连接. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.4 张量的堆叠. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.4.5 张量的对比. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.5 占位符. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6 Variable 对象. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3 梯度及梯度下降法52
3.1 梯度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2 导数计算的链式法则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.1 多个函数和的导数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2.2 复合函数的导数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2.3 单变量函数的驻点、极值点、鞍点. . . . . . . . . . . . . . . . . . . . . 55
3.2.4 多变量函数的驻点、极值点、鞍点. . . . . . . . . . . . . . . . . . . . . 57
3.2.5 函数的泰勒级数展开. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2.6 梯度下降法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3 梯度下降法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.1 Adagrad 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.2 Momentum 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.3.3 NAG 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.3.4 RMSprop 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.3.5 具备动量的RMSprop 法. . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.3.6 Adadelta 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.3.7 Adam 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.3.8 Batch 梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.3.9 随机梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.3.10 mini-Batch 梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.4 参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4 回归分析88
4.1 线性回归分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.1.1 一元线性回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.1.2 保存和加载回归模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.1.3 多元线性回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.2 非线性回归分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5 全连接神经网络102
5.1 基本概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.2 计算步骤. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.3 神经网络的矩阵表达. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.4 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.1 sigmoid 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.2 tanh 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.4.3 ReLU 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.4.4 leaky relu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.4.5 elu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.4.6 crelu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.4.7 selu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.4.8 relu6 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.9 softplus 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.10 softsign 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.5 参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6 神经网络处理分类问题125
6.1 TFRecord 文件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.1.1 将ndarray 写入TFRecord 文件. . . . . . . . . . . . . . . . . . . . . . . . 125
6.1.2 从TFRecord 解析数据. . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.2 建立分类问题的数学模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.1 数据类别（标签） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.2 图像与TFRecrder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
6.2.3 建立模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.3 损失函数与训练模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.3.1 sigmoid 损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.3.2 softmax 损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.3.3 训练和评估模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.4 全连接神经网络的梯度反向传播. . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.4.1 数学原理及示例. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.4.2 梯度消失. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7 一维离散卷积168
7.1 一维离散卷积的计算原理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.1.1 full 卷积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.1.2 valid 卷积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.1.3 same 卷积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.1.4 full、same、valid 卷积的关系. . . . . . . . . . . . . . . . . . . . . . . . 171
7.2 一维卷积定理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .