Information theory and coding

《信息论与编码》

第1章 绪论 1

1.1 通信与信息的基本概念 1

1.1.1 消息和信号 1

1.1.2 信息 2

1.2 信息论及信息科学 4

1.2.1 信息科学的创立 4

1.2.2 信息科学与信息产业的发展 4

1.3 信息论的研究范畴 6

1.3.1 香农信息论(狭义信息论) 6

1.3.2 一般信息论 7

1.3.3 广义信息论 7

本章小结 8

习题 8

第2章 信源描述及信息的度量 9

2.1 信源的数学模型及分类 9

2.1.1 离散信源 9

2.1.2 连续信源 12

2.1.3 平稳信源 13

2.1.4 自然语信源 14

.2.2 信息的度量 15

2.2.1 度量信息的基本思路 16

2.2.2 自信息量与不确定度的关系 17

2.3 离散信源的信息熵 17

2.3.1 信源的信息熵 17

2.3.2 条件自信息量和条件熵 19

2.4 互信息量 20

2.4.1 互信息量 20

2.4.2 条件互信息量 22

2.4.3 平均互信息量 23

2.4.4 疑义度和噪声熵 25

2.5 数据处理中的信息变化 26

2.5.1 n维随机变量的熵 26

2.5.2 n维随机变量的信息传递 27

2.5.3 数据处理中的信息变化 27

2.6 离散平稳信源 28

2.7 离散信源的熵和时间熵 31

2.7.1 离散信源的熵 31

2.7.2 离散信源的时间熵 35

本章小结 37

习题 37

第3章 离散信源的信源编码 41

3.1 信源的冗余度 41

3.2 信源符号序列分组定理 43

3.3 信源编码模型及最佳编码 45

3.3.1 信源编码模型 45

3.3.2 最佳编码 46

3.4 变长码的信源编码 48

3.4.1 唯一可译码与即时码 48

3.4.2 kraft不等式 49

3.4.3 平均码长界定定理 51

3.5 等长码的信源编码定理 53

3.6 无失真信源编码 55

3.6.1 香农第一定理 55

3.6.2 香农编码 57

3.6.3 费诺编码 58

3.6.4 霍夫曼编码 59

3.6.5 算术编码 61

3.6.6 游程编码 64

3.6.7 lempel-ziv编码 64

3.7 信源编码的错误扩散 66

本章小结 67

习题 67

第4章 离散信道的信道容量 70

4.1 信道的分类及数学模型 70

4.1.1 信道的分类 70

4.1.2 离散信道的数学模型 70

4.2 单符号离散信道的数学模型 71

4.2.1 二进制对称信道 72

4.2.2 二进制删除信道 73

4.3 单符号离散信道的信道容量 74

4.3.1 信息传输速率和信道容量 74

4.3.2 几种特殊离散信道的信道容量 75

4.3.3 独立并联信道的信道容量 77

4.3.4 串联信道的信道容量 78

4.4 多符号离散信道的信道容量 80

4.4.1 多符号离散对称信道的信道容量 80

4.4.2 离散无记忆扩展信道的信道容量 81

本章小结 83

习题 83

第5章 有扰离散信道编码定理 86

5.1 译码准则 86

5.1.1 最小错误概率准则 86

5.1.2 最大似然译码准则 88

5.2 费诺不等式 89

5.3 汉明距离 90

5.3.1 错误概率与编码方法 90

5.3.2 汉明距离 92

5.4 有扰离散信道的信道编码定理 93

本章小结 98

习题 99

第6章 连续信源和连续信道 101

6.1 连续消息的信息度量 101

6.1.1 连续信源的相对熵 102

6.1.2 几种典型连续信源的相对熵 103

6.1.3 连续消息的条件熵 107

6.1.4 连续消息的平均互信息量 108

6.2 最大相对熵定理 109

6.2.1 相对熵的性质 109

6.2.2 最大相对熵定理 109

6.3 熵功率 112

6.3.1 连续信源熵的变换 112

6.3.2 熵功率 113

6.3.3 熵功率不等式 114

6.3.4 噪声 114

6.4 香农信道容量公式 115

6.4.1 连续信道的信道容量 115

6.4.2 香农信道容量公式 117

6.5 连续信源编码 118

6.5.1 标量量化与理想接收机 118

6.5.2 矢量量化编码 120

6.5.3 预测编码 121

本章小结 123

习题 123

第7章 信息率失真理论及其应用 126

7.1 失真度和平均失真度 126

7.1.1 失真度 126

7.1.2 平均失真度 128

7.2 信息率失真函数 129

7.2.1 保真度准则及d0失真许可的试验信道 129

7.2.2 信息率失真函数 130

7.2.3 信息率失真函数的性质 132

7.3 信息率失真函数的计算 136

7.3.1 误码失真条件下离散信源的信息率失真函数 136

7.3.2 离散信源的r(d)参量表示 138

7.3.3 连续信源的信息率失真函数 141

7.4 保真度准则下的信源编码定理 142

7.5 信息价值 142

本章小结 145

习题 145

第8章 网络信息理论基础 148

8.1 多用户信息传输系统模型 148

8.2 多址接入信道及其信道容量 149

8.2.1 基本概念 149

8.2.2 二进制接入信道 150

8.2.3 n进制接入信道 152

8.2.4 高斯加性多址信道 153

8.2.5 广播信道的信道容量 153

8.3 相关信源的基本理论 156

8.3.1 离散无记忆相关信源的编码定理 156

8.3.2 相关信源通过接入信道的传输定理 157

8.3.3 相关信源的边信息与公信息 158

本章小结 159

习题 160

第9章 差错控制基础 161

9.1 差错控制的途径和基本方式 161

9.1.1 插入冗余度 161

9.1.2 差错随机化 163

9.1.3 参量权衡 164

9.2 纠错编码的基本概念 164

9.2.1 纠错编码的分类 164

9.2.2 纠错编码的基本概念 166

9.3 纠错编码的检、纠错能力 169

9.4 近世代数基础 171

9.4.1 整数 171

9.4.2 群 172

9.4.3 环 173

9.4.4 域 174

9.4.5 多项式环和域 177

9.4.6 gf(2)的扩域gf(2m) 178

9.4.7 矢量空间 182

本章小结 183

习题 183

第10章 线性分组码 185

10.1 线性分组码的基本概念 185

10.1.1 线性分组码的描述 185

10.1.2 生成矩阵和校验矩阵 186

10.1.3 系统码 187

10.2 线性分组码的编译码 188

10.2.1 线性分组码的编码 188

10.2.2 线性分组码的译码 189

10.3 线性分组码的纠、检错性能 192

10.3.1 线性分组码的距离与重量的关系 192

10.3.2 极大最小距离码(mdc) 193

10.3.3 伴随式译码的性能 193

10.4 汉明码和格雷码 193

10.4.1 完备码 194

10.4.2 汉明码 194

10.4.3 格雷码 195

10.5 循环码 196

10.5.1 循环码的定义与描述 196

10.5.2 循环码的生成矩阵和校验矩阵 199

10.5.3 循环码的编码 200

10.5.4 循环码的译码 203

10.5.5 循环码的缩短与扩展 207

10.6 bch码 208

10.6.1 bch码的编码 209

10.6.2 bch码的译码 211

10.7 r-s码 216

本章小结 218

习题 218

第11章 卷积码 221

11.1 基本概念 221

11.2 卷积码的编码 221

11.2.1 生成矩阵描述 221

11.2.2 多项式描述 224

11.2.3 状态图描述 225

11.2.4 树图描述 226

11.3 卷积码的译码 227

11.3.1 网格图 227

11.3.2 维特比译码 228

11.3.3 序列译码 231

11.4 卷积码的特性 236

11.4.1 卷积码的码率 236

11.4.2 卷积码的距离特性 236

11.4.3 恶性卷积码及译码的错误扩展 238

本章小结 238

习题 239

第12章 纠突发错误码 241

12.1 纠突发错误码的基本概念 241

12.2 纠突发错误循环码 243

12.2.1 法尔码 243

12.2.2 交织码 244

12.2.3 伯顿码 247

12.3 纠突发错误循环码的译码 248

12.4 纠突发错误卷积码 249

12.4.1 纠突发错误卷积码的基本概念 249

12.4.2 卷积交织 250

12.5 纠突发和随机错误码 251

12.5.1 循环乘积码 251

12.5.2 级联码 253

12.5.3 turbo码 254

本章小结 256

习题 257

第13章 保密通信基础 258

13.1 保密通信的技术体制及数学模型 258

13.1.1 加密和解密过程的模型 258

13.1.2 密码系统安全性 259

13.1.3 常规密码 260

13.2 信息保密技术的基础知识 262

13.2.1 基本度量 262

13.2.2 理想保密性 263

13.2.3 单一性距离 264

13.3 数据加密标准des 266

13.3.1 技术基础 266

13.3.2 乘法密码系统 267

13.3.3 数据加密标准des 268

13.4 流加密技术 270

13.5 公共密钥密码系统 271

13.6 pgp标准 273

13.6.1 基本算法 273

13.6.2 私密密钥算法 274

13.6.3 会话密钥的加密 274

13.6.4 认证和签名 275

13.7 通信网络安全的加密方案 276

13.7.1 链路加密技术 276

13.7.2 端到端加密 277

本章小结 277

习题 277

第14章 信息论的广泛应用 280

14.1 多媒体通信中的编译码技术 280

14.1.1 多媒体数据压缩编码技术 280

14.1.2 多媒体数据压缩国际标准jpeg及jpeg2000 282

14.1.3 多媒体会议系统中的信道编码技术 284

14.2 计算机网络通信中的编译码技术 284

14.2.1 数据链路控制规程中的差错控制技术 285

14.2.2 网络电话系统中的信息处理技术 286

14.3 信息论在数字移动通信中的应用 287

14.3.1 数字移动通信中的语音编码技术 288

14.3.2 turbo码在cdma2000中的应用 290

14.3.3 td-scdma中的信道编码技术 292

14.4 信息论在宽带无线接入中的应用 294

14.4.1 蓝牙系统中的差错控制技术 294

14.4.2 ieee 802.11 wlan中的编译码算法 296

14.5 信息论在其他领域的应用 296

本章小结 297

习题 298

附录a 缩略词 299

常用符号 301

参考文献 302