Elements of Information Theory

第1章 绪论与概览 1

第2章 熵、相对熵和互信息 9

2.1 熵 9

2.2 联合熵和条件熵 11

2.3 相对熵和互信息 13

2.4 熵与互信息的关系 14

2.5 熵、相对熵和互信息的链式法则 15

2.6 jensen不等式及其结果 17

2.7 对数和不等式及其应用 22

2.8 数据处理不等式 24

2.9 热力学第二定律 25

2.10 充分统计量 27

2.11 fano不等式 28

要点 30

习题 31

历史回顾 36

第3章 渐近均分性 39

3.1 渐近均分性的定义 39

3.2 aep的结果应用：数据压缩 41

3.3 高概率集与典型集 42

.要点 43

习题 44

历史回顾 45

第4章 随机过程的熵率 47

4.1 马尔可夫链 47

4.2 熵率 49

4.3 例子：加权图上随机游动的熵率 51

4.4 隐马尔可夫模型 53

要点 55

习题 56

历史回顾 60

第5章 数据压缩 61

5.1 有关编码的例子 61

5.2 kraft不等式 64

5.3 最优码 66

5.4 最优码长的界 67

5.5 惟一可译码的kraft不等式 70

5.6 赫夫曼码 72

5.7 有关赫夫曼码的评论 73

5.8 赫夫曼码的最优性 75

5.9 shannon-fano-elias编码 78

5.10 算术编码 80

5.11 香农码的竞争最优性 83

5.12 由均匀硬币投掷生成离散分布 85

要点 91

习题 91

历史回顾 96

第6章 博弈与数据压缩 97

6.1 马赛 97

6.2 博弈与边信息 100

6.3 相依的马赛及其熵率 102

6.4 英文的熵 103

6.5 数据压缩与博弈 106

6.6 英文的熵的博弈估计 107

要点 108

习题 109

历史回顾 111

第7章 kolmogorov复杂度 113

7.1 计算模型 114

7.2 kolmogorov复杂度：定义和例子 115

7.3 kolmogorov复杂度与熵 119

7.4 整数的kolmogorov复杂度 121

7.5 算法随机序列与不可压缩序列 122

7.6 普适概率 125

7.7 停止问题和kolmogorov复杂度的不可计算性 126

7.8 w 127

7.9 普适投注策略 129

7.10 奥克姆剃刀 130

7.11 kolmogorov复杂度与普适概率 131

7.12 kolmogorov充分统计量 136

要点 139

习题 140

历史回顾 142

第8章 信道容量 143

8.1 信道容量的例子 144

8.1.1 无噪声二元信道 144

8.1.2 无重叠输出的有噪声信道 144

8.1.3 有噪声的打字机信道 145

8.1.4 二元对称信道 145

8.1.5 二元擦除信道 146

8.2 对称信道 147

8.3 信道容量的性质 149

8.4 信道编码定理预览 149

8.5 定义 150

8.6 联合典型序列 152

8.7 信道编码定理 154

8.8 零误差码 158

8.9 fano不等式与编码定理的逆定理 159

8.10 信道编码定理的逆定理中的等式 162

8.11 汉明码 163

8.12 反馈容量 165

8.13 联合信源信道编码定理 167

要点 170

习题 171

历史回顾 173

第9章 微分熵 175

9.1 定义 175

9.2 连续随机变量的aep 176

9.3 微分熵与离散熵的关系 178

9.4 联合微分熵和条件微分熵 179

9.5 相对熵和互信息 180

9.6 微分熵、相对熵以及互信息的性质 181

9.7 离散熵的微分熵界 183

要点 184

习题 185

历史回顾 186

第10章 高斯信道 187

10.1 高斯信道的定义 188

10.2 高斯信道编码定理的逆定理 192

10.3 有限带宽信道 193

10.4 并联高斯信道 196

10.5 彩色高斯噪声信道 198

10.6 带反馈的高斯信道 200

要点 204

习题 205

历史回顾 207

第11章 最大熵与谱估计 209

11.1 最大熵分布 209

11.2 例子 210

11.3 反常的最大熵问题 212

11.4 谱估计 213

11.5 高斯过程的熵率 214

11.6 burg最大熵定理 215

要点 217

习题 217

历史回顾 218

第12章 信息论与统计学 219

12.1 型方法 219

12.2 大数定律 225

12.3 通用信源编码 226

12.4 大偏差理论 229

12.5 sanov定理的例子 231

12.6 条件极限定理 233

12.7 假设检验 239

12.8 stein引理 243

12.9 chernoff界 245

12.10 lempel-ziv编码 251

12.11 fisher信息与cram巖-rao不等式 256

要点 260

习题 262

历史回顾 264

第13章 率失真理论 265

13.1 量化 265

13.2 定义 266

13.3 率失真函数的计算 269

13.3.1 二元信源 269

13.3.2 高斯信源 270

13.3.3 独立高斯随机变量的同步描述 273

13.4 率失真定理的逆定理 275

13.5 率失真函数的可达性 277

13.6 强典型序列与率失真 282

13.7 率失真函数的特征 285

13.8 信道容量与率失真函数的计算 286

要点 289

习题 289

历史回顾 293

第14章 网络信息论 295

14.1 高斯多用户信道 297

14.1.1 单用户高斯信道 298

14.1.2 m个用户的高斯多接入信道 298

14.1.3 高斯广播信道 299

14.1.4 高斯中继信道 299

14.1.5 高斯干扰信道 301

14.1.6 高斯双向信道 301

14.2 联合典型序列 302

14.3 多接入信道 305

14.3.1 多接入信道容量区域的可达性 309

14.3.2 对多接入信道容量区域的评述 311

14.3.3 多接入信道容量区域的凸性 312

14.3.4 多接入信道的逆定理 314

14.3.5 m个用户的多接入信道 317

14.3.6 高斯多接入信道 318

14.4 相关信源的编码 321

14.4.1 slepian-wolf定理的可达性 323

14.4.2 slepian-wolf定理的逆定理 325

14.4.3 多信源的slepian-wolf定理 327

14.4.4 slepian-wolf编码的解释 327

14.5 slepian-wolf编码与多接入信道之间的对偶性 328

14.6 广播信道 329

14.6.1 广播信道的定义 331

14.6.2 退化广播信道 332

14.6.3 退化广播信道的容量区域 332

14.7 中继信道 336

14.8 具有边信息的信源编码 340

14.9 具有边信息的率失真 343

14.10 一般多端网络 348

要点 353

习题 354

历史回顾 358

第15章 信息论与股票市场 361

15.1 股票市场：定义 361

15.2 对数最优投资组合的kuhn-tucker特征 363

15.3 对数最优投资组合的渐近最优性 365

15.4 边信息与双倍率 367

15.5 平稳市场中的投资 368

15.6 对数最优投资组合的竞争最优性 370

15.7 shannon-mcmillan-breiman定理 372

要点 377

习题 378

历史回顾 379

第16章 信息论的不等式 381

16.1 信息论的基本不等式 381

16.2 微分熵 383

16.3 熵与相对熵的界 385

16.4 型的不等式 387

16.5 子集的熵率 388

16.6 熵与fisher信息 390

16.7 熵幂不等式与brunn-minkowski不等式 393

16.8 行列式的不等式 397

16.9 行列式的比值的不等式 400

全书要点 402

习题 402

历史回顾 403

参考文献 405

索引 419