信息论:经典与现代/刘宴涛

本书主要包括两部分内容：经典香农信息论和现代网络信息论。经典香农信息论主要讨论信息的度量、表示和传输等问题，包括熵、信道容量、信源编码和信道编码等概念和理论，这部分内容分布在本书的前11章。第12、13章介绍了现代网络信息论，主要讨论信息在网络中的有效传输问题，包括网络编码和网络容量域，这部分内容是近十几年来信息论研究的新课题。本书内容自成体系，读者只需要具备高等数学、线性代数和概率的数学基础即可，本书所使用的其他数学工具，如有限域、信息不等式等，均以附录的形式提供给读者，因此极大地提高了读者的学习效率。本书可作为高等学校电子信息工程、通信工程及相关专业的本科生、研究生教材，也可供工程技术人员参考使用。

刘宴涛，北京理工大学博士，南京工程学院副教授，硕士生导师，IEEE会员，中国电子学会和自动化学会会员。长期从事通信专业的教学和科研工作，研究方向包括网络仿真、网络编码、无线自组网、网络信息论等。发表SCI、EI、核心期刊20余篇，申请发明专利两项（一项已授权），出版学术著作两部。

目录 第1章 绪论 1 1.1 从通信谈起 1 1.2 模拟通信与数字通信 2 1.3 信息论的诞生――香农1948年发表的论文 3 1.4 什么是信息 4 1.5 信息论的研究内容 5 习题 7 第2章 离散信源和离散熵 8 2.1 信源的数学模型及分类 8 2.2 离散熵 9 2.3 离散熵的性质 12 2.4 二维信源的联合熵和条件熵 13 2.5 平均互信息 15 2.5.1 两个随机变量的平均互信息 15 2.5.2 多个随机变量的平均互信息 17 2.6 离散平稳信源的熵率 18 2.7 马尔可夫信源 21 2.7.1 马尔可夫链 21 2.7.2 马尔可夫信源 23 2.8 本章小结 25 习题 25 第3章 离散无失真信源编码 28 3.1 信源编码的基本概念 28 3.1.1 信源编码的两种策略 28 3.1.2 信源编码的分类 29 3.2 渐近等分割性定理 30 3.3 等长信源编码 33 3.4 变长信源编码 35 3.5 离散信源编码方法 39 3.5.1 Huffman编码 39 3.5.2 Fano编码 42 3.5.3 香农编码 43 3.5.4 算术编码 44 3.6 本章小结 46 习题 46 第4章 离散信道和信道容量 48 4.1 信道的数学模型 48 4.1.1 信道的分类 48 4.1.2 信道的数学模型 49 4.2 平均互信息的凸性 50 4.3 信道容量 52 4.3.1 一般离散信道的信道容量 55 4.3.2 对称信道的信道容量 60 4.4 多符号信道和并联信道 62 4.5 串联信道和数据处理定理 64 4.6 本章小结 65 习题 66 第5章 有噪信道编码 69 5.1 单符号离散信道的译码规则 69 5.2 如何降低译码错误概率 73 5.3 译码错误概率和信息传输率的折中 76 5.4 信道编码 80 5.5 联合渐近等分割性定理和香农第二定理 82 5.6 信源信道分离编码 88 5.7 本章小结 89 习题 90 第6章 波形信源和波形信道 92 6.1 随机过程基础 92 6.1.1 信号的分类 92 6.1.2 随机过程 93 6.1.3 随机波形信源 96 6.2 连续型随机变量的微分熵 96 6.2.1 连续型随机变量 96 6.2.2 微分熵 99 6.2.3 微分熵的性质 102 6.2.4 优选熵分布 103 6.3 连续信道和波形信道 104 6.3.1 连续信道和波形信道的分类 104 6.3.2 连续加性信道的转移概率密度函数 104 6.3.3 连续信道和波形信道的信道容量 106 6.4 高斯信道 106 6.4.1 高斯信道与离散信道 107 6.4.2 高斯信道的信道容量 109 6.4.3 限带AWGN信道的信道容量 111 6.5 香农公式 112 6.5.1 增加信道容量的两种方法 112 6.5.2 Eb/N0和香农限 112 6.6 本章小结 114 习题 115 第7章 率失真理论 116 7.1 量化失真 117 7.2 失真度与率失真函数 117 7.3 率失真函数的定义域 121 7.4 率失真函数的性质 125 7.5 率失真函数的计算 126 7.5.1 离散信源率失真函数的计算 126 7.5.2 连续信源率失真函数的计算 132 7.6 保真度准则下的信源编码定理 136 7.7 本章小结 136 习题 137 第8章 线性分组码 139 8.1 线性分组码的一般理论 140 8.1.1 基本概念 140 8.1.2 G矩阵和H矩阵 141 8.1.3 伴随式 144 8.1.4 检错和纠错 144 8.1.5 标准阵译码和伴随式译码 147 8.1.6 线性分组码的几何解释和检错、纠错能力 149 8.2 汉明码（Hamming Code） 150 8.3 本章小结 152 习题 153 第9章 循环码 155 9.1 基本概念 155 9.2 循环码的多项式表示法 155 9.3 循环码的G矩阵和H矩阵 159 9.4 系统循环码 160 9.5 循环码的编码 161 9.6 循环码的译码 162 9.6.1 梅吉特译码 163 9.6.2 捕错译码 165 9.6.3 大数逻辑译码 166 9.7 本章小结 167 习题 167 第10章 卷积码 168 10.1 一般概念 168 10.2 卷积码的多项式表示 173 10.3 卷积码的状态图表示 174 10.4 卷积码的网格图表示 175 10.5 维特比译码 176 10.6 本章小结 178 习题 179 第11章 多用户信息论 180 11.1 相关信源编码 180 11.2 具有边信息的信源编码 183 11.3 多址接入信道 183 11.4 广播信道 186 11.5 中继信道 187 11.6 本章小结 188 习题 189 第12章 现代网络信息论 190 12.1 网络编码基本思想 191 12.2 网络编码的概念 193 12.3 线性网络编码 195 12.3.1 确定网络编码 195 12.3.2 随机网络编码 199 12.4 本章小结 200 习题 201 第13章 网络容量域 202 13.1 网络流 202 13.2 网络容量域 203 13.3 均匀分数网络 205 13.4 路由容量域 206 13.4.1 多重单播路由网络容量域 207 13.4.2 一重组播路由网络容量域 210 13.4.3 二重混合路由网络容量域 218 13.5 编码容量域 221 13.5.1 编码容量域的理论解 221 13.5.2 编码容量域的割集限 223 13.6 本章小结 226 习题 226 附录A 有限域 227 A.1 集合 227 A.1.1 集合的定义 227 A.1.2 集合的运算 228 A.1.3 映射 230 A.1.4 代数系统 231 A.2 群 231 A.2.1 群的定义 231 A.2.2 陪集和拉格朗日定理 233 A.3 环 233 A.3.1 环的定义 233 A.3.2 整环 235 A.3.3 多项式环 236 A.4 域 237 A.4.1 域的定义 237 A.4.2 扩域 240 A.4.3 GF(2) 244 A.5 小结 246 附录B 向量空间 247 附录C 矩形博弈 249 附录D 信息不等式 253 D.1 从集合论视角看待信息量 253 D.2 熵空间和原子空间 257 D.3 信息不等式 261 D.4 元形式香农信息度量 263 D.5 和 266 D.6 267 习题答案 269 参考文献 295