信息论与编码理论(第2版*高等学校电子电气基础课程教学指导分委员会*教材)

信息论和编码理论是研究信息传输和信息处理的 基础理论。信息论对实际通信系统和通信网络的设计 已经产生了深刻的影响，通信领域工程师在信息论方 面的理论基础对其事业的发展有重要的作用。王育民 等编著的《信息论与编码理论（第2版）》总结了西安 电子科技大学自1960年创办信息论专业以来，特别是 近十年来为通信工程、电子信息工程、信息工程、信 息安全等专业的本科生和信息与通信工程、密码学等 方向的研究生开设信息论和编码理论课程的经验。书 中围绕通信系统和通信网络的构建需求阐述信息论的 理论思想，较详细地讨论了信息论中信息量的定义， 各类编码定理及其证明的基本思想，对于信息论中发 展的若干重要课题（如率失真理论、多用户信息论、 逼近Shannon极限的信道编码）都做了专题讨论.同时 给出了这一领域近期发展的近况和重要的参考文献。 这对于需要获得信息论基本知识的有关专业学生和在 这些领域从事研究、开发工作的工程技术人员都将是 有益的。 《信息论与编码理论（第2版）》可作为通信工 程、电子信息工程、信息工程、信息安全等专业高年 级本科生和研究生的教材。在给高年级本科生讲授时 ，可以只讲一些基本内容。书中标有*号的章节主要供 研究生阅读，各章后面都附有一些难易程度不等的习 题，可根据需要选用。书末附有较详尽的参考文献， 可供阅读时参考。

王育民，1936年2月生于北京，1959年7月毕业于解放军西安军事电信工程学院，1979年—1981年赴美国夏威夷大学电机工程系做访问学者，研究信息论和编码理论。现为西安电子科技大学教授、博士生导师，中山大学兼职教授、兼职博士生导师，长期从事通信、信息论、编码、密码和信息安全的教学和科研工作，曾任西安电子科技大学校学报编委会主任、信息论教研室主任等职。现为中国电子学会和中国通信学会会士、中国密码学会(筹)理事、中国电子学会信息论学会委员、中国自然基金研究会会员、IEEE高级会员。曾任全国高等学校通信和信息工程专业教学指导委员会主任(1996—2000)，陕西电子学会第6届副理事长，学术委员会主任。 合写著作有《伪随机序列及其应用》、《信息与编码理论》、《保密学——基础与应用》、《通信网的安全——理论与技术》、《电子商务技术与应用》等。其中王育民教授担任主编的《通信网的安全——理论与技术》获得2002年全国普通高校优秀教材一等奖；《保密学——基础和应用》1996年获得第三届全国工科电子类专业优秀教材一等奖。在国内外学术刊物和会议上发表论文200余篇。

第1章 引论 1.1 通信系统模型 1.2 Shannon信息论的中心问题 1.3 Shannon信息论的局限性 1.4 信息的义性 第2章 信息量和熵 2.1 离散变量的非平均信息量 2.1.1 非平均互信息量 2.1.2 条件互信息与联合事件的互信息量 2.1.3 离散变量的非平均自信息量 2.2 离散集的平均自信息量——熵 2.2.1 熵和条件熵 2.2.2 熵的性质 2.2.3 相对墒和条件相对熵 2.3 熵的唯一性定理 2.4 离散集的平均互信息量 2.5 信息不等式 2.5.1 凸函数及其性质 2.5.2 K-T条件 2.5.3 信息不等式 2.6 相对熵、熵和互信息量的凸性 2.6.1 相对熵和熵的凸性 2.6.2 互信息量的凸性 2.7 连续随机变量的互信息量和微分熵 2.7.1 连续随机变量的互信息量 2.7.2 连续随机变量的熵 2.7.3 微分熵的极大化 2.8 随机过程的信息量和熵 小结 习题 第3章 信源编码——离散信源无失真编码 3.1 信源及其分类 3.2 离散无记忆信源的等长编码 3.3 离散无记忆信源的不等长编码 3.4 最佳不等长编码 3.4.1 Huffman编码 3.4.2 算术编码 3.4.3 LZ编码 3.5 平稳源编码 3.6 马尔可犬源 小结 习题 第4章 信道及其容量 4.1 信道分类 4.2 离散无记忆信道 4.2.1 有关DMC的容量定理 4.2.2 对称DMC容量的计算 4.2.3 一般DMC容量的计算 4.3 离散无记忆信道容量的迭代算法 4.3.1 交替优化 4.3.2 信道容量算法 4.4 离散有记忆信道 4.5 信道的组合 4.6 时间离散的无记忆连续信道 4.6.1 可加噪声信道 4.6.2 平均功率受限可加噪声信道 4.6 3平行可加高斯噪声信道 4.7 波形信道 小结 习题 第5章 信道编码定理 5.1 信道编码和译码 5.1.1 信道编码 5.1.2 译码准则 5.1.3 离散序列的译码 5.1.4 连续序列的译码 5.2 联合典型序列 5.3 信道编码定理 5.4 错误概率上限 5.4 1并集限 5.4.2 Bhattacharyya（巴塔恰亚）限 5.4.3 Callager（加拉格）限 5.4.4 随机码集合平均错误概率上限 5.4.5 DMC的译码错误概率上限 5.4.6 时间离散连续信道错误概率上限 5.5 等能量正交编码信号 小结 习题 第6章 线性分组码 6.1 Galois域 6.1 1域运算 6.1.2 GF（pm）的构造 6.1.3 有限域的特征和元素的级 6.1 4最小多项式 6.2 线性分组码 6.3 线性分组码的生成矩阵和校验矩阵 6.3.1 生成矩阵 6.3.2 枝验矩阵 6.3.3 码的扩展和缩短 6.4 一些特殊的线性分组码 6.4.1 Hamming（汉明）码 6.4.2 Hadamard码 6.4.3 Golay码 6.5 伴随式和最小汉明距离译码 6.5.1 分组码的标准阵译码 6.5.2 最小距离与纠错能力 6.6 循环码 6.6.1 循环码的数学描述 6.6 2循环码的译码 6.7 BCH码 6.7.1 BCH码的定义和性质 6.7.2 BCH码的译码 6.8 Reed-Solomon码 6.9 分组码的性能限 6.10 线性分组码的性能限 小结 习题 第7章 卷积码 7.1 卷积码的基本概念 7.2 Viterbi译码 7.3 序列译码 7.4 卷积码集合平均错误概率限 7.5 级联码 小结 习题 第8章 接近Shannon极限的编码 8.1 Turbo码的构造 8.1.1 递归系统卷积码（RSC） 8.1.2 Turbo码的距离谱 8.1.3 Turbo码交织器的设计 8.2 Turbo码的译码 8.2.1 APP译码器 8.2.2 MAP译码算法 8.2.3 SOVA译码算法 8.2.4 Turbo码的迭代译码特性 8.3 Turbo码的性能限 8.4 低密度校验码的定义 8.4.1 LDPC码的定义 8.4.2 LDPC码的Tanner图表示 8.4.3 LDPC码的构造 8.5 低密度校验码的译码 8.5.1 硬判决译码 8.5.2 最佳APP译码 8.5.3 LDPC译码的和积算法 8.5.4 对数域和积算法 8.5.5 最小和算法 8.6 低密度校验码的性能 小结 习题 第9章 信源编码——无记忆信源的有失真编码 9.1 一般概念与定义 9.2 率失真函数的基本性质与有失真时的逆信源编码定理 9.2.1 基本性质 9.2.2 有失真时的逆信源编码定理 9.3 无记忆信源R(D)的计算 9.4 率失真函数的迭代计算 9.5 率失真函数的可达性 9.6 R(D)上、下限的估计 9.6.1 R(D)的下限 9.6.2 R(D)的上限 9.7 有失真时的离散无记忆信源编码定理 9.8 连续幅度无记忆信源 小结 习题 第10章多用户信息论 10.1 多用户通信及多用户信道的分类 10.2 相关信源独立编码 10.3 相关源协同编码 10.4 多元接入信道(MAC) 10.4.1 多元接入信道的容量区域及可达性 10.4.2 多元信道容量域的凸性 10.4.3 多发送端的多元接入信道容量区域 10.4.4 高斯多元接入信道 10.5 广播信道 10.6 中继信道 10.6.1 一般中继信道 10.6.2 退化中继信道 10.6.3 反向退化中继信道 10.6.4 带反馈的一般中继信道 10.6.5 高斯退化信道 小结 习题 参考文献