信息论——基础理论与应用(第5版)

本书是“十二五”普通高等教育本科重量规划教材；也是普通高等教育“十一五”重量规划教材，并于2008年被教育部评选为“普通高等教育精品教材”。本书系统地论述了香农信息论基本理论及某些应用问题，基本覆盖了信息论的各个方面的内容。内容包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆、离散和连续信道的信道容量；香农信息论的三个基本定理：无失真信源编码定理、限失真信源编码定理和信道编码定理；网络信息理论及保密系统的信息理论。本书还介绍了无失真数据压缩（即无失真信源编码）的实用的编码算法与方法，以及信道纠错编码的基本内容和分析方法。最后简要地介绍了信息论与热力学、光学、统计学、生物学和医学等其他学科交叉结合的应用内容。尤其是新增第13章，介绍量子力学与信息理论交叉结合而飞速发展起来，又极具诱人前景的量子信息科学。本书深入浅出、概念清晰、内容丰富、系统性和可读性强，并具实际应用价值。本书可作为高等院校信息工程、通信工程、雷达、计算机、电子学、信息与计算科学等相关专业的本科生、研究生的信息论课程教材或教学参考书，也可供数学、物理、生物学、系统科学、管理科学等专业研究生及从事信息科学理论、技术、方法研究的科研工作者和工程技术人员参考。

第1章 绪论
1.1 信息的概念
1.2 信息论研究的对象、目的和内容
1.3 信息论发展简史与信息科学
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类
2.2 离散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性质
2.4 信息熵的专享性定理
2.5 离散无记忆的扩展信源
2.6 离散平稳信源
2.6.1 离散平稳信源的数学定义
2.6.2 二维离散平稳信源及其信息熵
2.6.3 离散平稳信源的极限熵
2.7 马尔可夫信源
2.7.1 马尔可夫信源和m阶马尔可夫信源的定义
2.7.2 马尔可夫信源和m阶马尔可夫信源的信息熵
2.8 信源剩余度与自然语言的熵
2.9 意义信息和加权熵
小结
习题
第3章 离散信道及其信道容量
3.1 信道的数学模型及分类
3.1.1 信道的分类
3.1.2 离散信道的数学模型
3.1.3 单符号离散信道的数学模型
3.2 平均互信息及平均条件互信息
3.2.1 信道疑义度
3.2.2 平均互信息
3.2.3 平均条件互信息
3.3 平均互信息的特性
3.4 信道容量及其一般计算方法
3.4.1 离散无噪信道的信道容量
3.4.2 对称离散信道的信道容量
3.4.3 准对称信道的信道容量
3.4.4 一般离散信道的信道容量
3.5 信道容量的迭代算法
3.5.1 信道容量的迭代算法
3.5.2 信道容量迭代算法的收敛性
3.6 离散无记忆扩展信道及其信道容量
3.7 独立并联信道及其信道容量
3.8 串联信道的互信息和数据处理定理
3.9 信源与信道的匹配
小结
习题
第4章 波形信源和波形信道
4.1 波形信源的统计特性和离散化
4.2 连续信源和波形信源的信息测度
4.2.1 连续信源的差熵
4.2.2 连续平稳信源和波形信源的差熵
4.2.3 两种特殊连续信源的差熵
4.3 连续信源熵的性质及优选差熵定理
4.3.1 差熵的性质
4.3.2 具有优选差熵的连续信源
4.4 连续信源熵的变换
4.4.1 坐标变换后概率密度函数的变化
4.4.2 坐标变换后差熵的变化
4.5 熵功率
4.6 连续信道和波形信道的分类
4.6.1 按信道输入和输出的统计特性分类
4.6.2 按噪声的统计特性分类
4.6.3 按噪声对信号的作用功能分类
4.7 连续信道和波形信道的信息传输率
……
第5章 无失真信源编码定理
第6章 有噪信道编码定理
第7章 保真度准则下的信源编码
第8章 无失真的信源编码
第9章 信道的纠错编码
第10章 网络信息论
第11章 保密系统的基本信息理论
第12章 信息论与其他学科的关系和应用
第13章 量子信息科学简介
附录
参考书目和文献