信息论基础(第2版21世纪高等院校信息与通信工程规划教材)

《信息论基础(第2版21世纪高等院校信息与通信 工程规划教材)》是作者田宝玉、杨洁、贺志强、许 文俊在第1版的基础上，结合近几年的教学和科研实 践，再次对教材内容进行整合、补充和完善而形成的 。第2版沿用第1版的基本框架，分为11章，内容主要 包括：绪论、离散信息的度量、离散信源、连续信息 与连续信源、无失真信源编码、离散信道及其容量、 有噪信道编码、波形信道、信息率失真函数、网络信 息论初步和信息理论方法及其应用等。除充实和增加 的内容外，第2版另一项重要工作就是增加了大量习 题。 本书在内容的选择上既考虑到基础性又考虑先进 性和时代性，在编写方式上既注重基本概念的阐述又 注重与通信和信息处理的实际相结合。本书强调定理 中物理概念和结论的理解和掌握，简化烦琐的数学推 导，注重使用明确、直观的物理概念，增加实例，力 求让讲述的内容更适合工科专业学生的学习。本书配 有大量思考题和习题作为学生课后的练习，这对于学 生深入理解所学知识，提高基本运算和解决实际问题 的能力都有很大帮助。 本书主要作为高等院校信息与通信专业的教材， 还可作为相关专业研究生和工程技术人员的参考书。

第1章 绪论 1.1 信息的基本概念 1.1.1 信息论的产生 1.1.2 信息的基本概念 1.2 香农信息论研究的内容 1.2.1 通信系统模型 1.2.2 香农信息论的主要内容 1.3 香农信息论研究的进展与应用 1.3.1 香农信息论创立的背景 1.3.2 香农的主要贡献 1.3.3 香农信息论研究进展 1.3.4 香农信息论的应用 思考题 第2章 离散信息的度量 2.1 自信息和互信息 2.1.1 自信息 2.1.2 互信息 2.2 信息熵的基本概念 2.2.1 信息熵 2.2.2 联合熵与条件熵 2.2.3 相对熵 2.2.4 各类熵之间的关系 2.3 信息熵的基本性质 2.3.1 凸函数及其性质 2.3.2 熵的基本性质 2.3.3 熵函数的唯一性 2.3.4 有根概率树与熵的计算 2.4 平均互信息 2.4.1 平均互信息的定义 2.4.2 平均互信息的性质 2.4.3 平均条件互信息 本章小结 思考题 习题 第3章 离散信源 3.1 离散信源的分类与数学模型 3.1.1 离散信源的分类 3.1.2 离散无记忆信源数学模型 3.1.3 离散有记忆信源数学模型 3.1.4 离散平稳信源数学模型 3.2 离散无记忆信源的扩展 3.2.1 等长消息扩展 3.2.2 变长消息扩展 3.3 离散平稳信源的熵 3.3.1 单符号信源的熵 3.3.2 等长无记忆扩展源的熵 3.3.3 变长无记忆扩展源的熵 3.3.4 平稳有记忆信源的熵 3.4 有限状态马尔可夫链 3.4.2 马氏链的基本概念 3.4.2 齐次马氏链 3.4.3 马氏链状态分类 3.4.4 马氏链的平稳分布 3.5 马尔可夫信源 3.5.1 马氏源的基本概念 3.5.2 马氏源的产生模型 3.5.3 马氏链N次扩展源熵的计算 3.5.4 马氏源符号熵的计算 3.6 信源的相关性与剩余度 3.6.1 信源的相关性 3.6.2 信源的剩余度 3.6.3 文本信源 本章小结 思考题 习题 第4章 连续信息与连续信源 4.1 连续随机变量的熵 4.1.1 连续随机变量的离散化 4.1.2 连续随机变量的熵 4.1.3 连续随机变量差熵的性质 4.1.4 连续随机变量集的相对熵 4.2 离散时间高斯随机变量的熵 4.2.1 一维高斯随机变量的熵 4.2.2 多维独立高斯随机矢量的熵 4.2.3 多维相关高斯随机矢量的熵 4.2.4 高斯马尔可夫过程的熵率 4.3 连续最大熵定理 4.3.1 限峰值最大熵定理 4.3.2 限平均功率最大熵定理 4.3.3 最大熵率定理 4.3.4 熵功率 4.4 连续随机变量的平均互信息 4.4.1 连续随机变量的平均互信息 4.4.2 连续随机变量平均互信息的性质 4.5 离散与连续随机变量之间的互信息 4.5.1 离散事件与连续事件之间的互信息 4.5.2 离散与连续随机变量之间的平均互信息 本章小结 思考题 习题 第5章 无失真信源编码 5.1 概述 5.1.1 信源编译码器模型 5.1.2 信源编码的分类 5.1.3 分组码 5.1.3 无损信源编码系统 5.2 定长码 5.2.1 无失真编码条件 5.2.2 渐近均分特性 5.2.3 定长码信源编码定理 5.3 变长码 5.3.1 异前置码的性质 5.3.2 变长码信源编码定理 5.4 最优编码 5.4.1 二元哈夫曼编码 5.4.2 多元哈夫曼编码 5.4.3 哈夫曼决策树 5.4.4 规范哈夫曼编码 5.4.5 马氏源的哈夫曼编码 5.4.6 香农码 *5.5 几种实用的信源编码方法 5.5.1 算术编码 5.5.2 游程编码 5.5.3 LZ编码 本章小结 思考题 习题 第6章 离散信道及其容量 6.1 概述 6.1.1 信道的分类 6.1.2 离散信道的数学模型 6.1.3 信道容量的定义 6.2 单符号离散信道及其容量 6.2.1 离散无噪信道的容量 6.2.2 一般离散信道的容量 6.2.3 离散对称信道的容量 6.3 级联信道及其容量 6.4 多维矢量信道及其容量 6.4.1 多维矢量信道输入与输出的性质 6.4.2 离散无记忆扩展信道及其容量 6.4.3 并联信道及其容量 6.4.4 和信道及其容量 6.5 信道容量的迭代算法 本章小结 思考题 习题 第7章 有噪信道编码 7.1 概述 7.1.1 信道编码的基本概念 7.1.2 判决与译码规则 7.1.3 译码错误概率 7.2 最佳判决与译码准则 7.2.1 最大后验概率准则 7.2.2 最大似然准则 7.3 信道编码与最佳译码 7.3.1 线性分组码 7.3.2 序列最大似然译码 7.3.3 几种简单的分组码 7.4 费诺(Fano)不等式 7.5 有噪信道编码定理 7.5.1 联合典型序列 7.5.2 有噪信道编码定理 7.5.3 无失真信源信道编码定理 7.6 纠错编码技术简介 7.6.1 线性分组码的编译码 7.6.2 几种重要的分组码 7.6.3 卷积码简介 本章小结 思考题 习题 第8章 波形信道 8.1 离散时间连续信道 8.1.1 离散时间连续信道模型 8.1.2 平稳无记忆连续信道 8.1.3 多维矢量连续信道的性质 8.1.4 离散时间连续信道的容量 8.2 加性噪声信道与容量 8.2.1 加性噪声信道的容量 8.2.2 加性高斯噪声信道的容量 8.2.3 一般加性噪声信道容量界 8.2.4 并联加性高斯噪声信道的容量 8.3 AWGN信道的容量 8.3.1 加性高斯噪声波形信道 8.3.2 波形信道的互信息与容量 8.3.3 AWGN信道的容量 8.3.4 高斯噪声信道编码定理 8.3.5 功率利用率和频谱利用率的关系 8.4 有色高斯噪声信道 8.4.1 有色高斯噪声信道容量 8.4.2 多频段AWGN信道容量 *8.5 数字调制系统的信道容量 本章小结 思考题 习题 第9章 信息率失真函数 9.1 概述 9.1.1 系统模型 9.1.2 失真测度 9.1.3 率失真(R(D)函数和失真率函数 9.2 限失真信源编码定理 9.2.1 码率的压缩 9.2.2 限失真信源编码定理 9.2.3 限失真信源信道编码定理 9.3 离散R(D)函数的性质与计算 9.3.1 离散R(D函数的性质 9.3.2 离散R(D函数的计算 9.4 连续R(D)函数的性质与计算 9.4.1 连续R(D函数的性质 9.4.2 连续R(D函数的计算 9.4.3 差值失真测度下的R(D函数 9.5 高斯信源的R(D)函数 9.6.1 无记忆高斯信源的R(D)函数 9.6.2 独立并联高斯信源的R(D)函数 9.6 一般连续信源的R(D)函数 *9.7 有损数据压缩技术简介 9.7.1 量化 9.7.2 预测编码 9.7.3 子带编码 9.7.4 变换编码 本章小结 思考题 习题 第10章 有约束信道及其编码 10.1 标号图的性质 10.1.1 标号图的基本概念 10.1.2 标号图的变换 10.2 有约束信道容量 10.2.1 有约束信道容量的定义 10.2.2 等时长符号有约束信道的容量 10.2.3 不等时长符号无约束信道的容量 10.2.4 不等时长符号有约束信道的容量 10.3 有约束序列的性质 10.3.1 信道对传输序列的约束 10.3.2 游程长度受限序列（RLL） 10.3.3 部分响应最大似然（PRML）序列 10.3.4 直流平衡序列 10.3.5 其它频域受限序列 10.4 有约束信道编码定理 10.4.1 编码器的描述 10.4.2 有约束信道编码定理 10.4.3 有限状态编码定理 10.4.4 编码器性能指标 *10.5 有约束序列编码与应用 10.5.1 块编码器 10.5.2 实用直流平衡序列 10.5.3 常用有约束序列编码及应用 本章小结 思考题 习题 第11章 网络信息论初步 11.1 概述 11.2 多址接入信道 11.2.1 二址接入信道的容量 11.2.2 多址接入信道的容量 11.2.3 不同多址方式下的接入信道容量 11.3 广播信道 11.3.1 概述 11.3.2 退化广播信道的容量区 11.4 中继信道 11.4.1 概述 11.4.2 退化中继信道的容量 11.5 分布信源编码 11.5.1 无损分布信源编码 11.5.2 具有边信息的有损分布信源编码 11.5.3 分布信源编码的应用 本章小结 思考题 习题 *第12章 信息理论方法及其应用 12.1 信源熵的估计 12.1.1 离散信源序列熵的估计 12.1.2 连续信源熵的估计 12.2 最大熵原理 12.2.1 最大熵原理的描述 12.2.2 熵集中定理 12.2.3 几种重要的最大熵分布 12.3 最小交叉熵原理 12.3.1 最小交叉熵原理 12.3.2 交叉熵的性质 12.3.3 最小交叉熵推断的性质 12.3.4 交叉熵法 12.4 信息理论方法的应用 12.4.1 信息论在分子生物学中的应用 12.4.2 最大熵谱估计和最小交叉熵谱估计 12.4.3 最大熵建模及其在自然语言处理中应用 12.4.4 最大熵原理在经济学中的应用 12.4.5 信息理论方法应用展望 本章小结 思考题 习题 参考文献