信息论与编码--理论及其应用(电子信息科学与工程类专业规划教材)

"1. 引入了“信道安全编码”的内容，介绍了信息论中安全性的度量指标、理论模型、常用的安全编码方法等问题。 2. 除香农经典信息论外，增加了“网络编码”的内容。 3. 从第2章起，每章中增加了“应用实例”小节。 4. 在形式上充分利用了现代教材的建设手段，精心制作了31个教学视频与动画。 5. 可以配合中国大学MOOC上本团队的“信息理论与编码”线上课程使用。"

信息论与编码是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、数据压缩等问题的应用学科理论，是电子通信类专业重要的学科基础课。本书介绍香农信息论的基本内容：信息的度量方法、信源编码（无失真信源编码和限失真信源编码）及信道编码（纠错编码、安全编码和网络编码）的基本理论与方法。为方便学生理解，本书对重点、难点进行了数字化处理与演示；为培养学生解决实际问题的能力，在每章中引入了理论联系实际的内容。 本书可配合中国大学MOOC上的“信息理论与编码”线上课程使用，也可作为相关专业学生的配套教材。

张可，博士，武汉理工大学信息工程学院副教授，长期从事通信工程领域的教学与研究工作，发表论文多篇，获得武汉理工大学校第九届青年教师教学比赛三等奖。

第1章 绪论
1.1 信息的定义
1.2 本课程的主要研究内容
1.3 信息论与编码的发展历程及相关应用
1.3.1 信息论与编码的发展
1.3.2 信息论与编码技术的交叉应用
习题
第2章 信源与熵
2.1 信息与信源的关系
2.1.1 信源与随机变量
2.1.2 通信模型中的信源
2.2 香农熵及其特性
2.2.1 熵的来源
2.2.2 香农熵
2.2.3 香农熵的含义
2.2.4 香农熵的特性
2.3 联合熵与条件熵
2.3.1 联合分布与联合熵
2.3.2 条件熵
2.3.3 各类信源熵的关系
2.4 平均互信息量
2.4.1 平均互信息量及其计算
2.4.2 平均互信息量的性质
2.4.3 熵及平均互信息量之间的关系
2.5 各类信源熵的扩展
2.5.1 离散无记忆扩展信源的信息熵
2.5.2 离散平稳信源的信息熵
2.5.3 连续信源的信息熵
2.5.4 马尔可夫信源的信息熵
2.6 应用实例
2.6.1 信源信息传播因素分析
2.6.2 智能变电站通信网络的广义信源
本章基本概念
习题
第3章 信道及其容量
3.1 信道的分类及模型
3.1.1 信道的分类
3.1.2 信道的模型描述
3.1.3 离散信道的数学模型
3.2 信道的平均互信息量
3.2.1 信道的疑义度
3.2.2 信道的散布度
3.2.3 信道的平均互信息量
3.2.4 信道的平均条件互信息量
3.3 平均互信息量的特性
3.4 信道容量及其一般计算方法
3.4.1 信道容量的定义
3.4.2 离散无噪信道的信道容量
3.4.3 对称离散信道的信道容量
3.4.4 准对称信道的信道容量
3.4.5 Kuhn-Tucker定理及一般离散信道的信道容量
3.4.6 信道容量的迭代算法
3.5 连续信道及其信道容量
3.5.1 连续信道的数学模型
3.5.2 连续信道的平均互信息量及其特性
3.5.3 高斯加性噪声信道的信道容量
3.5.4 一般加性噪声信道的信道容量及其边界
3.6 波形信道及其信道容量
3.6.1 波形信道的平均互信息量
3.6.2 加性噪声波形信道的信道容量
3.7 扩展信道及其信道容量
3.7.1 扩展信道的数学模型
3.7.2 扩展信道的平均互信息量和信道容量
3.8 组合信道及其信道容量
3.8.1 串联信道
3.8.2 独立并联信道
3.9 信源与信道的匹配
3.10 应用实例
本章基本概念
习题
第4章 无失真信源编码
4.1 信源编码的基本概念
4.2 编码的专享可译性
4.2.1 常见码及其专享可译性
4.2.2 码树与克拉夫特不等式
4.2.3 专享可译码的判断方法
4.3 离散无记忆信源的渐近等分性
4.3.1 典型序列
4.3.2 渐近等分性
4.3.3 离散无记忆信源序列集的划分
4.4 定长编码
4.4.1 定长编码的基本约束
4.4.2 定长编码定理
4.5 变长编码定理
4.6 无失真信源编码方法
4.6.1 霍夫曼编码
4.6.2 费诺编码
4.6.3 香农编码
4.6.4 游程编码
4.6.5 算术编码
4.6.6 字典编码
4.7 应用实例
4.7.1 MH编码
4.7.2 Zip和Gzip软件
4.7.3 RAR和WinRAR软件
4.7.4 GIF图像
4.7.5 PNG图像
本章基本概念
习题
第5章 信道纠错编码
5.1 纠错编译码的基本原理
5.1.1 纠错编译码方法
5.1.2 平均差错率及译码规则
5.1.3 分组码举例
5.2 有噪信道编码定理
5.2.1 有噪打字机举例
5.2.2 定理讨论
5.2.3 有噪信道编码逆定理
5.3 线性分组码
5.3.1 线性分组码编码
5.3.2 伴随式与标准阵列译码
5.3.3 码的最小汉明距离与检纠错能力
5.3.4 标准阵列及译码方法
5.3.5 完备码
5.4 应用实例
5.4.1 模拟移动系统中数字信令的BCH编码
5.4.2 深空通信中的信道编码
5.4.3 GSM的信道编码
5.4.4 窄带CDMA系统（IS-95）中的前向纠错编码
5.4.5 3G通信中Turbo码
5.4.6 5G通信中的信道编码
本章基本概念
习题
第6章 限失真信源编码
6.1 失真测度
6.2 信息率失真函数及其性质
6.2.1 信息率失真函数的定义
6.2.2 信息率失真函数R(D)的性质
6.3 限失真信源编码定理
6.4 离散信源信息率失真函数的计算
6.4.1 离散信源信息率失真函数的参量表示计算方法
6.4.2 离散信源信息率失真函数的迭代计算方法
6.5 连续信源的信息率失真函数
6.5.1 连续信源信息率失真函数的参量表达式
6.5.2 高斯信源的信息率失真函数
6.6 图像信源限失真编码举例
6.6.1 JPEG基本系统简介
6.6.2 JPEG编码过程示例
6.6.3 JPEG编码率失真性能曲线的绘制
6.7 信息率失真函数的应用及应用中的困难
本章基本概念
习题
第7章 信道安全编码
7.1 网络模型与安全服务功能