信息论与编码(第4版)

本书为普通高等教育“十一五”重量规划教材和“十二五”普通高等教育本科重量规划教材。
本书系统介绍和论述信息的基本概念：信息论的起源、发展及研究内容；香农信息论的三个基本概念：信源熵、信道容量和信息率失真函数，以及与这三个概念相对应的三个编码定理；解决通信系统有效性、可靠性和安全性的三类编码：信源编码、信道编码和安全编码——密码的基本方法，着重介绍密码安全性与信息论的关系，以及边信息泄露的互信息分析新技术等内容。为了便于教学和读者自学，每章后面都附有习题，书后附有部分习题答案和文字符号释义。
本书不追求高深的数学理论，尽可能以通俗易懂、形象生动的语言强化物理概念的描述，特别适合于初学者。已掌握工科高等数学和工程数学的读者都能读懂本书。
本书适合作为高等院校电子信息类相关专业高年级本科生的教材，也可作为低年级研究生的教学参考书，还可供从事信息科学与技术的科研人员和工程技术人员参考。

陈运，教授，电子科技大学信息与通信工程学院，长期从事信息论与编码、信息安全领域的教学、科研工作，主持编写的《信息论与编码》先后列选国家“十一五”、“十二五”规划教材。

第1章 概论 （1）
1.1 信息的概念和分类 （1）
1.1.1 信息的概念 （1）
1.1.2 信息的分类 （4）
1.2 信息论的起源和发展 （5）
1.2.1 信息论创立的理论基础和技术条件 （5）
1.2.2 信息论的诞生和发展现状 （5）
1.2.3 信息论的未来发展趋势 （7）
1.3 信息论的研究内容 （7）
1.3.1 通信系统模型 （7）
1.3.2 信息论研究内容 （8）
思考题 （9）
第2章 离散信源熵 （10）
2.1 基本概念 （10）
2.2 离散信源熵的基本概念和性质 （10）
2.2.1 单符号离散信源的数学模型 （11）
2.2.2 自信息量及其性质 （11）
2.2.3 信源熵及其性质 （14）
2.3 多符号离散平稳信源熵 （21）
2.3.1 多符号离散平稳信源的数学模型 （21）
2.3.2 离散平稳无记忆信源熵 （22）
2.3.3 离散平稳有记忆信源熵 （24）
2.3.4 马尔可夫信源的极限熵 （28）
2.3.5 冗余度、自然语信源及信息变差 （31）
习题 （34）
第3章 无失真离散信源编码 （36）
3.1 基本概念 （36）
3.2 无失真离散信源编码定理 （36）
3.2.1 定长编码定理 （37）
3.2.2 变长编码定理 （39）
3.2.3 码字专享可译条件 （40）
3.3 香农编码 （42）
3.4 费诺编码 （43）
3.5 霍夫曼编码 （44）
3.6 游程组合编码 （48）
习题 （52）
第4章 离散信道容量 （53）
4.1 互信息量和平均互信息量 （53）
4.1.1 单符号离散信道的数学模型 （53）
4.1.2 互信息量及其性质 （53）
4.1.3 平均互信息量及其性质 （56）
4.1.4 各种熵之间的关系 （67）
4.2 单符号离散信道的信道容量 （68）
4.2.1 单符号离散信道容量定义 （68）
4.2.2 几种特殊离散信道的信道容量 （69）
4.2.3 离散信道容量的一般计算方法 （75）
4.3 多符号离散信道的信道容量 （78）
4.3.1 多符号离散信道的数学模型 （78）
4.3.2 多符号离散信道容量定义 （79）
4.3.3 离散无记忆扩展信道的信道容量 （79）
4.3.4 独立并联信道的信道容量 （82）
4.4 网络信息论 （83）
4.4.1 多址接入信道的信道容量 （83）
4.4.2 广播信道的信道容量 （86）
4.4.3 相关信源的边信息和公信息 （87）
习题 （89）
第5章 纠错编码 （92）
5.1 纠错编码的基本概念 （92）
5.1.1 差错控制系统模型及分类 （92）
5.1.2 纠错编码分类 （93）
5.1.3 译码准则 （94）
5.1.4 信道编码定理 （95）
5.2 检错码 （96）
5.2.1 奇偶校验码 （96）
5.2.2 等重码 （97）
5.3 线性分组码 （98）
5.3.1 线性分组码的基本概念 （98）
5.3.2 线性分组码的编码 （99）
5.3.3 线性分组码的译码 （101）
5.3.4 线性分组码的检纠错能力 （106）
5.4 常用线性分组码 （107）
5.4.1 汉明码 （107）
5.4.2 循环码 （109）
5.5 卷积码 （116）
5.5.1 卷积码的基本概念 （116）
5.5.2 卷积码的编码 （117）
5.5.3 卷积码的译码 （120）
5.5.4 卷积码的性能特点 （125）
习题 （126）
第6章 连续信源熵和信道容量 （128）
6.1 连续信源熵 （128）
6.1.1 连续信源熵的定义 （128）
6.1.2 几种特殊连续信源的信源熵 （130）
6.1.3 连续信源熵的性质和定理 （132）
6.2 熵功率 （137）
6.3 连续信道的信道容量 （139）
6.3.1 连续信道的数学模型及信道容量定义 （139）
6.3.2 加性连续信道容量计算和香农公式 （139）
习题 （142）
第7章 信息率失真函数 （143）
7.1 基本概念 （143）
7.1.1 失真度与平均失真度 （144）
7.1.2 信息率失真函数的定义 （147）
7.1.3 信息率失真函数的性质 （148）
7.2 离散信源信息率失真函数 （152）
7.2.1 离散信源信息率失真函数的参量表达式 （152）
7.2.2 二元及等概率离散信源的信息率失真函数 （155）
7.3 连续信源信息率失真函数 （159）
7.3.1 连续信源信息率失真函数的参量表达式 （159）
7.3.2 高斯信源的信息率失真函数 （160）
7.4 信息价值 （163）
7.5 信道容量与信息率失真函数的比较 （166）
习题 （166）
第8章 限失真信源编码 （168）
8.1 基本概念 （168）
8.2 保真度准则下的信源编码定理 （168）
8.3 量化编码 （169）
8.3.1 很好标量量化编码 （169）
8.3.2 矢量量化编码 （174）
8.4 相关信源编码 （176）
8.4.1 预测编码 （177）
8.4.2 差值编码 （178）
8.5 变换编码 （181）
8.5.1 子带编码 （182）
8.5.2 小波变换 （183）
习题 （185）
第9章 密码安全性的信息论测度方法 （187）
9.1 基本知识 （187）
9.1.1 保密通信系统模型 （187）
9.1.2 密码基本概念 （188）
9.2 密码算法的安全性测度 （189）
9.2.1 完善保密性 （189）
9.2.2 专享解距离 （190）
9.3 古典代替密码的安全性分析 （191）
9.3.1 加法密码的安全性分析 （191）
9.3.2 乘法密码的安全性分析 （193）
9.3.3 仿射密码的安全性分析 （195）
9.4 边信息泄露的互信息分析 （197）
9.4.1 数据加密标准简介 （197）
9.4.2 DES算法的边信道安全性分析 （199）
习题 （202）
部分习题答案 （203）
本书文字符号释义 （208）
参考文献 （214）