信息论与编码

本书重点介绍了信息论的基础理论，以及信源编码、信道编码理论与技术。本书共7章，在系统介绍信息的统计度量、信源与信源熵、信道及其信道容量的基础上，重点阐述了无失真信源编码定理、限失真信源编码定理及有噪信道编码定理等香农信息论的核心内容，介绍了常用的信源编码技术、信道编码技术的原理与应用。本书在数学工具的运用上力求准确、简明，通过较多的例题和较浅的数学工具阐述基本理论、基本方法和基本技术，既有必要的数学分析，又重点强调物理意义的理解。为了便于教师教学和学生巩固对知识的理解，本书附有习题并配有相应的教学课件。本书既可作为信息工程、通信工程及相关专业的本科生教材，也可作为从事相关专业的科研和技术人员的参考用书。

目录 第1章 绪论 1 1.1 信息、消息与信号 1 1.2 通信系统的一般模型 2 1.3 信息论的发展 5 第2章 信息的度量 7 2.1 离散变量的非平均信息量 7 2.1.1 自信息量和条件自信息量 8 2.1.2 互信息量和条件互信息量 10 2.2 离散集的平均自信息量 14 2.2.1 平均自信息量――熵 14 2.2.2 熵的基本性质 16 2.3 离散集的平均互信息量 25 2.3.1 平均互信息量 25 2.3.2 平均互信息量的性质 28 2.4 连续型随机变量的互信息量和熵 31 2.4.1 连续型随机变量的互信息量 32 2.4.2 连续型随机变量的熵 34 习题 36 第3章 信源与信源熵 39 3.1 信源的数学模型及分类 39 3.2 单符号离散信源 41 3.3 多符号离散信源 43 3.3.1 离散平稳无记忆信源 44 3.3.2 离散平稳有记忆信源 48 3.3.3 马尔可夫信源 57 3.4 连续信源 63 3.4.1 幅度连续的单个符号信源 63 3.4.2 波形信源 65 3.4.3 最大熵定理 66 3.5 信源的相关性与冗余度 69 习题 70 第4章 信道及其信道容量 74 4.1 信道的数学模型及分类 74 4.2 离散信道及其信道容量 75 4.2.1 离散信道的数学模型 75 4.2.2 单符号离散信道及其信道容量 79 4.2.3 离散无记忆信道的扩展信道及其信道容量 99 4.2.4 离散信道的组合信道及其信道容量 106 4.3 连续信道及其信道容量 114 4.3.1 连续单符号加性信道及其信道容量 114 4.3.2 多维无记忆加性连续信道及其信道容量 117 4.3.3 加性高斯白噪声波形信道及其信道容量 120 4.4 信源与信道的匹配 122 习题 122 第5章 信源编码 127 5.1 信源编码的基本概念 127 5.1.1 信源编码的定义 127 5.1.2 信源编码的分类 129 5.2 无失真信源编码 130 5.2.1 定长编码 131 5.2.2 无失真变长编码 139 5.2.3 常用的无失真信源编码方法 149 5.3 限失真信源编码 160 5.3.1 失真测度 160 5.3.2 信息率失真函数 163 5.3.3 信息率失真函数的计算 169 5.3.4 限失真信源编码定理 171 5.3.5 限失真信源编码方法 172 5.4 语音压缩编码 173 5.4.1 语音数字编码标准 174 5.4.2 语音压缩编码的分类及压缩指标 174 5.4.3 语音压缩编码的基本原理 175 5.5 图像压缩 176 5.5.1 图像压缩编码标准 176 5.5.2 第一代视频压缩编码标准 177 5.5.3 第二代视频压缩编码标准 178 5.5.4 新一代视频压缩编码标准 178 5.6 二值图像的游程编码无损压缩 179 5.7 灰度图像的DCT压缩与编码 179 习题 180 第6章 有噪信道编码 183 6.1 有噪信道的编码问题 183 6.2 错误概率和译码规则 184 6.2.1 错误概率 184 6.2.2 译码规则的选择准则 186 6.2.3 费诺不等式 189 6.3 错误概率与编码方法 191 6.3.1 简单重复编码 191 6.3.2 信道编码的编码原则 194 6.4 有噪信道编码定理 197 6.5 错误概率上限 203 习题 204 第7章 纠错编码 207 7.1 纠错编码的基本概念 207 7.1.1 纠错编码的定义 207 7.1.2 纠错编码的类型 208 7.1.3 差错控制方式 209 7.2 线性分组码 211 7.2.1 线性分组码的基本概念 211 7.2.2 汉明码 215 7.2.3 循环码 216 7.2.4 BCH码和RS码 219 7.2.5 CRC码 221 7.3 卷积码 222 7.3.1 卷积码编码 222 7.3.2 卷积码译码 229 7.4 TCM码 235 7.5 级联码 238 7.6 接近香农极限的编码 240 7.6.1 Turbo码 240 7.6.2 LDPC码 246 7.6.3 Polar码 249 习题 251 参考文献 254