信息论与编码

本书系统地论述了信息论与编码的基本理论。全书包括7章和4个附录, 主要内容包括信息的概念、信息论的研究内容、信息论的发展历程、信源及其熵、信道及其信道容量、率失真函数、信源编码、信道编码和保密编码等, 附录主要是本书需要的预备知识, 如概率论基本公式、有限域、向量空间与矩阵等基础知识。

目录 第1章 绪论 1 1.1  信息的概念 1 1.1.1 信息科技促使人们对信息概念进行更深刻的剖析与理解 1 1.1.2 信息是特定信息场景中的“信息” 2 1.1.3 信息的基本属性 4 1.1.4 信息的香农定义与维纳定义 5 1.2  信息论的研究内容 6 1.2.1 信息度量、信息熵与消息 7 1.2.2 信息表征与数据压缩 9 1.2.3 信息传输、信道容量、调制与编码 11 1.2.4 信息安全、加密与认证 13 1.3  从“香农贡献”洞悉信息科技 15 1.3.1 香农的信息科技创新贡献 15 1.3.2 香农培养的后起之秀与留存后世的至理名言 16 1.4  从香农奖看信息论的发展历程 17 习题 20 第2章 信源及其熵 21 2.1  信源与信息度量的基本概念 21 2.2  自信息量与熵 22 2.2.1 自信息量 22 2.2.2 信息熵 24 2.2.3 熵的基本性质 31 2.3  互信息量与平均互信息量 36 2.3.1 互信息量 36 2.3.2 平均互信息量 38 2.4  离散信源的熵 42 2.4.1 单符号离散信源的熵 42 2.4.2 多符号离散信源的熵 42 2.4.3 马尔可夫信源的熵 43 2.4.4 离散信源的时间熵 47 2.5  连续信源的熵 48 2.5.1 单符号连续信源的熵 48 2.5.2 连续信源的熵的性质 54 2.5.3 多符号连续信源的熵 57 2.5.4 熵功率 58 2.6  信息论不等式及其应用 60 2.6.1 对数和不等式及其应用 60 2.6.2 数据处理不等式 62 2.6.3 数据处理定理 62 2.6.4 费诺不等式 63 习题 65 第3章 信道及其信道容量 70 3.1  信道及其信道容量的基本概念 70 3.1.1 信道的数学模型及其分类 70 3.1.2 信道容量的定义 71 3.2  单符号离散信道及其信道容量 72 3.2.1 特殊的单符号离散信道及其信道容量 73 3.2.2 对称离散信道及其信道容量 74 3.2.3 准对称离散信道及其信道容量 77 3.2.4 一般离散无记忆信道及其信道容量 79 3.3  多符号离散信道及其信道容量 82 3.3.1 多符号离散信道的数学模型 82 3.3.2 多符号离散信道的信道容量 83 3.3.3 离散无记忆信道的N次扩展信道的信道容量 83 3.3.4 独立并联信道的信道容量 86 3.3.5 串联信道的信道容量 86 3.4  连续信道及其信道容量 89 3.4.1 单符号连续信道及其信道容量 89 3.4.2 多符号无记忆高斯加性信道及其信道容量 90 3.4.3 限带高斯白噪声加性波形信道及其信道容量 91 3.5  MIMO信道和多址接入信道及其信道容量 93 3.5.1 MIMO信道及其信道容量 93 3.5.2 多址接入信道及其信道容量 95 习题 97 第4章 率失真函数 99 4.1  率失真函数的基本概念 99 4.1.1 试验信道 99 4.1.2 率失真函数的定义 102 4.1.3 率失真函数的性质 105 4.2  离散信源的率失真函数 107 4.2.1 离散信源的率失真函数的一般形式 107 4.2.2 二元信源和等概率信源的率失真函数 110 4.3  连续信源的率失真函数 114 4.3.1 连续信源的率失真函数的一般形式 114 4.3.2 高斯信源的率失真函数 116 习题 117 第5章 信源编码 120 5.1  异前置码与离散无失真信源编码定理 120 5.1.1 异前置码 120 5.1.2 无失真信源编码定理 123 5.2  经典无失真信源编码 124 5.2.1 霍夫曼码 125 5.2.2 费诺码 127 5.2.3 香农-费诺-埃利斯码 129 5.2.4 算术码 130 5.3  限失真信源编码定理 133 5.4  限失真信源编码方法 134 5.4.1 量化编码 134 5.4.2 相关信源编码 139 5.4.3 JPEG图像编码 144 5.4.4 H.264/AVC视频编码 146 习题 148 第6章 信道编码 150 6.1  信道编码与差错控制 150 6.1.1 信道编码的基本概念 150 6.1.2 优选似然译码准则 153 6.1.3 译码模式与纠检错能力 156 6.1.4 差错控制方式 158 6.2  有噪信道编码定理 160 6.2.1 有噪信道编码定理概述 160 6.2.2 信道编码设计的基本原理 162 6.2.3 编码系统的性能度量 163 6.3  线性分组码 167 6.3.1 线性分组码的矩阵描述 167 6.3.2 线性分组码的译码 171 6.3.3 汉明码 174 6.3.4 循环码 177 6.4  卷积码 185 6.4.1 卷积码的基本概念 185 6.4.2 卷积码的描述 188 6.4.3 卷积码的Viterbi译码 196 6.5  Turbo码 203 6.5.1 Turbo码编码方法 203 6.5.2 Turbo码译码算法 206 6.6  LDPC码 210 6.6.1 LDPC码的基本概念 210 6.6.2 LDPC码的构造方法 213 6.6.3 LDPC码的编码方法 215 6.6.4 LDPC码的译码算法 217 6.7  极化码 218 6.7.1 极化码的基本概念与信道极化 219 6.7.2 极化信道的可靠性度量 222 6.7.3 极化码的编码方法 223 6.7.4 极化码的译码算法 225 6.8  信道编码的应用设计 227 6.8.1 码的速率匹配设计 227 6.8.2 码的组合构造方法 228 习题 229 第7章 保密编码 234 7.1  密码通信的基本模型 234 7.1.1 通信模型 234 7.1.2 密码体制的基本要求 236 7.1.3 常见威胁 237 7.1.4 保密系统的安全性测度 239 7.2  古典密码 240 7.2.1 单表密码 240 7.2.2 多表密码 244 7.2.3 换位密码 246 7.2.4 线性反馈移位寄存器密码 249 7.2.5 序列密码和分组密码 252 7.3  数据加密标准DES 254 7.3.1 DES算法基本原理 254 7.3.2 DES算法运算过程 255 7.3.3 DES算法的弱点 259 7.4  数据加密标准AES 259 7.4.1 AES的数学基础 259 7.4.2 AES加密过程 261 7.4.3 AES解密过程 261 7.5  公开密钥密码体制RSA 262 7.5.1 非对称加密算法 262 7.5.2 RSA算法描述 263 7.6  现代密码学的研究趋势 264 7.6.1 公开密钥密码 264 7.6.2 分组密码 265 7.6.3 序列密码 265 7.6.4 Hash函数 266 7.6.5 量子密码 267 习题 267 附录 预备知识 269 附录A 概率基本公式 269 附录B 有限域 269 B.1 群 269 B.2 域 270 B.3 二元域上多项式 272 B.4 伽罗华域 的构造 276 B.5 最小多项式 277 附录C 向量空间 279 附录D 矩阵 283 参考文献 286