信息与编码理论 第2版

本书重点介绍信息论的基本知识，以及常用信源编码和信道编码技术的原理与实现方法。全书共7章，主要内容包括绪论、信源与信源熵、信道与信道容量、信源编码、线性分组码、BCH码和RS码，以及卷积码。本书面向工程应用的需要，在介绍信息论基本概念和必要数学知识的基础上，重点讲解常见的信源编码和信道编码技术的基本原理、物理意义和实现方法，内容全面，配有视频、MATLAB仿真实例和丰富的习题，便于教学与自学。 本书可作为高等院校通信工程、电子信息工程、计算机科学与技术等专业的本科生或研究生的教材和参考书，也可供相关专业的科研和工程技术人员参考。

张长森，河南理工大学教授、博士生导师，河南省重点学科（信息与通信工程）带头人，国家级一流专业（通信工程）负责人，河南省高层次人才，长期从事矿山通信、工业物联网方面的教学科研工作。

前言 第1章绪论1 1.1信息的基本概念1 1.1.1信息、消息与信号1 1.1.2香农信息的定义2 1.1.3消息所含信息量的度量2 1.2信息论的研究对象、目标和内容3 1.2.1信息论的研究对象3 1.2.2信息论的研究目标4 1.2.3信息论的研究内容5 1.3信息论的形成和发展6 1.4信源编码问题6 1.5信道编码问题8 1.6习题9 第2章信源与信源熵10 2.1信源的分类和描述10 2.2离散单符号无记忆信源11 2.3离散多符号无记忆信源12 2.4离散信源的信源熵12 2.4.1自信息量13 2.4.2联合自信息量和条件自信息量14 2.5平均自信息量15 2.5.1平均自信息量的概念15 2.5.2联合熵与条件熵16 2.5.3熵函数的性质18 2.6离散多符号信源的信源熵21 2.6.1离散多符号无记忆信源的信源熵21 2.6.2离散多符号有记忆信源的信源熵22 2.6.3离散平稳有记忆信源的极限熵22 2.7信源的相关性和剩余度24 2.8信源的MATLAB建模与仿真27 2.9习题28 第3章信道与信道容量30 3.1信道的分类30 3.2离散信道的数学模型31 3.3互信息量与平均互信息量32 3.3.1互信息量及性质32 3.3.2平均互信息量及性质33 3.4信道容量38 3.4.1信道容量的定义38 3.4.2几种特殊信道的信道容量39 3.5离散对称信道的信道容量40 3.6一般离散信道的信道容量42 3.7信道容量定理45 3.8离散多符号信道及信道容量46 3.9组合信道及信道容量48 3.9.1独立并联信道49 3.9.2级联信道49 3.10信道及信道容量的MATLAB分析50 3.11习题52 第4章信源编码56 4.1无失真信源编码定理56 4.2无失真信源编码61 4.2.1香农编码61 4.2.2霍夫曼码64 4.2.3费诺编码68 4.2.4香农-费诺-埃利斯码70 4.2.5游程编码73 4.2.6算术编码76 4.2.7Lempel-Ziv算法80 4.3限失真信源编码定理81 4.3.1信息率失真函数81 4.3.2限失真信源编码定理86 4.4限失真信源编码87 4.4.1模拟信源的数字化88 4.4.2预测编码93 4.4.3变换编码94 4.5信源编码的仿真实例97 4.6习题104 第5章线性分组码106 5.1数字通信中的编码信道106 5.1.1编码信道的概念106 5.1.2有噪信道编码定理107 5.2差错控制系统的基本概念108 5.2.1差错控制的方式108 5.2.2信道编码的分类109 5.2.3分组码的基本概念110 5.2.4分组码的译码准则111 5.2.5简单的分组码111 5.2.6编码增益的概念113 5.3线性分组码114 5.3.1向量空间114 5.3.2线性分组码的结构114 5.3.3生成矩阵116 5.3.4系统线性分组码117 5.3.5监督矩阵118 5.3.6伴随式校验119 5.3.7错误纠正120 5.3.8译码器电路123 5.4线性分组码的检错和纠错能力124 5.5循环码128 5.5.1循环码的定义与基本性质128 5.5.2循环码的生成多项式129 5.5.3循环码的监督多项式131 5.5.4循环码的生成矩阵132 5.5.5截短循环码133 5.5.6系统循环码133 5.5.7循环码的编码器135 5.5.8循环码的译码器137 5.5.9循环码实例142 5.6循环码的仿真实例144 5.7习题147 第6章BCH码和RS码150 6.1有限域150 6.1.1有限域的定义150 6.1.2域的特征和基域151 6.1.3有限域上的多项式151 6.1.4扩展域的结构152 6.1.5本原元素和本原多项式153 6.1.6最小多项式和共轭元素155 6.2BCH码157 6.2.1BCH码的结构157 6.2.2BCH码的生成多项式157 6.2.3BCH码的译码158 6.2.4BCH码的Berlekamp-Massey译码算法160 6.3RS码162 6.3.1RS码的生成多项式162 6.3.2RS码的系统编码163 6.3.3RS码的译码163 6.4BCH码和RS码的仿真实例167 6.5习题174 第7章卷积码176 7.1卷积码概述176 7.2卷积码编码器177 7.2.1连接图表示177 7.2.2多项式表示179 7.2.3矩阵表示180 7.2.4状态图表示185 7.2.5树状图表示187 7.2.6网格图表示190 7.3卷积码译码器191 7.3.1最大似然译码191 7.3.2维特比译码算法192 7.3.3译码器的实现194 7.4卷积码的特性197 7.4.1卷积码的距离特性197 7.4.2系统卷积码200 7.4.3卷积码中的灾难性错误传播200 7.4.4卷积码的性能界限202 7.5卷积码的编译码仿真实例202 7.5.1卷积码的编码实现202 7.5.2卷积码的译码实现204 7.6Turbo码204 7.6.1Turbo码基本概念205 7.6.2Turbo码编码器205 7.6.3Turbo码译码器207 7.7习题209 参考文献212