信息与编码理论

本书系统讲述了信息论及编码的基础理论和方法，主要包括离散信源及熵、离散信道及信道容量、离散信源编码与香农靠前定理、离散信道与香农第二定理、连续信源与连续信道、率失真函数、香农第三定理等。采用较多的通信和信息系统相关的背景例题和图示阐述基本概念，注重编码理论、编码方法的实现过程的教学内容编写，给出重要算法的实现流程图，并附有编程算法的实现程序，便于读者对课程的理解和应用。

杨晓萍，博士，吉林大学通信工程学院教授，吉林省通信学会会员。承担的主要科研、教学项目有：“控制系统的分析和综合”，国家杰出青年科学基金，2008.1-2011.12，靠前主要参加人； “高速公路车辆智能驾驶中的关键科学问题研究”，国家自然科学基金重大计划重点项目，2009.1-2012.12，子项目负责人；“电机、电器及可编程序控制器理论与实践教程”，吉林大学（九五规划教材立项），负责人； “《信息论》课程建设”，吉林大学研究生核心课程建设项目，2010.6-2012.5，负责人。同时还承担本科和研究生的教学任务。已出版教材３部，发表论文数篇。

第1章绪论1
1.1信息的概念1
1.2信息论的研究对象、目的和内容3
1.2.1研究对象3
1.2.2研究目的5
1.2.3研究内容5
第2章信息的测度7
2.1自信息7
2.2平均自信息9
2.2.1平均自信息的概念9
2.2.2熵的物理意义10
2.3熵函数的性质11
2.3.1对称性12
2.3.2确定性12
2.3.3非负性13
2.3.4扩展性13
2.3.5连续性13
2.3.6可加性13
2.3.7强可加性14
2.3.8极值性15
2.3.9上凸性16
2.4互信息和平均互信息16
2.4.1互信息16
2.4.2平均互信息17
2.4.3平均互信息的性质19
2.4.4平均条件互信息21
思考题21
习题22
第3章离散信源熵24
3.1信源分类及数学模型24
3.1.1离散信源24
3.1.2连续信源25
3.1.3信源分类25
3.2离散信源熵的计算26
3.3离散无记忆扩展信源27
3.4离散平稳信源30
3.4.1离散平稳信源的数学定义30
3.4.2二维离散平稳信源及其信息熵31
3.4.3离散平稳信源的极限熵34
3.5马尔可夫信源35
3.5.1马尔可夫信源的定义36
3.5.2马尔可夫信源的熵38
3.6信源的相关性和剩余度39
3.6.1实际离散信源的不同模型近似过程40
3.6.2信源剩余度40
思考题42
习题42
第4章离散信道及信道容量44
4.1信道模型及其分类44
4.1.1信道模型44
4.1.2信道分类45
4.2离散单符号信道及其信道容量46
4.2.1离散单符号信道的数学模型46
4.2.2离散信道各种概率间的关系式47
4.2.3信道中平均互信息的物理意义47
4.2.4信道中条件熵的物理意义48
4.2.5信道容量的概念49
4.2.6几种特殊信道的信道容量50
4.2.7离散对称信道的信道容量52
4.2.8利用信道容量定理求解信道容量55
4.3离散多符号信道及其信道容量57
4.3.1离散多符号信道的数学模型57
4.3.2离散多符号信道的信道容量58
4.4组合信道及其信道容量60
4.4.1独立并联信道60
4.4.2级联信道61
4.5信源与信道的匹配和信道剩余度62
思考题63
习题63
第5章无失真信源编码66
5.1信源编码的一般概念66
5.1.1编码器的构成66
5.1.2常用信源编码的概念67
5.1.3即时码的树图构造法71
5.2定长码和定长信源编码定理73
5.2.1定长码73
5.2.2定长编码定理74
5.2.3编码效率75
5.3变长码和变长信源编码定理77
5.3.1克拉夫特（Kraft）不等式77
5.3.2专享可译变长码的判别方法78
5.3.3平均码长81
5.3.4信源变长编码定理82
5.3.5无失真变长信源编码定理83
5.3.6编码效率84
5.4典型的变长编码方法86
5.4.1香农码86
5.4.2霍夫曼码87
5.4.3费诺码93
5.4.4香农-费诺-埃利斯码95
思考题97
习题98
第6章有噪信道编码101
6.1信道编码的一般概念101
6.1.1编码信道101
6.1.2信道编码的概念102
6.1.3差错控制的基本方式102
6.2信道译码的选取规则104
6.2.1影响平均错误概率的因素105
6.2.2译码规则的选取准则105
6.2.3费诺不等式108
6.3信道编码的选取规则110
6.3.1简单重复编码110
6.3.2信道编码的选取112
6.3.3（5，2）线性码113
6.3.4码的最小距离115
6.3.5最小距离译码准则116
6.4有噪信道编码定理117
6.5纠错码原理118
6.5.1检错与纠错原理119
6.5.2检错与纠错能力119
6.6线性分组码121
6.6.1线性分组码的基本概念121
6.6.2线性分组码的编码123
6.6.3线性分组码的性质127
6.6.4线性分组码的译码129
6.6.5汉明码137
思考题142
习题142
第7章连续信源熵和连续信道容量146
7.1连续信源的差熵146
7.1.1一维连续信源的差熵146
7.1.2N维连续信源的差熵149
7.1.3典型连续信源的差熵150
7.2连续信源优选差熵定理151
7.2.1峰值受限条件下连续信源的优选熵152
7.2.2平均功率受限条件下连续信源的优选熵152
7.3连续信源熵的性质153
7.3.1可负性153
7.3.2可加性153
7.3.3极值性154
7.3.4上凸性154
7.3.5变换性154
7.4连续信道的平均互信息及性质157
7.4.1连续信道分类及数学模型157
7.4.2连续信道的平均互信息160
7.4.3连续信道平均互信息的性质161
7.5连续信道的信道容量164
7.5.1单符号高斯噪声加性信道164
7.5.2多维无记忆高斯噪声加性信道165
7.5.3加性高斯白噪声波形信道169
思考题171
习题172
第8章限失真信源编码174
8.1信源失真测度174
8.1.1单符号信源失真度174
8.1.2信源符号序列失真度176
8.1.3平均失真度177
8.1.4信源符号序列的平均失真度178
8.2信息率失真函数178
8.2.1保真度准则178
8.2.2信息率失真函数定义179
8.2.3信息率失真函数性质180
8.3典型率失真函数的计算185
8.3.1离散对称信源的R(D)函数185
8.3.2连续信源的R(D)函数188
8.4限失真信源编码定理193
思考题194
习题194
附录AJensen不等式196
附录B熵函数的函数表198
附录C实验内容和程序200
C.1专享可译码判决准则200
C.2Huffman编码205
C.3（7，4）线性分组码210
参考文献214