信息论基础与应用(第2版)

"信息论是信息科学比较成熟、完善的一部分，它与其他学科交叉融合，促进了许多新兴学科的发展。本书从信息论的基本理论出发，全面论述了香农信息论的基本理论与方法，并进一步介绍了信息论在网络信息理论和量子信息理论中的应用。本书特点如下：  遵循电子信息类专业的教学要求，力求全面涵盖信息论课程教学知识点要求，并反映信息论的近期新发展；  简化数学公式推导过程，重点突出通信与信息的基本概念，强调信息论在通信中的具体应用；  配套提供丰富的实验案例，并编写相应的MATLAB仿真程序，方便开展实践教学环节。 配套完善的教学资源（教学课件+教学要点+程序代码+考试题库+思维导图）。 "

信息论是信息科学中比较成熟和完善的一部分。它与其他学科的交叉和融合，促进了许多新兴学科的发展。本书从信息论的基本理论出发，介绍香农信息论的基本理论、方法及其在网络信息理论和量子信息理论中的应用。全书共7章，在介绍有关信息度量的基础上，重点讨论信源与信息熵、信道与信道容量、信源编码理论、信道编码理论、网络信息理论和量子信息理论。本书讲解由浅人深、深人浅出，具有系统性、交叉性和前沿性等特点；书中结合实际通信系统，使用例题和图示阐述重要的基本概念，通过MATLAB实例展现信息论的实用性；各章均附有习题，便于读者加深对概念和原理的理解。本书可作为理工类高等院校信息工程、通信工程及相关专业的本科教材，也可供对信息科学感兴趣的各类人员参考。

赵生妹： 教授、博士、博士生导师，现为江苏省普通高校“青蓝工程”学术带头人，南京邮电大学信号与信息处理专业学术带头人，南京邮电大学“1311人才计划”创新团队负责人，南京邮电大学“教学名师”，中国通信学会高级会员。研究方向为无线网络中的信号处理、量子信息处理。长期从事“信息论基础”与“量子信息处理”方向的科研工作，并讲授“信息论基础”“Elements of information theory”“量子信息处理技术”等课程。在国内外重要学术期刊和国际会议上发表学术论文150多篇，SCI期刊论文（包括Nature Photonics、Nature Communications等）他引达近1500次。主讲“信息论与编码”课程被评为“江苏省普通高等学校精品课程”，主讲的“信息论基础”被评为“江苏省优秀研究生课程”，负责完成的“信息论基础”课程多媒体课件（配套教学网站）荣获江苏省高等学校优秀多媒体教学课件一等奖。编著出版量子信息处理技术》与《信息论基础与应用》。

第1章绪论
1.1什么是信息
1.2什么是信息论
1.2.1信息论的早期酝酿
1.2.2信息论的建立与发展
1.2.3信息论的近期发展
1.3通信系统的基本模型
1.4信息论的应用及成果
1.5信息论研究范畴
习题1
第2章信源与信息熵
2.1预备知识
2.1.1概率
2.1.2古典概型
2.1.3概率性质
2.2信源的描述和分类
2.2.1离散单符号信源
2.2.2离散无记忆序列信源
2.2.3离散有记忆序列信源
2.2.4连续信源
2.3离散单符号信源的熵与互信息
2.3.1自信息量
2.3.2离散单符号信源的熵
2.3.3信息熵的基本性质
2.3.4互信息量
2.3.5平均互信息量
2.3.6平均互信息量的性质
2.4离散序列信源的熵与互信息
2.4.1离散平稳序列信源的熵和熵率
2.4.2马尔可夫信源及其极限熵
2.5信源的相关性和冗余度
2.6连续信源的熵与互信息
2.6.1连续信源的相对熵
2.6.2连续信源优选熵定理
2.6.3连续信源的互信息
2.7熵计算及熵应用
2.7.1熵计算
2.7.2熵信息应用
习题2
第3章信道与信道容量
3.1信道分类和参数表示
3.2离散单符号信道及其容量
3.2.1信道容量定义
3.2.2离散单符号无噪信道及其容量
3.2.3离散单符号有噪信道及其容量
3.3离散序列信道及其容量
3.3.1并联信道
3.3.2和信道
3.3.3扩展信道
3.4连续信道及其容量
3.4.1时间离散信道及其容量
3.4.2时间连续信道及其容量
3.5信道容量计算及MATLAB程序实现
3.5.1信道容量的MATLAB计算
3.5.2MIMO信道容量
习题3
第4章信源编码理论
4.1信源编码的基本概念
4.1.1编码的定义
4.1.2码的分类
4.1.3码树
4.2无失真信源编码定理
4.2.1典型序列和ε典型序列
4.2.2无失真定长编码定理
4.2.3无失真变长编码定理
4.3限失真信源编码定理
4.3.1失真测度
4.3.2信息率失真函数R（D）
4.3.3离散信源和连续信源的R（D）计算
4.3.4编码定理
4.4信源编码方法
4.4.1无失真信源编码方法
4.4.2限失真信源编码方法
4.5信源编码MATLAB计算实现
4.5.1率失真函数的MATLAB计算实现
4.5.2几种编码方法的MATLAB实现
习题4
第5章信道编码理论
5.1很好译码准则
5.2信道编码的基本概念
5.2.1错误图样
5.2.2矢量空间和码矢量
5.2.3码距与纠检错能力
5.3离散信道编码定理
5.3.1有噪信道编码定理
5.3.2有噪信道编码逆定理
5.4信道编码方法
5.4.1线性分组码
5.4.2循环码
5.4.3卷积码
5.5信道编码MATLAB计算实现
5.5.1RS码
5.5.2Turbo码
5.5.3LDPC码
5.5.4Polar码
习题5
第6章网络信息理论
6.1相关信源及可达速率区域
6.2多址接入信道及其容量区域
6.2.1离散二址接入信道及其容量区域
6.2.2高斯加性二址接入信道及其容量区域
6.2.3离散多址接入信道及其容量区域
6.3广播信道及其容量区域
6.3.1退化离散广播信道的容量界限
6.3.2退化连续高斯广播信道的容量界限
习题6
第7章量子信息理论
7.1量子信息基本概念
7.1.1量子比特
7.1.2量子信息熵
7.2量子信源编码理论
7.3量子信道编码理论
7.3.1量子信道
7.3.2量子信道容量
7.3.3Holevo信息
7.3.4量子信道编码理论
习题7
附录习题参考答案
参考文献

     第3章 CHAPTER 3 信道与信道容量 信道是指信息传递的通道，通常将信源的输出至信宿的接收部分称为信道(channel)。信道的基本任务是以信号方式传输和存储信息。研究信道的主要目的是研究信道中能够传送或存储的优选信息量，即信道容量(capacity)。 本章采用与第2章相似的方式描述信道。首先对信道进行分类，并给出其对应的数学描述 ； 然后从最简单的离散单符号信道出发，讨论离散信道的统计特性和数学模型，定量地给出信道传输速率的优选值， 并推导出信道容量及其计算方法； 最后在前面的基础上， 介绍离散序列信道及其容量计算方法、连续信道及其容量计算方法， 并介绍有名的香农信道容量公式，进一步探讨多输入多输出(MIMO)系统的信道容量区域。 3.1信道分类和参数表示 信道是载荷信息的信号所通过的通道或媒介。例如，在二人对话系统中，二人之间的空气就是信道； 再如常见的电话线就是信道； 当我们看电视、听收音机时，发送与接收无线信号之间的自由空间也是信道。在信息系统中，信道的主要作用是传输与存储信息，而在通信系统中则主要是传输信息，这里我们讨论后者。在通信系统中，研究信道的主要目的是为了描述、度量并分析不同类型信道，计算其容量，即理论上的极限传输能力。 实际通信系统中，信道的种类有很多种描述，可以用不同的方式进行表达。例如，可按传输媒介的类型进行划分，根据传输媒介的类型可将信道划分为有线信道和无线信道。在有线信道中，传输媒介可以是固体介质，也可以是混合介质。对于固体介质，它包含架空线和电缆等； 对于混合介质，它包含波导和光缆等。这样的信道划分可用图31表示。 图31基于传输媒介类型的信道划分 除此之外，信道也可按照信道的信号与干扰的类型进行分类，具体描述如图32所示。 图32基于信号与干扰类型的信道划分 在图32中，离散信道是指输入空间X和输出空间Y均为离散事件集； 连续信道是指输入空间X和输出空间Y都是连续事件集； 半离散或半连续信道是指输入和输出空间中，一个是离散集，另一个是连续集的情形。 根据信道的物理性质，如统计特性，也可将信道划分为恒参信道和变参信道。其中，恒参信道是指信道的统计特性不随时间变化(如有线信道、微波接力信道和卫星中继信道等)； 变参信道是指信道的统计特性随时间变化而变化(如短波通信)。最后，按用户类型可分为两端信道(单用户信道)和多端信道(多用户信道)。其中，两端信道是指信道的输入和输出都只有一个事件集，它是只有一个输入端和一个输出端的单向通信的信道； 多端信道是指信道的输入和输出至少有两个或两个以上的事件集，即3个或更多个用户之间相互通信的情况。 实际上，就通信系统而言，可以根据不同的研究对象、不同的要求，对信道进行不同形式的划分，具体信道划分如图33所示。 图33通信系统中不同形式的信道划分 在图33中，CAB为狭义的传输型信道，在研究调制解调理论或模拟通信时常引用，是一连续信道； CCD为广义的传输型信道，在研究数字通信以及编码解码时常引用，是一离散信道； CCB是一类半离散半连续信道，例如可以看作数字解调前的信道； CAD是一类半连续半离散信道。上述分类中，最常用的是前两类信道，一般又称为连续的调制信道和离散的编码信道。 在第2章中我们已经知道，信源的输出在数学上可表示为一随机过程，信道的作用是将信源输出变为信宿的输入(信宿的输入在数学上也可表示为一随机过程)，因此，信道可认为是从一随机过程向另一随机过程的转移。由于信道存在噪声，信道的输入和输出之间一般不是确定的函数关系，而是统计关系。统计上而言，只要知道信道的输入、输出，以及它们之间的统计依赖关系，那么就能确定信道特性。一般而言，信道的输入和输出信号是广义时间连续随机信号，可用随机过程来描述。无论何种随机过程，只要有某种(如限频和限时)，就可展开成时间(或空间)上离散的随机序列。由于实际信道的带宽总是有的，所以输入信号和输出信号总可以展开成随机序列来研究。而随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。因此，类似于对信源的统计描述，信道的描述包括3个基本要素，分别如下： (1) 信道输入统计概率空间［X, p(x)］T； (2) 信道输出统计概率空间［Y, p(y)］T； (3) 信道本身的统计特性，即信道传递函数p(y|x)。 以上三要素构成了对信道整体的描述 {［X, p(x)］T, p(y|x), ［Y, p(y)］T}(3.1.1) 简记为{X, p(y|x), Y}。 图34离散单符号信道模型描述 【例31】求离散单符号信道描述。 解： 离散单符号信道如图34所示，可以描述为 X p(x)=x1x2…xl…xn p1p2…pl…pn Y p(y)=y1y2…yl…ym p1p2…pl…pm C= maxp(xi)［H(X)-H(X|Y)］= m