信息论基础及应用(高等院校通信与信息专业规划教材)

★本书强调信息论中物理概念和结论的理解与掌握，简化繁琐的数学推导，注重使用明确、直观的物理概念，增加了大量实例，力求让讲述的内容理论联系实际。 ★每章附有大量的思考题和习题，便于教学和读者自学。

本书是作者从事信息论、纠错编码理论近30年的教学和科研实践的积累，在吸收国内外优秀教材优点的基础上，结合现代信息技术的教学需求，进行优化整合、改进而成的。全书重点介绍信息处理的理论基础以及实现原理与方法，共6章，内容包括：信息论的起源、发展及研究内容；Shannon信息论的3个基本概念：信源熵、信道容量和信息率失真函数，以及与这3个基本概念相对应的3个编码定理：无失真信源编码定理、限失真信源编码定理和有噪信道编码定理；通信系统的有效性和可靠性编码：信源编码（即压缩编码）和信道编码（即纠错编码）。为了便于教学和读者自学，每章附有大量的思考题和习题。 本书可以作为高等院校通信工程、电子信息工程、计算机科学与技术、电子科学与技术、自动化、信息与计算科学等相关专业的本科生教材或教学参考书，也可以作为低年级研究生的教学参考书，还可供科研院所从事信息科学理论、技术和方法研究的科研及工程技术人员参考。

出版说明 前言 第1章概论 1.1通信与信息的一般概念 1.1.1信息、消息和信号 1.1.2Shannon信息 1.1.3通信系统模型 1.2信息论研究的主要内容和意义 1.3Shannon信息论的观点与方法 *1.4信息理论与信息科学的发展历程 *1.5信息的再认识 1.5.1信息的特性 1.5.2信息的其他定义 1.5.3信息的分类 科学家小传——C.E.Shannon 思考题 第2章信源及其信息的统计度量 2.1信源的数学模型和分类 2.1.1概率论符号约定和概率知识基础 2.1.2信源的数学模型 2.1.3信源的分类 2.2随机事件的信息 2.2.1随机事件的自信息和条件自信息 2.2.2随机事件的互信息和条件互信息 2.3离散信源的熵 2.3.1信源熵 2.3.2条件熵 2.3.3联合熵（共熵） 2.3.4熵函数的性质 *2.3.5加权熵的概念及基本性质 2.4离散信源的平均互信息 2.4.1平均互信息 2.4.2平均互信息的性质 2.4.3各类熵之间的关系 2.5离散序列信源的熵 2.5.1离散无记忆序列信源的熵 2.5.2离散有记忆序列信源的熵 *2.5.3马尔可夫信源的熵 2.6连续信源熵和互信息 2.6.1连续信源的表述 2.6.2基本连续信源的熵 2.6.3多维连续信源和波形信源的熵 2.6.4连续信源熵的性质和最大熵定理 2.7冗余度和熵功率 2.7.1离散信源的冗余度和自然语言的熵 2.7.2连续信源的熵功率 思考题 习题 第3章信道及其容量 3.1信道的数学模型和分类 3.1.1信道的分类 3.1.2离散信道的数学模型 3.1.3连续信道的数学模型 3.2信息传输率与信道容量 3.2.1信道疑义度、噪声熵和信息传输率 3.2.2信道容量的定义 3.3离散信道的信道容量 3.3.1特殊离散信道的信道容量 3.3.2离散对称信道的信道容量 3.3.3离散准对称信道的信道容量 3.3.4一般离散信道的信道容量 3.4离散序列信道的数学模型及其信道容量 3.4.1离散序列信道的数学模型 3.4.2离散序列信道的信道容量 *3.5组合信道的信道容量 3.5.1串联信道及其信道容量和数据处理定理 3.5.2并联信道及其信道容量 3.6连续信道及其信道容量 3.6.1单符号高斯加性信道 3.6.2限带高斯白噪声加性波形信道 3.7信源与信道的匹配 思考题 习题 第4章无失真信源编码 4.1信源编码的基本概念 4.1.1信源编码器 4.1.2信源编码的基本码型 4.1.3平均码长和编码效率 4.1.4信源编码的树图表示 4.1.5Kraft不等式 *4.1.6唯一可译变长码的判定法 4.2等长编码和等长信源编码定理 4.2.1等长编码 4.2.2等长信源编码定理 4.3变长信源编码定理 4.4变长编码方法 4.4.1Shannon编码 4.4.2Fano编码 4.4.3Huffman编码 4.4.4游程编码 4.4.5数字传真编码 4.4.6算术编码 4.5字典码 4.5.1LZ-77编码算法 4.5.2LZ-78编码算法 4.5.3LZW编码算法 科学家小传——R. M. Fano 科学家小传——D. A. Huffman 思考题 习题 第5章信息率失真函数和限失真信源编码 5.1失真测度和信息率失真函数 5.1.1系统模型和失真测度 5.1.2信息率失真函数的定义 5.1.3信息率失真函数的性质 5.2离散信源的信息率失真函数的计算 5.2.1利用信源的对称性计算信息率失真函数 *5.2.2离散信源信息率失真函数的参量表达式 5.3连续信源的信息率失真函数 5.3.1连续信源的信息率失真函数与性质 5.3.2高斯信源的信息率失真函数 5.3.3连续信源的信息率失真函数的界 5.4限失真信源编码定理 5.5限失真信源编码简介 5.5.1量化编码 5.5.2预测编码 5.5.3变换编码 科学家小传——A.Lempel 科学家小传——J.Ziv 思考题 习题 第6章信道编码 6.1译码规则和信道编码定理 6.1.1错误概率与译码规则 6.1.2有噪信道编码定理 6.2差错控制的基本形式和信道编码的分类 6.2.1差错控制的基本形式 6.2.2信道编码的分类 6.3信道编码的基本数学知识 6.3.1群、环和域的基本概念 6.3.2有限域上的多项式 6.3.3多项式同余类环 6.3.4有限域的结构 6.3.5线性空间 6.4线性分组码 6.4.1分组码的基本概念 6.4.2常用分组码介绍 6.4.3生成矩阵、一致校验矩阵和对偶码 6.4.4伴随式及标准阵列译码 6.4.5Hamming码 6.4.6由已知码构造新码的方法 6.5循环码 6.5.1循环码的基本概念 6.5.2循环码的生成多项式、生成矩阵和编码原理 6.5.3循环码的一致校验多项式和校验矩阵 6.5.4循环Hamming码和极长码 6.5.5用多项式的根定义循环码 *6.5.6循环码的编码电路 *6.5.7循环码的译码原理和译码电路 *6.5.8BCH码和RS码 6.6卷积码 6.6.1卷积码的基本概念 6.6.2卷积码的描述方法 6.6.3卷积码的Viterbi译码 科学家小传——R.W.Hamming 思考题 习题 参考文献

1948年，当代伟大的数学家和科学家香农（C E Shannon）发表了题为“通信的数学理论”的学术论文，这篇划时代论文的问世宣告了信息论的诞生。从信息的度量开始，信息的概念和研究范畴在不断扩大和深化，并迅速地渗透到其他相关学科领域，如通信与网络技术、信号与信息处理、控制与检测技术、计算机技术、密码学与信息安全、人工智能与认知科学、生命科学、材料学、哲学、心理学、质量管理、市场营销、经济学和美学等。信息论的研究领域从自然科学扩展到经济、管理科学，甚至人文社会科学，并从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。 微电子技术、通信技术、计算机技术和网络技术的迅猛发展，加速了社会信息化的进程，使人类社会进入了今天高度发展的信息化时代，并且在不断地深刻影响和改变着人类社会的生活、学习、休闲和生产的方式。信息论作为信息科学与技术的基本理论，犹如信息科学大厦的基石，在信息社会中占据越来越重要的地位。 信息论是信息科学中最成熟、最完整、最系统的一部分，它以活跃、新颖的思路和高效解决问题的方法而显示出独特的魅力。信息论为数据通信和计算机技术奠定了坚实的理论基础，是20世纪产生的对人类最伟大的贡献之一。它不仅在方法论层面上解决了通信的有效性、可靠性和安全性问题，而且在认识论层面上帮助人们认识事物的本质。系统学习完信息论之后再重新审视一下周围的事物，我们将会有许多新的看法和认识。信息论除了可以解决与信息相关的工程技术问题外，还可以帮助我们宏观地认识某些社会问题，也可以定量地解决某些经济问题，甚至解决学习中遇到的问题。所以，信息论是高层次信息科学与技术人才必不可少的基础知识。许多高校已经把“信息论”作为电子信息类、电气工程类本科专业的专业基础课，其他许多专业也把“信息论”作为选修课。 据统计，目前高校开设信息论方面的课程名称并不统一，有代表性的课程名称有“信息论”“信息论基础”“信息论与编码理论”“信息与编码理论”“信息论与编码技术”等。尽管课程的名称有所不同，其核心内容都是信息的熵理论（这一部分是信息论的核心基础知识和理论基础）和信息论在通信与信息处理方面的应用——编码理论（包括信源压缩编码和信道的纠错编码）。 由于信息论涉及众多学科，需要广泛的数学基础，许多读者虽然认识到信息论和编码理论的重要性，但在繁杂的数学公式面前只好望而却步。因此，本书在编写过程中强调基本原理的理解，选材时充分考虑其实用性，把信息论涉及的数学知识限制在工科高等数学和工程数学的范畴内，并且尽量避免烦琐的数学推导，代之以深入浅出、通俗和准确的语言描述信息论与编码理论的基本原理与基本方法，书中融合了一定的例题与图示，以帮助读者更好地学习、理解和掌握信息论与编码理论的精髓要义。 全书共6章。第1章概论，介绍信息的基本概念和定义、信息论的研究内容、Shannon信息论的思想观点与方法，以及信息理论与信息科学的发展历程。 第2章信源及其信息的统计度量，介绍离散信源和连续信源的数学模型和分类，信息和熵（包括互信息）的概念、性质、定理，信息冗余度（包括熵功率）的概念等。 第3章信道及其容量，介绍离散信道和连续信道的数学模型和分类、信道的信息传输速率和信道容量，以及信源与信道的匹配等。 信息论基础及应用前言第4章无失真信源编码，介绍离散信源编码的基本概念、等长编码和变长编码、无失真信源编码定理（Shannon第一编码定理），以及几种实用的无失真信源编码，如Shannon（香农）编码、Fano（费诺）编码、Huffman（赫夫曼）编码、游程编码、算术编码和LZ编码等。 第5章信息率失真函数和限失真信源编码，介绍失真测度、离散信源和连续信源的信息率失真函数及其性质、限失真信源编码定理（Shannon第三编码定理）、常用的限失真编码的基本方法等。 第6章信道编码，介绍译码规则和有噪信道编码定理（Shannon第二编码定理）、差错控制和信道编码的分类、信道编码的数学基础，以及常用的线性分组码、循环码和卷积码等。 本书对内容进行了分层，标注*号的章节可以作为选学内容，这不但有利于教师根据教学计划进行调整，也便于学生自学。 书中还以科学家小传的形式介绍了几位为信息论和编码理论的发展与应用作出杰出贡献的科学家，他们是香农（C E Shannon）、汉明（R W Hamming）、费诺（R M Fano）、赫夫曼（D A Huffman）、兰佩尔（A Lempel）和齐弗（J Ziv）。 学习本课程需要具备较扎实的高等数学、概率论与随机过程的知识，如果有通信原理的基础则更好一些。但本课程可以与“通信原理”课程同步学习。 在本书的编写过程中，得到了同济大学的领导和老师的大力支持。在此，对为本书的写作提供帮助的同事表示深切谢意。 最后要感谢我的妻子段晓英女士和家人，她（他）们关心我的生活，承担起全部家务，为我创造了安宁的写作环境。 本书编写得到了同济大学教材出版基金的资助。 鉴于编者水平有限，书中难免有错误和不妥之处，敬请专家和读者不吝赐教，在此表示衷心感谢。