信息论与编码基础教程(信息与通信工程高等学校电子信息类专业系列教材)

本书是一部系统论述信 息论基础与编码理论基础的 立体化教程（教学课件、习 题、实验指导书）。全书分 为两部分共9章。第一部分 为信息论基础（第1章～第6 章），介绍了单符号离散信 源与信道，包括信源的数学 模型、信息度量、信息熵的 性质、信道模型、平均互信 息、信道容量；多符号离散 信源与信道，包括扩展信源 、马尔可夫信源、信源极限 熵、各类扩展信道及其容量 等；单维连续信源与信道， 包括连续信源的相对熵、相 对熵的数学特性、最大相对 熵定理、熵功率与信息变差 、相对熵的变换、连续信道 与平均交互信息量、平均交 互信息量的不变性、连续信 道的信道容量、高斯加性信 道的信道容量；多维连续信 源与信道，包括随机过程的 离散化、多维连续信源的相 对熵、最大多维相对熵定理 、多维连续信道、香农公式 等。第二部分为编码理论基 础（第7章～第9章），介绍 了无失真信源编码，包括信 源编码器、唯一可译码和即 时码、无失真变长信源编码 定理（香农第一定理）、香 农编码、霍夫曼编码、费诺 编码、游程编码、数字传真 编码、算术编码、字典码等 ；有噪信道编码，包括错误 概率和译码规则、有噪信道 编码定理（香农第二定理） 、线性分组码、循环码、卷 积码、交织码、级联码、 Turbo码等；限失真信源编 码，包括失真测度、信息率 失真函数、信息率失真函数 的定义域、限失真信源编码 定理（香农第三定理）、R （D）函数的计算、数据压 缩、现代静态图像编码技术 等。 本书可作为通信工程、 电子信息工程、信息工程等 专业高年级本科生教材，也 可作为研究生参考用书。

李轩，1967年出生，博士学位，硕士生导师；沈阳航空航天大学，电子信息工程学院，副教授/教学院长，骨干教师，主要讲授本科生、留学生、研究生《信息论与编码》、《通信原理》等课程。研究领域为信息与通信工程。辽宁省精品资源共享课《信息论与编码》主讲教师。2017国家级留学生品牌课《电工学》负责人。参编教材2部。发表论文30余篇。主编教材《信息论基础与工程应用》一部，电子科技大学出版社。

第一部分 信息论基础 第1章 绪论 1.1 信息的概念 1.1.1 什么是信息 1.1.2 如何度量信息 1.2 信息传输系统 1.3 信息论的研究内容 1.3.1 狭义信息论（经典信息论） 1.3.2 一般信息论（工程信息论） 1.3.3 广义信息论 第2章 单符号离散信源 2.1 单符号离散信源的数学模型 2.2 信源符号的自信息量 2.3 信源的信息熵 2.4 信息熵的性质 2.4.1 联合熵与条件熵 2.4.2 相对熵 2.4.3 Jensen不等式及其结果 2.4.4 信息熵的基本性质 本章要点 第3章 单符号离散信道 3.1 信道的数学模型 3.2 信道的交互信息量 3.3 条件互信息量 3.4 平均交互信息量 3.5 平均交互信息量的性质 3.6 信道容量及其一般算法 3.6.1 信道容量的定义 3.6.2 信道容量的一般算法 3.7 几种特殊结构的信道容量计算 3.7.1 无噪无损信道 3.7.2 有噪无损信道 3.7.3 无噪有损信道 3.7.4 对称离散信道的信道容量 3.7.5 准对称信道的信道容量 3.8 信道容量的迭代计算 3.9 平均交互信息量的不增性 本章要点 第4章 多符号离散信源与信道 4.1 离散平稳信源的数学模型 4.1.1 离散平稳信源的数学定义 4.1.2 离散平稳信源的数学模型 4.2 离散平稳无记忆信源的信息熵 4.3 离散平稳有记忆信源的信息熵 4.3.1 二维离散平稳信源的条件熵 4.3.2 （m+1）维离散平稳信源 4.3.3 二维离散平稳信源的平均符号熵 4.4 离散平稳有记忆信源的极限熵 4.5 马尔可夫信源的极限熵 4.5.1 有限状态马尔可夫链