信息论基础

本书系统而又全面地介绍了信息论的基础理论、方法以及近年来发展的新成果。内容包括信源、信息的度量，互信息，信源编码和Huffman很优编码，离散信道编码定理，线性码，率失真理论，优选熵原理和很小鉴别信息原理，Lempel-Ziv编码方法，以及密码学的基础知识等。

前言
第1章概论
1.1信息理论的基本内容
1.2信息理论的发展简史
1.3控制论、信息论与系统论
1.4信息理论的应用
第2章信息与熵
2.1信源熵
2.2联合熵与条件熵
2.3熵函数的专享性
2.4熵函数的性质
2.5连续型随机变量的熵
2.6意义信息和加权熵
2.7Renyi熵与Tsallis熵
习题
第3章互信息
3.1平均互信息
3.1.1事件的互信息
3.1.2多随机变量下条件互信息与联合事件的互信息
3.1.3平均互信息
3.2互信息与其他熵之间的关系
3.2.1互信息的等价定义
3.2.2熵之间的关系
3.3多个随机变量的互信息
3.3.1两组随机变量之间的互信息
3.3.2条件互信息
3.3.3随机向量中各随机变量之间的互信息
3.4互信息函数的性质
3.5连续型随机变量的互信息
习题
第4章离散信源的无错编码
4.1信源与信源编码简介
4.1.1信源
4.1.2信源的分类
4.1.3信源编码
4.2无记忆信源的渐近等同分割性与定长编码定理
4.2.1渐近等同分割性（AEP）
4.2.2定长编码定理
4.3离散无记忆信源的变长编码
4.3.1前缀码与Kraft不等式
4.3.2Huffman编码与很优编码定理
4.3.3常用变长编码
4.4离散平稳信源及其编码定理
4.4.1平稳信源的熵率及冗余度
4.4.2平稳信源的编码定理
4.5马尔可夫信源及其编码
4.5.1马尔可夫信源
4.5.2马尔可夫信源的编码
习题
第5章离散无记忆信道的编码理论
5.1信道容量
5.1.1信道容量的定义和例子
5.1.2离散无记忆信道容量的有关性质
5.1.3某些简单情况下信道容量的计算
5.1.4转移概率可逆时信道容量的计算
5.1.5离散无记忆信道容量的迭代计算
5.1.6达到信道容量时输入输出字母概率分布的专享性
5.2信道编码
5.2.1信道编码概述
5.2.2联合典型序列
5.3信道编码定理
5.3.1信道编码定理的证明
5.3.2Fano不等式和逆编码定理
5.3.3信源—信道联合编码
5.4高斯信道
5.4.1高斯信道容量
5.4.2高斯信道编码定理
5.4.3高斯信道编码定理的逆定理
5.5级联信道和并联信息的信道容量
5.5.1级联信道
5.5.2并联信道
5.6信道编码实例
5.6.1重复码
5.6.2Hamming码
习题
第6章线性码
6.1线性分组码的定义及表示
6.2系统编码和校验矩阵
6.3系统编码及其很优译码的实现
6.4线性码的差错概率及纠错能力
第7章信源的率失真函数与熵压缩编码
7.1熵压缩编码和信源的率失真函数
7.2率失真函数的基本性质
7.3对离散信源求解率失真函数的迭代算法
习题
第8章优选熵原理与最小鉴别信息原理
8.1优选熵原理
8.1.1优选熵原理的提出
8.1.2优选熵原理的合理性
8.1.3优选熵谱估计
8.2鉴别信息
8.2.1鉴别信息的定义
8.2.2鉴别信息的性质
8.3最小鉴别信息原理
8.3.1最小鉴别信息原理
8.3.2独立分量分析
习题
第9章组合信息与算法信息
9.1自适应统计编码
9.2组合信息
9.2.1基于组合的信息度量
9.2.2Fitingof通用编码
9.3算法信息
9.3.1Kolmogorov算法熵
9.3.2算法熵的不可计算性
9.3.3Lewpel-Ziv通用编码
9.3.4Kieffer-Yang通用编码
9.4近似熵与样本熵
习题
第10章密码学引论
10.1古典密码学
10.1.1古典密码举例
10.1.2古典密码分析
10.2基于信息论的密码学
10.2.1接近保密
10.2.2专享解距离
10.2.3实用安全性
10.3数据加密标准（DES）
10.3.1DES的描述
10.3.2DES的讨论
10.4其他
10.4.1公开钥密码系统
10.4.2认证系统
10.4.3数字签名
10.4.4密钥的管理
4.5电子货币
部分习题解答或提示
参考文献