离散信息论基础

《离散信息论基础》：21世纪全国本科院校电气信息类创新型应用人才培养规划教材

《离散信息论基础》从离散概率人手，对离散信息论的基本知识进行了介绍，主要内容包括：绪论，离散信息的度量，数据压缩，离散信源，数据纠错，离散信道，数据保密，算法信息论与通用信源编码，微分熵与最大熵原理。为拓宽读者视野，培养学习兴趣，提高人文素养，《离散信息论基础》融人了一些历史知识，还补充了信息论实验内容。
《离散信息论基础》可供信息安全、信息与计算科学、计算机科学与技术等本科专业的高年级学生使用，也可供从事相关专业的教学、科研和工程技术人员参考。

第1章绪论
1.1基本概念
1.1.1信息的含义
1.1.2信息的表达
1.1.3信息的处理
1.2信息论概览
1.2.1Shannon与信息论
1.2.2通信系统的数学模型
本章小结
习题

第2章离散信息的度量
2.1基本概念
2.1.1离散熵的定义
2.1.2联合熵与条件熵
2.1.3相对熵与互信息
2.2离散熵的性质
2.2.1离散熵的基本性质
2.2.2链式法则
2.2.3有关离散熵的不等式
2.3离散熵的形式唯一性
本章小结
习题

第3章数据压缩
3.1基本概念
3.1.1语言与编码
3.1.2匡一可译码
3.1.3即时码与前缀码
3.2数据压缩的性质
3.2.1前缀码的码长约束
3.2.2唯一可译码的码长约束
3.2.3最佳码
3.3典型编码
3.3.1Huffman编码
3.3.2Fano编码
3.3.3Shanno一Fano-Elias
编码
本章小结
习题

第4章离散信源
4.1基本概念
4.1.1离散信源模型
4.1.2Markov信源
4.1.3Markov链
4.2信源编码
4.2.1随机变量扩展
4.2.2变长信源编码定理
4.2.3熵率
4.3渐近均分性
4.3.1典型集
4.3.2信源编码定理
本章小结
习题

第5章数据纠错
5.1基本概念
5.1.1离散信道模型
5.1.2典型信道
5.1.3信道扩展
5.2信道纠错
5.2.1译码准则
5.2.2错误概率估计
5.2.3分组码
5.3线性分组码
5.3.1码字距离
5.3.2纠错能力
5.3.3Hamrning码
本章小结
习题

第6章离散信道
6.1基本概念
6.1.1互信息
6.1.2特殊信道的容量
6.1.3一般信道的容量
6.2数据处理
6.2.1码率
6.2.2数据处理不等式
6.2.3信源信道定理
6.3信道编码
6.3.1联合典型集
6.3.2信道编码定理
6.3.3信道编码逆定理
本章小结
习题

第7章数据保密
7.1信息的保密传输
7.1.1密码学简介
7.1.2保密系统模型
7.1.3几种典型的密码体制
7.2密码体制的信息论分析
7.2.1完全保密性
7.2.2唯一解距离
本章小结
习题

第8章算法信息论与通用信源编码
8.1基本概念
8.1.1统计编码
8.1.2自适应编码
8.2描述复杂性
8.2.1Kolmogorov复杂度
8.2.2通用概率
8.3通用信源编码
8.3.1算术编码
8.3.2字典方法
本章小结
习题

第9章微分熵与最大熵原理
9.1基本概念
9.1.1微分熵
9.1.2信息不等式
9.2信息量最大化
9.2.1最大熵问题
9.2.2最大熵分布
本章小结
习题
信息论实验
参考文献