信息论基础（原书第2版·典藏版）

本书是信息论领域中一本简明易懂的教材。主要内容包括：熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍，还对网络信息论和假设检验等进行了介绍，并且以赛马模型为出发点，将对证券市场的研究纳入了信息论的框架，从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

托马斯·M. 科沃（Thomas M. Cover） 美国信息理论家，斯坦福大学电气工程与统计系教授。他的研究兴趣非常广泛，在信息论和数理统计、数据压缩、模式识别等领域做出了显著贡献。1990年，他获得了IEEE信息论学会颁发的通信理论领域最高奖——克劳德·E. 香农奖。1997年，他获得了IEEE颁发的理查德·W. 汉明奖章，以表彰他在信息论、统计学和模式识别方面的基础工作。他曾担任IEEE信息论学会主席，是美国国家工程院院士、美国艺术与科学学院院士，美国科学促进会、数理统计学会和IEEE会士。他于2012 年 3 月逝世，享年 73 岁。<br />乔伊·A. 托马斯（Joy A. Thomas） 谷歌数据科学家，因其在信息论方面的工作而闻名。他在获得斯坦福大学博士学位后，曾先后在IBM T. J. Watson研究中心和谷歌公司工作。他于2020 年 9 月逝世，享年 57 岁。

目　录<br /><br />译者序<br />第2版前言<br />第1版前言<br />第2版致谢<br />第1版致谢<br /><br />第1章　绪论与概览<br />第2章　熵、相对熵与互信息<br />2.1　熵<br />2.2　联合熵与条件熵<br />2.3　相对熵与互信息<br />2.4　熵与互信息的关系<br />2.5　熵、相对熵与互信息的链式法则<br />2.6　Jensen不等式及其结果<br />2.7　对数和不等式及其应用<br />2.8　数据处理不等式<br />2.9　充分统计量<br />2.10　费诺不等式<br />要点<br />习题<br />历史回顾<br />第3章　渐近均分性<br />3.1　渐近均分性定理<br />3.2　AEP的推论：数据压缩<br />3.3　高概率集与典型集<br />要点<br />习题<br />历史回顾<br />第4章　随机过程的熵率<br />4.1　马尔可夫链<br />4.2　熵率<br />4.3　例子：加权图上随机游动的熵率<br />4.4　热力学第二定律<br />4.5　马尔可夫链的函数<br />要点<br />习题<br />历史回顾<br />第5章　数据压缩<br />5.1　有关编码的几个例子<br />5.2　Kraft不等式<br />5.3　最优码<br />5.4　最优码长的界<br />5.5　唯一可译码的Kraft不等式<br />5.6　赫夫曼码<br />5.7　有关赫夫曼码的评论<br />5.8　赫夫曼码的最优性<br />5.9　Shannon-Fano-Elias编码<br />5.10　香农码的竞争最优性<br />5.11　由均匀硬币投掷生成离散分布<br />要点<br />习题<br />历史回顾<br />第6章　博弈与数据压缩<br />6.1　赛马<br />6.2　博弈与边信息<br />6.3　相依的赛马及其熵率<br />6.4　英文的熵<br />6.5　数据压缩与博弈<br />6.6　英文的熵的博弈估计<br />要点<br />习题<br />历史回顾<br />第7章　信道容量<br />7.1　信道容量的几个例子<br />7.1.1　无噪声二元信道<br />7.1.2　无重叠输出的有噪声信道<br />7.1.3　有噪声的打字机信道<br />7.1.4　二元对称信道<br />7.1.5　二元擦除信道<br />7.2　对称信道<br />7.3　信道容量的性质<br />7.4　信道编码定理预览<br />7.5　定义<br />7.6　联合典型序列<br />7.7　信道编码定理<br />7.8　零误差码<br />7.9　费诺不等式与编码定理的逆定理<br />7.10　信道编码定理的逆定理中的等式<br />7.11　汉明码<br />7.12　反馈容量<br />7.13　信源信道分离定理<br />要点<br />习题<br />历史回顾<br />第8章　微分熵<br />8.1　定义<br />8.2　连续随机变量的AEP<br />8.3　微分熵与离散熵的关系<br />8.4　联合微分熵与条件微分熵<br />8.5　相对熵与互信息<br />8.6　微分熵、相对熵以及互信息的性质<br />要点<br />习题<br />历史回顾<br />第9章　高斯信道<br />9.1　高斯信道：定义<br />9.2　高斯信道编码定理的逆定理<br />9.3　带宽有限信道<br />9.4　并联高斯信道<br />9.5　高斯彩色噪声信道<br />9.6　带反馈的高斯信道<br />要点<br />习题<br />历史回顾<br />第10章　率失真理论<br />10.1　量化<br />10.2　定义<br />10.3　率失真函数的计算<br />10.3.1　二元信源<br />10.3.2　高斯信源<br />10.3.3　独立高斯随机变量的同步描述<br />10.4　率失真定理的逆定理<br />10.5　率失真函数的可达性<br />10.6　强典型序列与率失真<br />10.7　率失真函数的特征<br />10.8　信道容量与率失真函数的计算<br />要点<br />习题<br />历史回顾<br />第11章　信息论与统计学<br />11.1　型方法<br />11.2　大数定律<br />11.3　通用信源编码<br />11.4　大偏差理论<br />11.5　Sanov定理的几个例子<br />11.6　条件极限定理<br />11.7　假设检验<br />11.8　Chernoff-Stein引理<br />11.9　Chernoff信息<br />11.10　费希尔信息与Cramér-Rao不等式<br />要点<br />习题<br />历史回顾<br />第12章　最大熵<br />12.1　最大熵分布<br />12.2　几个例子<br />12.3　奇异最大熵问题<br />12.4　谱估计<br />12.5　高斯过程的熵率<br />12.6　Burg最大熵定理<br />要点<br />习题<br />历史回顾<br />第13章　通用信源编码<br />13.1　通用码与信道容量<br />13.2　二元序列的通用编码<br />13.3　算术编码<br />13.4　Lempel-Ziv编码<br />13.4.1　带滑动窗口的Lempel-Ziv算法<br />13.4.2　树结构Lempel-Ziv算法<br />13.5　Lempel-Ziv算法的最优性<br />13.5.1　带滑动窗口的Lempel-Ziv算法<br />13.5.2　树结构Lempel-Ziv压缩的最优性<br />要点<br />习题<br />历史回顾<br />第14章　科尔莫戈罗夫复杂度<br />14.1　计算模型<br />14.2　科尔莫戈罗夫复杂度：定义与几个例子<br />14.3　科尔莫戈罗夫复杂度与熵<br />14.4　整数的科尔莫戈罗夫复杂度<br />14.5　算法随机序列与不可压缩序列<br />14.6　普适概率<br />14.7　科尔莫戈罗夫复杂度<br />14.8　Ω<br />14.9　万能博弈<br />14.10　奥卡姆剃刀<br />14.11　科尔莫戈罗夫复杂度与普适概率<br />14.12　科尔莫戈罗夫充分统计量<br />14.13　最短描述长度准则<br />要点<br />习题<br />历史回顾<br />第15章　网络信息论<br />15.1　高斯多用户信道<br />15.1.1　单用户高斯信道<br />15.1.2　m个用户的高斯多接入信道<br />15.1.3　高斯广播信道<br />15.1.4　高斯中继信道<br />15.1.5　高斯干扰信道<br />15.1.6　高斯双程信道<br />15.2　联合典型序列<br />15.3　多接入信道<br />15.3.1　多接入信道容量区域的可达性<br />15.3.2　对多接入信道容量区域的评述<br />15.3.3　多接入信道容量区域的凸性<br />15.3.4　多接入信道的逆定理<br />15.3.5　m个用户的多接入信道<br />15.3.6　高斯多接入信道<br />15.4　相关信源的编码<br />15.4.1　Slepian-Wolf 定理的可达性<br />15.4.2　Slepian-Wolf定理的逆定理<br />15.4.3　多信源的Slepian-Wolf定理<br />15.4.4　Slepian-Wolf编码定理的解释<br />15.5　Slepian-Wolf编码与多接入信道之间的对偶性<br />15.6　广播信道<br />15.6.1　广播信道的定义<br />15.6.2　退化广播信道<br />15.6.3　退化广播信道的容量区域<br />15.7　中继信道<br />15.8　具有边信息的信源编码<br />15.9　具有边信息的率失真<br />15.10　一般多终端网络<br />要点<br />习题<br />历史回顾<br />第16章　信息论与投资组合理论<br />16.1　股票市场：一些定义<br />16.2　对数最优投资组合的库恩-塔克特征<br />16.3　对数最优投资组合的渐近最优性<br />16.4　边信息与增长率<br />16.5　平稳市场中的投资<br />16.6　对数最优投资组合的竞争最优性<br />16.7　万能投资组合<br />16.7.1　有限期万能投资组合<br />16.7.2　无限期万能投资组合<br />16.8　Shannon-McMillan-Breiman定理（广义渐近均分性质）<br />要点<br />习题<br />历史回顾<br />第17章　信息论中的不等式<br />17.1　信息论中的基本不等式<br />17.2　微分熵<br />17.3　熵与相对熵的界<br />17.4　关于型的不等式<br />17.5　熵的组合界<br />17.6　子集的熵率<br />17.7　熵与费希尔信息<br />17.8　熵幂不等式与布伦-闵可夫斯基不等式<br />17.9　有关行列式的不等式<br />17.10　关于行列式的比值的不等式<br />要点<br />习题<br />历史回顾<br /><br />参考文献<br />索引<br />