信息理论基础实验教程

本书围绕香农信息论 中的基本概念，设计了一 系列仿真实验，使学生通 过开展实验加深对“信息 论基础”课程的理解。全 书共两部分，包含基础理 论实验和综合应用实验， 其中基础理论实验对应13 个仿真实验，包括：信息 论计算器、文字的信息熵 、有限状态马尔科夫信源 仿真、离散信道的信道容 量、离散信道的组合1— —级联信道、离散信道的 组合2——并联信道、离 散信道的组合3——和信 道、唯一可译码的判定、 信源编码1——香农编码 、信源编码2——费诺编 码、信源编码3——霍夫 曼编码、渐进等同分割性 与典型序列、极简信道编 解码；综合应用实验对应 7个实验，包括平均互信 息的应用——决策树、机 器学习中交叉熵的应用、 马尔科夫信源的霍夫曼编 码、霍夫曼编码的改进、 连续信道的信道容量、最 大信息熵的应用——网像 阈值分割和最大熵谱估计 。 本书侧重信息论基本 概念及性质的验证和仿真 分析，可作为高等院校电 子信息类相关专业学生学 习“信息论基础”课程的实 验教材，也可为从事通信 和信号相关的科研和工程 技术人员提供参考。

绪论 0.1 实验内容简介 0.2 实验条件介绍 0.2.1 软硬件环境 0.2.2 MATLAB相关操作简介 第一部分 基础理论实验 第1章 信息论计算器 1.1 基本原理 1.1.1 信息的统计度量的基本定义 1.1.2 计算方法 1.2 实验说明 1.2.1 实验目的 1.2.2 实验内容 1.2.3 基本要求 1.2.4 实验步骤 1.2.5 参考代码 第2章 文字的信息熵 2.1 基本原理 2.1.1 信息熵的基本定义 2.1.2 文字符号的熵 2.2 实验说明 2.2.1 实验目的 2.2.2 实验内容 2.2.3 基本要求 2.2.4 实验步骤 2.2.5 参考代码 第3章 有限状态马尔科夫链仿真 3.1 基本原理 3.1.1 有限状态马尔科夫链 3.1.2 平稳分布和稳态分布 3.1.3 二者的关系 3.1.4 稳态分布的判决条件 3.2 实验说明 3.2.1 实验目的 3.2.2 实验内容 3.2.3 基本要求 3.2.4 实验步骤 3.2.5 参考代码 第4章 离散信道的信道容量 4.1 基本原理 4.1.1 信道容量的定义 4.1.2 离散信道的信道容量计算方法 4.2 实验说明 4.2.1 实验目的 4.2.2 实验内容 4.2.3 基本要求 4.2.4 实验步骤 4.2.5 参考代码 第5章 信道的组合l——级联信道 5.1 基本原理