物理学中的数学方法(从热力学熵到香农熵)

本书打开数学和物理学一些特定领域的知识窗口，涉及热力学第二定律，相对论，概率论，信息论的基本内容，反映数学与物理学发展进程中的密切关系，又表现它们不同的特色。重视对入门基本概念进行比教科书更细致或深入的剖析，如概率，概率空间，条件概率，热力学熵，香农熵等等；也在有限的篇幅内以精炼的语言，揭示学科中重要基础概念形成的逻辑链条，增进对学科概貌的认识。本书参考了较多相关的专业著作或新近的大学教材，以及科普名著，作者优选的期望是在专业性与科普性之间保持某种平衡，使不同水平的读者都能有所收益，对现代科学一些重要但"艰涩”的概念和成果有进一步的认识。

"吴新瞻，退休高工，编审，从事概率与统计应用模型及模式识别信息论方法研究的专家。1963年毕业于北京大学，1967年中科院计算所研究生毕业。1980 年底公派参加联合国教科文组织主办、罗马尼亚布加勒斯特大学承办的""信息科学与应用数学”研究进修一年，以各科及论文成绩全优名列前茅。曾在全国计算机展览会上首批展示汉字手写实时识别系统开发成果。主持完成国家自然科学基金支持项目印章自动图像处理与鉴别实验系统。曾在中科院研究生院开设《随机模型与计算机模拟》课程。曾担任《中国大百科全书》（电子学与计算机卷）第一版特约编辑与撰稿。 曾任中国人工智能学会第三届理事会理事、第四届理事会常务理事。在《应用数学学报》、《科学通报》及其英文版、《中文信息学报》等刊物上发表多篇论文。出版专著《随机模型与计算机模拟》（与吴新垣合著）等著作（该书在多年后仍被理工类期刊作者列入参考书目）。翻译出版通信与计算机软件方面的书籍数种。 吴新瞻始终坚持不懈地读书和钻研，年逾古稀而不辍。系国家图书馆（白石桥）多年的忠实读者，馆内外语新书阅览室的常客，甚至还是南馆重新开放日的第一位入馆读者呢。遇到关注的学科内容习惯于把有关的新书都浏览摘录。"

第 1 章 热力学熵与信息熵殊途同归Ⅰ：综述 ................................................. 001 1.1 熵概念的来龙去脉 ................................................................................... 001 1.2 热力学熵与热力学第二定律 ................................................................... 003 1.2.1 卡诺热机与克劳修斯热力学熵 .................................................... 003 1.2.2 热力学第二定律 ............................................................................ 006 1.3 从不同角度扩展对熵的认识和研究 ....................................................... 009 1.3.1 宇宙的演化 .................................................................................... 010 1.3.2 黑洞与熵 ........................................................................................ 013 1.3.3 生命与熵 ........................................................................................ 013 1.3.4 液晶的形成过程与熵 .................................................................... 014 第 2 章 热力学熵与信息熵殊途同归Ⅱ：信息熵概念初探 ............................ 016 2.1 问题 1 ........................................................................................................ 016 2.2 问题 2 ........................................................................................................ 018 2.3 问题 3 ........................................................................................................ 019 第 3 章 热力学熵与热力学第二定律的数学论述 ............................................. 023 3.1 卡诺热机与克劳修斯热力学熵 ............................................................... 023 3.1.1 热力学基本知识 ............................................................................ 023 3.1.2 热力学系统的状态参量――熵 .................................................... 027 3.1.3 一些特殊热力学过程的具体分析 ................................................ 029 3.1.4 卡诺热机理想模型揭开热机效率之谜 ........................................ 032 3.2 热力学第二定律 ....................................................................................... 040 3.3 从经典统计热力学认识熵 ....................................................................... 045 3.3.1 跨进统计热力学之门 .................................................................... 045 3.3.2 玻尔兹曼最概然（优选概率）分布与熵 .................................... 047 3.3.3 理想气体的自由膨胀及其熵变例子 ............................................ 051 3.4 从量子统计热力学进一步认识熵 ........................................................... 054 3.4.1 一些必要知识的概述 .................................................................... 054 3.4.2 熵在体系间热相互作用中的意义 ................................................ 056 3.4.3 熵在体系间一般热力学相互作用中的意义 ................................ 061 第 4 章 重温物理学科普典范《物理学的进化》 ............................................. 069 4.1 狭义相对论的由来 ................................................................................... 070 4.2 广义相对论的由来 ................................................................................... 071 4.3 科学永不止步 ........................................................................................... 073 4.4 数学的意义 ............................................................................................... 075 4.5 自然哲学的启示 ....................................................................................... 077 第 5 章 读爱因斯坦第一篇相对论论文的笔记 ................................................. 079 5.1 前言 ........................................................................................................... 079 5.2 领略爱因斯坦精微的论证 ....................................................................... 080 5.2.1 两个依据（出发点） .................................................................... 080 5.2.2 关于时间的辨析 ............................................................................ 081 5.2.3 长度和时间的相对性 .................................................................... 083 5.2.4 从静系到另一相对匀速移动的坐标系的坐标与时间的 变换理论 ........................................................................................ 084 5.3 耶鲁大学《基础物理》讲授狭义相对论 ............................................... 089 5.4 狭义相对论对人们日常认识的冲击 ....................................................... 091 5.4.1 运动方向上的杆会收缩 ................................................................ 092 5.4.2 运动的时钟会走得慢，如果达到光速，钟会停下来 ................ 093 5.4.3 双生子佯谬 .................................................................................... 094 第 6 章 从自然数开始 .......................................................................................... 096 6.1 引言 ........................................................................................................... 096 6.2 关于自然数的皮亚诺公理 ....................................................................... 098 6.3 从自然数到整数――第一种途径 ........................................................... 101 6.4 从自然数到整数――第二种途径 ........................................................... 103 6.5 从整数到有理数 ....................................................................................... 110 6.6 从有理数到实数（引子） ....................................................................... 112 6.7 数学的逻辑基础 ....................................................................................... 113 第 7 章 概率论基础概念（要义） ...................................................................... 115 7.1 引言 ........................................................................................................... 115 7.2 样本空间与事件 ....................................................................................... 117 7.3 概率空间 ................................................................................................... 118 7.4 随机变量与概率分布函数 ....................................................................... 119 7.4.1 几个有趣的实例 ............................................................................ 120 7.4.2 随机变量及其概率分布的定义 .................................................... 123 7.5 随机过程 ................................................................................................... 125 7.5.1 从随机变量扩展到随机向量和随机过程 .................................... 125 7.5.2 柯尔莫哥洛夫存在性定理 ............................................................ 129 7.5.3 小结 ................................................................................................ 129 7.5.4 随机过程的等价与可分随机过程 ................................................ 130 7.6 独立随机变量序列 ................................................................................... 132 7.7 可加随机过程（独立增量过程） ........................................................... 134 7.7.1 可加随机过程的定义 .................................................................... 134 7.7.2 可加随机过程实例 ........................................................................ 134 7.7.3 可加随机过程概论（Poisson 过程和广义维纳过程） ............... 138 第 8 章 随机事件与随机事件之相互关联（1）――条件概率 ..................... 144 8.1 条件概率的概念与定义 ........................................................................... 144 8.2 条件概率计算实例 ................................................................................... 147 8.3 贝叶斯公式及其应用 ............................................................................... 150 8.3.1 贝叶斯公式 .................................................................................... 150 8.3.2 贝叶斯公式的应用 ........................................................................ 151 8.4 揭示贝叶斯公式应用中的认识陷阱 ....................................................... 153 8.4.1 两个贝叶斯公式应用实例 ............................................................ 154 8.4.2 贝叶斯公式应用的深入分析 ........................................................ 155 8.4.3 结语 ................................................................................................ 158 第 9 章 随机事件与随机事件之相互关联（2）――条件期望 ..................... 159 9.1 细说条件期望 ........................................................................................... 159 9.2 条件期望之一 ........................................................................................... 162 9.3 条件期望之二 ........................................................................................... 163 9.4 条件期望之三 ........................................................................................... 166 9.5 条件期望之四 ........................................................................................... 168 9.6 条件期望之五 ........................................................................................... 171 第 10 章 香农熵开启新的信息时代 ................................................................... 176 10.1 香农熵正式登场 ..................................................................................... 177 10.2 熵定义的依据 ......................................................................................... 178 10.2.1 熵的性质 ...................................................................................... 181 10.2.2 条件熵和互信息量 ...................................................................... 182 10.3 熵定义的扩展 ......................................................................................... 186 10.3.1 不接近概率分布的熵 .................................................................. 186 10.3.2 连续概率分布的熵 ...................................................................... 187 10.3.3 熵差 .............................................................................................. 190 10.4 消息产生与传输的信息论模型――无记忆离散信道 .......................... 194 10.5 模式识别的信息论方法 ......................................................................... 200 10.5.1 模式识别的基本步骤 .................................................................. 200 10.5.2 特征选取的分类熵准则（注） .................................................. 201 10.5.3 模式识别的判决方案 .................................................................. 209