贝叶斯数据分析（第2版）

本书展示了如何使用真实的数据真实地进行贝叶斯数据分析。作者从概率与程序设计的基本概念出发，逐步带你进阶，帮助你最终掌握在实际的贝叶斯数据分析中常用的高级模型。本书分为三大部分，共有25章。第一部分介绍基础知识，内容包括贝叶斯推断的基本思想、模型、概率及R语言编程。第二部分涵盖了现代贝叶斯数据分析的所有关键思想。第三部分介绍如何在实际数据上应用贝叶斯方法。

约翰·K. 克鲁施克（John K. Kruschke），美国加州大学伯克利分校博士，美国印第安纳大学心理学和脑科学名誉教授、统计学副教授，拥有近25年的统计学教学经验。他提出的注意力学习模型受到广泛关注，曾凭借在心理学研究方面所做的杰出贡献，斩获由美国国家科学院颁发的特罗兰研究奖。

第 1章 内容概览 1 1.1 你真的可以读懂本书 1 1.2 本书内容 2 1.2.1 你很忙。你最少要阅读哪几章 3 1.2.2 你真的很忙！能阅读得再少一些吗 3 1.2.3 你想多读一点内容，但不要太多 3 1.2.4 如果你只是需要拒绝一个零假设 4 1.2.5 本书中与某传统检验等同的方法在哪里 4 1.3 第 2 版中有哪些新内容 5 1.4 给我反馈（请保持礼貌） 6 1.5 谢谢你们！ 7 第 一部分 基础知识：模型、概率、贝叶斯法则和R 第 2章 可信度、模型与参数 10 2.1 贝叶斯推断是在多种可能性间重新分配可信度 10 2.2 可能性是描述性模型中的参数值 15 2.3 贝叶斯数据分析的步骤 16 2.4 练习 21 第3章 R语言 22 3.1 获取软件 23 3.2 使用R 的一个简单的例子 24 3.3 R 中的基本命令和运算符 26 3.3.1 在R 中获取帮助 26 3.3.2 算术和逻辑运算符 26 3.3.3 赋值、关系运算符和等值判断 27 3.4 变量类型 28 3.4.1 向量 28 3.4.2 因子 31 3.4.3 矩阵和数组 33 3.4.4 列表和数据框 35 3.5 加载和保存数据 36 3.5.1 函数read.csv 和read.table 36 3.5.2 在R 中存储数据 38 3.6 一些工具函数 39 3.7 在R 中编程 42 3.7.1 R 中变量的名称 43 3.7.2 运行程序 43 3.7.3 编写一个函数 44 3.7.4 条件与循环 45 3.7.5 测量处理时间 46 3.7.6 调试 47 3.8 绘制图形：打开和保存 48 3.9 小结 49 3.10 练习 49 第4章 概率是什么 50 4.1 所有可能事件的集合 50 4.2 概率：脑海以外与脑海之内 52 4.2.1 脑海以外：长期相对频率 52 4.2.2 脑海之内：主观信念 54 4.2.3 概率为可能性分配数值 55 4.3 概率分布 55 4.3.1 离散分布：概率质量 55 4.3.2 连续分布：与密度的约会 57 4.3.3 分布的均值和方差 60 4.3.4 最高密度区间 62 4.4 双向分布 64 4.4.1 条件概率 65 4.4.2 属性的独立性 66 4.5 附录：图4-1 的R 代码 67 4.6 练习 68 第5章 贝叶斯法则 70 5.1 贝叶斯法则概览 70 5.1.1 从条件概率的定义得出贝叶斯法则 71 5.1.2 从双向离散表得出贝叶斯法则 72 5.2 应用于参数和数据 74 5.3 完整示例：估计硬币的偏差 77 5.3.1 样本量对后验概率的影响 80 5.3.2 先验概率对后验概率的影响 81 5.4 为什么贝叶斯推断很困难 82 5.5 附录：图5-1、图5-2 等的R 代码 82 5.6 练习 84 第二部分 二项概率推断的基本原理 第6章 用精确的数学分析方法推断二项概率 88 6.1 似然函数：伯努利分布 89 6.2 可信度的描述：Beta分布 90 6.3 Beta 后验分布 94 6.4 示例 96 6.4.1 用Beta分布表示先验知识 96 6.4.2 不能用Beta 分布表示的先验知识 97 6.5 小结 99 6.6 附录：图6-4 的R 代码 99 6.7 练习 100 第7章 马尔可夫链蒙特卡罗 102 7.1 用大样本近似分布 103 7.2 Metropolis 算法的一个简单实例 104 7.2.1 根据Metropolis 算法游走的政治家 104 7.2.2 随机游走 105 7.2.3 随机游走的一般性质 106 7.2.4 我们为什么要关心它 108 7.2.5 它为什么是有效的 108 7.3 更一般的Metropolis 算法 111 7.3.1 对伯努利似然和Beta 分布应用Metropolis 算法 112 7.3.2 Metropolis 算法总结 115 7.4 Gibbs 抽样：估计两枚硬币的偏差 115 7.4.1 两个偏差的先验、似然和后验 116 7.4.2 通过精确的数学分析方法得到后验 118 7.4.3 通过Metropolis 算法得到后验 120 7.4.4 Gibbs 抽样 121 7.4.5 偏差之间是否有区别 125 7.4.6 术语：MCMC 126 7.5 MCMC 的代表性、准确性和效率 127 7.5.1 MCMC 的代表性 127 7.5.2 MCMC 的准确性 129 7.5.3 MCMC 的效率 134 7.6 小结 134 7.7 练习 135 第8章 JAGS 137 8.1 JAGS 及其与R 的关系 137 8.2 一个完整的例子 138 8.2.1 加载数据 140 8.2.2 定义模型 141 8.2.3 初始化链 142 8.2.4 生成链 144 8.2.5 诊断链 145 8.3 常用分析的简化脚本 147 8.4 示例：偏差之间的差异 148 8.5 用JAGS 从先验分布中抽样 150 8.6 JAGS 中可用的概率分布 152 8.7 在runjags 中利用并行过程进行快速抽样 153 8.8 扩展JAGS 模型时的提示 155 8.9 练习 156 第9章 层次模型 157 9.1 一个铸币厂的一枚硬币 158 9.2 一个铸币厂的多枚硬币 164 9.2.1 网格近似法得到的后验分布 165 9.2.2 一个实际的模型与MCMC 168 9.2.3 用JAGS 实现 170 9.2.4 示例：触摸疗法 171 9.3 层次模型中的收缩 176 9.4 使JAGS 加速 178 9.5 扩展层次结构：按类别划分的被试 179 9.6 练习 186 第 10章 模型比较与层次建模 190 10.1 一般形式与贝叶斯因子 190 10.2 示例：两个铸币厂 192 10.2.1 数学分析的解法 193 10.2.2 网格近似的解法 194 10.3 MCMC 的解法 196 10.3.1 用无层次的MCMC计算各模型的边际似然 196 10.3.2 用有层次的MCMC计算模型的相对概率 199 10.3.3 JAGS 中具有不同“噪声”分布的模型 207 10.4 预测：模型平均 208 10.5 自然地考虑模型复杂度 209 10.6 对先验分布非常敏感 211 10.7 练习 213 第 11章 零假设显著性检验 214 11.1 从良好的计划出发 216 11.1.1 p 值的定义 216 11.1.2 固定了N 的计划 218 11.1.3 固定了z 的计划 220 11.1.4 固定了持续时间的计划 222 11.1.5 进行多次检验的计划 223 11.1.6 深思 225 11.1.7 贝叶斯数据分析 226 11.2 先验知识 227 11.2.1 NHST 分析 227 11.2.2 贝叶斯数据分析 227 11.3 CI 和HDI 229 11.3.1 CI 取决于计划 229 11.3.2 贝叶斯HDI 234 11.4 多重比较 235 11.4.1 NHST 实验总体误差校正 235 11.4.2 无论你怎么看，都只需要一个贝叶斯后验 237 11.4.3 贝叶斯数据分析如何减少虚假警报 237 11.5 抽样分布有什么好处. 238 11.5.1 规划实验 238 11.5.2 探索模型预测率（后验预测检验） 239 11.6 练习 239 第 12章 检验零假设的贝叶斯方法 242 12.1 参数估计的方法 242 12.1.1 实际等价区域 243 12.1.2 一些例子 245 12.2 模型比较的方法 248 12.2.1 硬币是否公平 248 12.2.2 不同的组之间是否相等 251 12.3 参数估计与模型比较的联系 255 12.4 参数估计还是模型比较 256 12.5 练习 256 第 13章 目标、功效与样本量 259 13.1 想得到功效 259 13.1.1 目标与障碍 259 13.1.2 功效 260 13.1.3 样本量 262 13.1.4 目标的其他表达法 263 13.2 计算功效与样本量 264 13.2.1 当目标是排除零假设值时 264 13.2.2 R 中的数学分析解法与实现 265 13.2.3 当目标是精度时 267 13.2.4 功效的蒙特卡罗估计 269 13.2.5 理想或真实数据的功效 271 13.3 序列检验与精度目标 277 13.3.1 序列检验的例子 278 13.3.2 序列检验的一般表现 280 13.4 讨论 284 13.4.1 功效与多重比较 284 13.4.2 功效：前瞻性、回顾性和重复性 284 13.4.3 功效分析要求模拟数据具有真实性 285 13.4.4 规划的重要性 285 13.5 练习 286 第 14章 Stan 288 14.1 HMC 抽样 289 14.2 安装Stan 294 14.3 一个完整的示例 294 14.3.1 重复使用编译后的模型 296 14.3.2 Stan 模型定义的总体结构 296 14.3.3 像Stan 那样思考对数概率 297 14.3.4 在Stan 中对先验抽样 298 14.3.5 常用分析的简化脚本 298 14.4 在Stan 中自上而下地定义模型 299 14.5 局限性 300 14.6 练习 300 第三部分 广义线性模型 第 15章 广义线性模型概述 304 15.1 变量类型 304 15.1.1 预测变量和被预测变量 305 15.1.2 尺度类型：计量、顺序、名义和计数 305 15.2 多个预测变量的线性组合 307 15.2.1 单个计量预测变量的线性函数 307 15.2.2 计量预测变量的加法组合 308 15.2.3 计量预测变量的非加法交互作用 309 15.2.4 名义预测变量 311 15.3 从预测变量的组合到充满噪声的被预测变量的连接 316 15.3.1 从预测变量到被预测变量的集中趋势 316 15.3.2 从被预测变量的集中趋势到充满噪声的数据 319 15.4 广义线性模型的形式化表达 322 15.5 练习 323 第 16章 单组或两组的计量被预测变量 325 16.1 估计正态分布的均值和标准差 325 16.1.1 数学分析的解法 327 16.1.2 JAGS 中的MCMC 近似法 329 16.2 离群值与稳健估计：t 分布 332 16.2.1 在JAGS 中使用t 分布 335 16.2.2 在Stan 中使用t 分布 338 16.3 两组 341 16.4 其他噪声分布和数据转换 344 16.5 练习 345 第 17章 具有单个计量预测变量的计量被预测变量 347 17.1 简单线性回归 347 17.2 稳健线性回归 349 17.2.1 JAGS 的稳健线性回归 352 17.2.2 Stan 的稳健线性回归 355 17.2.3 Stan 还是JAGS 356 17.2.4 解释后验分布 356 17.3 群组中个体的层次回归 357 17.3.1 JAGS 中的模型与实现 358 17.3.2 后验分布：收缩与预测 361 17.4 二次趋势和加权数据 361 17.4.1 结果与解释 365 17.4.2 进一步扩展 365 17.5 模型扩展的过程与风险 366 17.5.1 后验预测检验 366 17.5.2 扩展JAGS 或Stan 模型的步骤 367 17.5.3 添加参数的风险 367 17.6 练习 369 第 18章 具有多个计量预测变量的计量被预测变量 372 18.1 多重线性回归 372 18.1.1 相关预测变量的风险 373 18.1.2 模型与实现 376 18.1.3 后验分布 378 18.1.4 冗余的预测变量 379 18.1.5 有信息的先验、稀疏数据和相关的预测变量 383 18.2 计量预测变量的乘法交互作用 384 18.3 回归系数的收缩 388 18.4 变量选择 392 18.4.1 先验的模糊程度对包含概率有巨大影响 395 18.4.2 层次收缩的变量选择 397 18.4.3 报告什么结果，得出什么结论 400 18.4.4 注意：计算方法 401 18.4.5 注意：交互变量 401 18.5 练习 402 第 19章 具有单个名义预测变量的计量被预测变量 404 19.1 描述多组计量数据 405 19.2 传统方差分析 406 19.3 层次贝叶斯方法 407 19.3.1 在JAGS 中实现 408 19.3.2 示例：交配与死亡 410 19.3.3 对比 412 19.3.4 多重比较与收缩 414 19.3.5 两组的情况 414 19.4 加入一个计量预测变量 415 19.4.1 示例：交配、死亡和大小 416 19.4.2 类似于常规的ANCOVA 417 19.4.3 与层次线性回归的关系 418 19.5 非齐性方差与离群值稳健性 418 19.6 练习 423 第 20章 具有多个名义预测变量的计量被预测变量 426 20.1 用多个名义预测变量描述多组计量数据 426 20.1.1 交互作用 427 20.1.2 传统方差分析 429 20.2 层次贝叶斯方法 429 20.2.1 在JAGS 中实现 430 20.2.2 示例：仅仅是钱 431 20.2.3 主效应对比 435 20.2.4 交互作用对比和简单效应 436 20.3 转换尺度可以改变交互作用、同质性和正态性 437 20.4 非齐性方差与离群值稳健性 40 20.5 被试内设计 443 20.5.1 为什么使用被试内设计，以及为什么不使用 445 20.5.2 裂区设计 446 20.6 模型比较方法 451 20.7 练习 452 第 21章 二分被预测变量 455 21.1 多个计量预测变量 455 21.1.1 JAGS 中的模型与实现 456 21.1.2 示例：身高、体重和性别 458 21.2 解释回归系数 461 21.2.1 对数胜率 461 21.2.2 当取1 或取0 的数据很少时 462 21.2.3 相关的预测变量 463 21.2.4 计量预测变量的交互作用 464 21.3 稳健逻辑斯谛回归 465 21.4 名义预测变量 468 21.4.1 单组 468 21.4.2 多组 471 21.5 练习 474 第 22章 名义被预测变量 476 22.1 softmax 回归 476 22.1.1 仅有两种结果时，softmax函数降阶为逻辑斯谛函数 479 22.1.2 无关属性的独立性 479 22.2 条件逻辑斯谛回归 480 22.3 JAGS 中的实现 483 22.3.1 softmax 模型 483 22.3.2 条件逻辑斯谛模型 485 22.3.3 结果：解释回归系数 486 22.4 模型的推广和变化 490 22.5 练习 490 第 23章 顺序被预测变量 492 23.1 使用潜在的计量变量对顺序数据建模 492 23.2 单组的情况 495 23.2.1 在JAGS 中实现 495 23.2.2 示例：贝叶斯估计恢复真实参数值 497 23.3 两组的情况 500 23.3.1 在JAGS 中实现 500 23.3.2 示例：不好笑 501 23.4 计量预测变量的情况 504 23.4.1 在JAGS 中实现 505 23.4.2 示例：幸福感与金钱 505 23.4.3 示例：电影，它们跟以前不一样了 509 23.4.4 为什么有些阈值在数据之外 511 23.5 后验预测 513 23.6 推广和扩展. 514 23.7 练习 515 第 24章 计数被预测变量 517 24.1 泊松指数模型 517 24.1.1 数据结构 518 24.1.2 指数连接函数 518 24.1.3 泊松噪声分布 520 24.1.4 JAGS 中的完整模型与实现 521 24.2 示例：头发颜色 523 24.3 示例：交互作用对比、收缩和综合检验 524 24.4 列联表的对数线性模型 526 24.5 练习 526 第 25章 后备箱里的工具 530 25.1 报告贝叶斯数据分析的结果 530 25.1.1 关键点 531 25.1.2 可选点 532 25.1.3 实用点 532 25.2 计算HDI 的函数 532 25.2.1 计算网格近似的HDI的R代码 533 25.2.2 单峰分布的HDI 是最短区间 533 25.2.3 计算MCMC 样本的HDI的R代码 534 25.2.4 计算函数的HDI的R代码 535 25.3 重新参数化 535 25.3.1 例子 536 25.3.2 两个参数的重新参数化 537 25.4 JAGS 中的缺失数据 537 25.5 接下来呢 541