人机交互中的体态语言理解

以人为中心的人机交互，要求人机交互需要从目前占主导的，由用户直接操作进行的“显式交互”方式扩展到通过体态语言进行的“隐式交互”方式。体态语言理解是其中的关键问题。
本书论述了与此相关的心理学和脑神经学基本概念，通过多模态信息处理来识别和理解体态语言是从非结构化的多模态传感器数据到高层语义的多层次特征检测和推理过程，也是一个约束不充分的逆向求解问题。本书对觉察上下境计算支撑的视觉处理和理解做了系统的论述，同时也介绍了上下境定义、上下境模型和觉察上下境计算的基本概念。主要包括：基于广义弹性运动跟踪的人体动作分析，三维空间人体定位与体态估计，容忍视角和距离变化的人体动作识别，日常生活中动作（ADL）识别和理解，基于动态上下境模型的群体交互行为分析，支持觉察上下镜计算的分布式多模态信息处理系统。典型应用是面向老人生活和健康看护的“日常生活动作识别”（ADL），和以会议自动分析为代表的群体行为分析。
本书创新性强，内容系统、全面，深入浅出。目前国内相关领域的理论著作尚属于空白，在国际上也还缺乏系统的理论。本书的出版将对我国人机交互领域、体态语言理解的理论研究和学科发展具有重要的参考价值和指导意义。

徐光祐，1940年出生于上海，1963年毕业于北京清华大学自动控制系。徐教授是清华大学计算机系人机交互与媒体集成研究所教授，博士生导师，曾在美国Purdue大学电机系、Illinois大学Beckman研究所、以及德国西门子公司中央研究所(Munich)从事访问研究。曾任普适计算教育部重点实验室主任，IEEE高级会员，国际测量学会(IMEKO)第10技术委员会(TC一10)中国代表，中国图像图形学会多媒体专业委员会主席．中国图像图形学会常务理事，自动化学报编委．Journal of Computer Science and Technology编委，International．Journal of Computer Image and Graphics编委。目前他的主要研究领域为自然的人机交互、普适计算。多媒体计算和计算机视觉。在国内外学术期刊和国际会议上共发表论文190余篇，已出版专著3部．第―届全国优秀博士学位论文导师。享受国务院政府特殊津贴．获得国家和部委各种科技进步奖励10项。

第1章 以人为中心的人机交互与体态语言理解 1
1.1 以人为中心的人机交互 1
1.1.1 普适计算和背景智能 3
1.1.2 物理―信息对偶空间 4
1.1.3 隐式人机交互和觉察上下境计算 11
1.2 非语言行为和体态语言 16
1.2.1 人际通信中的非语言行为 16
1.2.2 体态语言传递什么样的信息 19
1.2.3 体态语言与语言通信的关系 20
1.2.4 体态语言的信息集群 21
1.3 非语言通信与社交行为 22
1.3.1 非语言行为线索与社交信号 24
1.3.2 面对面的社交行为 26
1.4 社交信息处理和社交智能 27
1.4.1 社交能力与动作理解 27
1.4.2 社交信息处理 28
1.4.3 社交智能 30
1.5 以人为中心的人机交互正在走向现实 32
1.5.1 “人―机器人交互” 32
1.5.2 计算机为媒介的远程交互系统 35
1.5.3 背景智能和智能辅助生活 38
参考文献 38
第2章 动作理解的心理和神经机制基础 48
2.1 动作理解中所涉及的问题 49
2.2 共同编码理论简介 54
2.3 动作的表示和内容 59
2.3.1 动作是什么和动作的产生 60
2.3.2 运动想象是进入动作表示阶段的窗口 61
2.3.3 动作意图、规划、准备和执行之间的关系 65
2.3.4 人类视觉系统中的子系统 66
2.3.5 动作表示内容 67
2.4 镜面神经系统和它在动作识别中的作用 69
2.4.1 猴子和人体中的镜面神经系统 70
2.4.2 镜面神经系统在动作识别和理解中的功能 71
2.5 动作的共享表示 75
2.5.1 动作表示的不同层次 75
2.5.2 语义表示和实用表示 76
2.5.3 共享的是感知表示还是运动表示 77
2.5.4 动作表示的方式 78
2.6 人体与物体的交互与可承受性 80
2.6.1 Gibson的可承受性理论 81
2.6.2 可承受性与动作理解 83
2.6.3 可承受性和与物体交互 87
2.7 人类动作理解中的功能机理和神经网络 89
2.7.1 视觉理解理论简介 90
2.7.2 对基于计算机视觉的动作理解的启发 92
参考文献 95
第3章 基于觉察上下境计算的体态语言理解 103
3.1 体态语言理解问题的本质 104
3.1.1 体态语言是人类的自然行为 104
3.1.2 体态语言线索、体态语言信号和体态语言 105
3.1.3 体态语言理解需要觉察上下境计算的支持 107
3.2 体态语言线索检测 108
3.3 体态语言信号检测 110
3.4 上下境和上下境模型 112
3.4.1 上下境信息在体态语言理解中的作用 112
3.4.2 上下境的定义 113
3.4.3 上下境模型 116
3.5 觉察上下境计算与系统 119
3.5.1 觉察上下境系统组成 121
3.5.2 觉察上下境系统的应用和性能 124
3.5.3 人体行为理解的研究现状和存在问题 125
3.6 视觉信息处理中上下境的影响 128
3.6.1 人类视觉系统中上下境影响的研究 129
3.6.2 基于上下境的计算机视觉处理 132
3.6.3 觉察上下境的计算机视觉处理 137
3.7 基于觉察上下境计算的体态语言理解 139
3.7.1 基于动态上下文模型的群体交互行为分析 139
3.7.2 基于觉察上下境计算的人体日常活动识别和理解 142
3.7.3 支持觉察上下境计算的分布式多模态信息处理系统 145
参考文献 146
第4章 基于广义弹性运动跟踪的人体运动分析 155
4.1 研究现状 157
4.1.1 弹性运动跟踪的研究现状以及本章研究思路的提出 157
4.1.2 与广义弹性运动跟踪相关的研究工作 158
4.2 基础弹性运动模型 159
4.2.1 弹性运动的纤维束表示 159
4.2.2 基于纤维束的融合思路 160
4.2.3 混合的变换隐马尔科夫模型（MTHMM） 161
4.2.4 模型的推理算法 165
4.2.5 实验结果与讨论 170
4.2.6 小结 176
4.3 具有分类机制的弹性运动模型 177
4.3.1 弹性运动的分段纤维束表示以及分类机制的思路 177
4.3.2 具有分类机制的混合变换隐马尔科夫模型（MTHMM-C） 179
4.3.3 模型的推理算法 181
4.3.4 实验结果与讨论 187
4.3.5 小结 193
4.4 广义弹性运动跟踪的应用 194
4.4.1 （半）自动建模 194
4.4.2 人头姿态估计 195
4.4.3 基于广义弹性运动跟踪的运动描述 196
参考文献 198
第5章 人体定位与体态估计 201
5.1 基于多摄像机的人体粗定位 202
5.1.1 多摄像机环境下的几何约束 203
5.1.2 多摄像机人体定位算法 205
5.1.3 实验结果 207
5.1.4 小结 211
5.2 多摄像机下人体头肩部轮廓跟踪与朝向估计 212
5.2.1 多视角轮廓约束 213
5.2.2 头肩部轮廓的形状表示和概率模型 215
5.2.3 多视角联合跟踪模型 224
5.2.4 度量表示与图像度量模型 229
5.2.6 实验结果分析 230
5.2.7 小结 233
5.3 基于梯度朝向直方图的头部姿势估计 234
5.3.1 基于梯度朝向直方图的二阶统计特征 237
5.3.2 线性子空间方法 238
5.3.3 实验结果 239
5.3.4 小结 248
参考文献 249
第6章 可容忍视角、位置变化的人体动作识别 251
6.1 基于时空表示的动作识别研究现状 251
6.1.1 基于多视角样本 255
6.1.2 基于不变量表示和不变量约束 256
6.2 容忍视角变化的体态表示――包容形状 258
6.2.1 动作识别中的视角变化 258
6.2.2 预备分析 259
6.2.3 包容形状的定义和推导 260
6.2.4 动作识别实验 263
6.2.5 非正交下双摄像机配置下的包容形状 268
6.3 容忍位置变化和遮挡的自适应包容形状 271
6.3.1 容忍位置变化的多摄像机系统 272
6.3.2 容忍遮挡的自适应包容形状 279
6.4 动作识别系统 284
6.4.1 动作识别系统流程 284
6.4.2 人体检测和特征提取 285
6.4.3 体态表示和数据预处理 286
6.5 结论和展望 291
参考文献 292
第7章 日常生活动作识别与行为分析 295
7.1 基于计算机视觉的日常活动（ADL）识别和理解 296
7.1.1 ADL识别和理解所面临的技术挑战 296
7.1.2 ADL识别方法研究的现状 300
7.1.3 基于计算机视觉的ADL识别的关键课题 305
7.1.4 日常生活行为理解 311
7.1.5 上下境信息的建模和使用 316
7.2 容忍视角和距离变化的动作识别 317
7.2.1 分层的动作识别 318
7.2.2 多视角数据库IXMAS 319
7.2.3 关注“焦点运动”的动作识别 321
7.2.4 特征提取与动作表示 323
7.2.5 基于VSI-Surf表示的动作识别方法 332
7.3 支持觉察上下境计算的活动分析模型 336
7.3.1 日常生活场景中的上下境 338
7.3.2 觉察上下境的行为分析模型 341
7.4 基于ADL-DBN模型的行为在线推理 347
7.4.1 研究平台与应用场景 348
7.4.2 底层视觉特征的提取 350
7.4.3 环境上下境 353
7.4.4 多层次动态贝叶斯网模型 354
7.4.5 实验结果 359
7.5 结论与展望 364
参考文献 365
第8章 基于动态上下境模型的群体行为分析 376
8.1 群体交互行为分析的关键问题及研究现状 376
8.1.1 会议群体动作分析中的关键问题 377
8.1.2 会议动作自动分析的研究现状 380
8.1.3 基于动态上下境模型的会议动作自动分析 382
8.2 面向群体交互行为分析的动态上下境模型 383
8.2.1 群体交互行为分析中的上下境定义 384
8.2.2 动态上下境的分层结构 385
8.2.3 动态上下境的模型的结构 388
8.2.4 动态上下境模型的运行机制 390
8.3 觉察上下境的多目标检测与跟踪算法 391
8.3.1 方法概述 393
8.3.2 人体检测 396
8.3.3 人体跟踪 399
8.3.4 高层上下境推理 402
8.3.5 个体局部特征检测 403
8.3.6 实验结果 404
8.4 事件驱动的多层次DBN模型 410
8.4.1 群体交互场景中的事件检测 411
8.4.2 事件驱动的多层次DBN模型 412
8.4.3 实验结果 420
8.5 基于动态上下境的多层次事件自适应检测方法 426
8.5.1 群体交互场景中的事件层次与处理粒度 427
8.5.2 多层次事件自适应检测方法 428
8.5.3 多层次事件自适应检测方法在会议分析中的应用 433
8.6 小结 445
参考文献 446
第9章 支持觉察上下境计算的分布式多模态信息系统 451
9.1 引论 451
9.2 面向应用的服务共享模型（A-SSM） 452
9.2.1 模型总体框架 452
9.2.2 模型组成定义 453
9.2.3 基于本体论的计算服务资源管理 455
9.3 基于服务质量（QoS）的计算服务资源选择策略 458
9.3.1 QoS计算参考公式 458
9.3.2 基于层次分析法（AHP）理论估计属性权重 459
9.3.3 计算服务资源选择算法 460
9.4 适应服务共享模型的觉察上下境计算 461
9.4.1 觉察上下境计算的“基元” 461
9.4.2 觉察上下境计算算法的“基元”化组织 466
9.5 分布式觉察上下境计算系统的总体结构设计 467
9.6 分布式处理的总体结构设计 468
9.6.1 数据/信息处理分析 468
9.6.2 服务进程设计 469
9.7 通用化平台的实现 471
9.8 日常行为理解与隐式交互实例研究 473
9.8.1 系统测试实验 473
9.8.2 隐式交互实验环境及硬件配置 475
9.8.3 实验数据的采集 476
9.8.4 实验数据的标注 479
9.8.5 知识辅助行为推理方法的实施 480
9.9 小结 482
参考文献 483
附录A 三维圆柱人体模型 486
附录B 摄像机偏离引起的包容形状误差分析 488