机器人交互技术

本书是新工科机器人工程专业规划教材，由哈尔滨工业大学机器人技术与系统国家重点实验室组织编写。

本书共10章，内容包括绪论，感知和认知基础，人与机器人交互框架，机器人图形交互，基于鼠标/键盘/手柄的机器人交互，基于数据手套的机器人灵巧手交互，人机物理交互安全技术，基于手势视觉识别的机器人交互，基于肢体动作识别的机器人交互，以及基于人脸表情识别的机器人交互等。本书对机器人常用的人机交互技术进行了系统概述，可作为机器人工程专业的本科生和研究生教材。本书也可作为从事机器人研究、开发和应用的科技人员的参考书。

第1章 绪论
1.1 机器人交互概念
1.2 机器人交互研究内容
1.3 机器人交互发展历史
1.3.1 命令行界面交互阶段
1.3.2 图形用户界面交互阶段
1.3.3 自然和谐的人机交互阶段
1.4 机器人交互分类
1.4.1 按空间尺度分类
1.4.2 按应用分类
1.5 人机交互应用
1.5.1 工业
1.5.2 教育
1.5.3 军事
1.5.4 文化娱乐
1.5.5 体育
1.5.6 生活
1.5.7 医疗
习题
第2章 感知和认知基础
2.1 人的感知
2.1.1 视觉
2.1.2 听觉
2.1.3 触觉和力觉
2.1.4 内部感觉
2.1.5 感觉通道的适用场合
2.1.6 刺激强度与感知大小的关系
2.1.7 感知与交互体验
2.2 知觉的特性
2.2.1 知觉的选择性
2.2.2 知觉的整体性
2.2.3 知觉的理解性
2.2.4 知觉的恒常性
2.3 认知过程与交互设计原则
2.3.1 常见的认知过程
2.3.2 影响认知的因素
2.4 概念模型及对概念模型的认知
2.4.1 概念模型
2.4.2 对概念模型的认知
2.5 分布式认知
2.5.1 基本概念和定义
2.5.2 分布式认知理论的特征
2.5.3 分布式认知在人机交互中的应用
习题
第3章 人与机器人交互框架
3.1 交互模式
3.1.1 Norman模型
3.1.2 Norman模型案例
3.1.3 交互系统的评估
3.1.4 框架模型
3.1.5 交互界面
3.2 以用户为中心的HRI
3.2.1 PAC交互模型
3.2.2 HRI设计要素
3.2.3 HRI设计框架
3.3 多模式HRI技术
3.3.1 交互系统模型
3.3.2 交互信息处理
习题
……
第4章 基于OpenInventor机器人图形交互
第5章 基于键盘／鼠标／手柄的机器人交互
第6章 基于数据手套的机器人灵巧手交互
第7章 人机物理交互安全技术
第8章 基于手势视觉识别的机器人交互
第9章 基于肢体动作识别的机器人交互
第10章 基于人脸表情识别的机器人交互
参考文献

     第3章人与机器人交互框架 3.1交 互 模 式 分析人与机器人（HRI）交互模型有助于了解人机系统的结构问题和人与系统交互的动态过程。人机交互涉及人与机器人两个方面，对于整体人机交互系统的运行过程，针对不同应用背景，机器人存在着多种输入输出方式，任务执行的方式和效果也不尽相同，这就会形成不同类型的交互系统（图31）。因此，有必要提出用于人与机器人交互系统的通用模式或者框架，以便于指导和评估一般性交互系统的设计。使用该交互模型能够帮助我们了解在交互过程中究竟发生了什么，并且找出产生困难的根源，更为我们提供了一个比较不同交互类型和问题的框架。 图31人机交互系统 3.1.1Norman模型 目前，Norman提出的“执行评估”循环模型是人机交互模型中最有影响力的，这个模型是通过人的目的和机器人系统动作来描述整体交互过程（图32）。根据我们对HRI的直观认识，人生成一个行动计划，然后在机器人上执行，当这个计划或者它的一部分执行完成后，用户观察机器人的输出，评估计划执行的结果，然后确定下一步的行动。这个交互循环可以分为两个主要阶段： 执行和评估。用户和系统描述领域和目标时使用不同的术语——将系统语言称为核心语言，而将用户语言称为任务语言。 图32Norman执行评估过程 进一步细分，Norman模型包含7个阶段，每个阶段都是用户的一个动作（图33）： 图33Norman模型7个阶段 （1) 建立目标： 首先，用户建立一个目标。这是用户需要做什么的一个打算，并且所使用的任务语言根据应用领域来制定。 （2) 形成意向： 由于目标描述可能不准确，因此将目标进一步翻译成比较明确的意向。 （3) 建立动作序列： 为了达到目标而要执行的实际动作。 （4) 执行动作： 机器人系统执行动作序列。 （5) 感知系统状态： 人感知到机器人系统的状态。 （6) 解释系统状态： 人解释机器人系统的状态。 （7) 评估系统： 对照目标和意向，评估是否满足期望，不满足则用户重新建立新的目标，并且重复这个循环，直到最终用户满足退出循环。 3.1.2Norman模型案例 设想人通过某种语音控制机器人系统实现对室内灯光的控制，同时来评估整体系统的交互性能，图34描述了基于Norman的交互系统评价过程。 图34Norman模型示例 （1) 建立目标： 在室内光线较弱的情况下，认为需要亮一点才能看清书籍，也就是说，首先建立需要房间亮一点的目标。 （2) 形成意向： 形成打开灯的意向。 （3) 建立动作序列： 指定机器人开灯所需要的动作。 （4) 执行动作： 发出语音控制机器人系统打开光源开关，机器人执行相关动作任务。 （5) 感知系统状态： 机器人执行动作之后感知结果，灯或者亮了，或者没有亮。 （6) 解释系统状态： 灯没有亮，可以解释为灯烧坏了，或者灯没有插在灯座上，或者机器人没有按到开关，甚至机器人没听懂人的指令。 （7) 评估系统： 如果灯亮了，那么按照原来的目标评估新的状态，现在够亮了吗？如果是，循环结束。如果房间不够亮，可能会形成新的意向，让机器人把天花板上主灯开关也打开。 3.1.3交互系统的评估 Norman模型可以解释说明为什么有些机器人交互系统会给用户造成问题，可以采用执行隔阂和评估隔阂来描述这些问题。 1. 执行隔阂 执行隔阂是用户为了达到目标而制定的动作与机器人系统所允许的动作之间的差别，即 Dex=Actions(user)-Actions(robot) 其中，Actions(user)代表用户行为，Actions(robot)则代表机器人行为，如果机器人系统允许的动作对应于用户想做的动作，则交互就是有效的。因此，交互系统目的应该是减少这种差别。 2. 评估隔阂 评估隔阂是机器人系统状态的实际表现和用户预期之间的差异，即 Dev=Exp(user)-Status(robot) 其中，Exp(user)代表用户期望的系统状态，Status(robot)代表机器人的实际状态，如果用户用他的目标期望来评估系统表现时的评估隔阂越小，那么机器人系统表现出来的执行结果就越符合人们的期望，而用户解释系统表现时评估差异越大，则交互实现的效率就越低。 Norman模型是理解HRI的一种有用方法，清晰且直观。Norman模型的引入使HRI分析工作有了一个共同的评价框架。然而，它将系统仅仅看成一个界面，并且接近将注意力放在用户对交互观点上。此外，Norman模型不注重处理系统通过界面的通信过程，由Abowd和Beale提出的扩展的Norman模型则解决了这个问题。 3.1.4框架模型 Abowd和Beale在1991年修正了Norman模型，提出了框架模型来反映交互系统中用户和系统特征以及信号流转的动态过程。该框架分为四个主要部分，如图35所示，节点代表交互式系统中四个主要的组成部分： 系统、用户、输入和输出，每个部分都存在相应的语言来描述节点运行，包括用户任务语言、系统核心语言及输入输