计算机视觉十讲

计算机视觉是人工智能的重要分支，其研究是计算机系统智能化的第一步，也是实现人工智能的桥梁。本书面向计算机视觉，聚焦前沿算法理论，分别讲述了图像分类、检测、生成、视频处理等计算机视觉领域的研究重点，也对计算机视觉的基本概念和计算机视觉研究的预备知识进行了简要介绍，帮助读者在构建完整的计算机视觉知识框架的同时，打下较为坚实的基础，为进一步在计算机视觉和相关领域提出新设想、开发新算法、解决新问题创造良好的条件。本书可作为人工智能专业和计算机类相关专业的低年级研究生学习计算机视觉的参考书，也可作为从事计算机视觉技术研究工作的科研人员的自学用书。

查红彬 北京大学智能学院博雅特聘教授，机器感知与智能教育部重点实验室主任。主要从事计算机视觉与智能机器人感知的研究，在三维视觉几何计算、三维重建与环境几何建模、传感器即时定位与地图构建等方面取得一系列成果，发表学术期刊及国际会议论文350多篇。现任中国计算机学会出版工作委员会主任、中国图象图形学学会监事长，曾任中国计算机学会计算机视觉专委会主任。获得CCF-CV杰出成就奖等学术奖项。 虞晶怡 OSA Fellow，IEEE Fellow，ACM杰出科学家。现任上海科技大学副教务长、信息科学与技术学院教授、执行院长，智能感知与人机协同教育部重点实验室主任。长期从事计算机视觉、计算成像、计算机图形学、生物信息学等领域的研究工作，在智能光场研究上，拥有十余项国际PCT专利，已广泛应用于智慧城市、数字人、人机交互等场景。他曾经担任IEEE TPAMI、IEEE TIP等多个顶级期刊编委，并担任国际人工智能顶会CVPR 2021和ICCV 2025的大会程序主席。任达沃斯世界经济论坛（WEF）全球议程理事会理事。 刘青山 南京邮电大学教授。主要从事计算机视觉，模式识别、人工智能+交叉应用等研究，曾获国家杰出青年科学基金资助，带领团队入选“全国高校黄大年式教师团队”，获江苏省科学技术一等奖、中国电子学会自然科学一等奖和教育部自然科学二等奖等。现兼任中国计算机学会计算机视觉专委会副主任、中国图象图形学学会学术工委主任、江苏省人工智能学会副理事长。 王亮 中国科学院自动化研究所研究员，IEEE/IAPR Fellow，多模态人工智能系统全国重点实验室副主任，中国图象图形学学会副理事长、视觉大数据专委会主任，中国计算机学会计算机视觉专委会副主任。主要从事计算机视觉、模式识别、机器学习、数据挖掘等相关领域的研究。已发表或接收论文300余篇，谷歌学术引用4万余次。获国家杰出青年科学基金资助，入选国家万人计划科技创新领军人才，曾获中国青年科技奖、北京市科学技术一等奖和二等奖。

丛书序 “十讲”序 推荐序 前言 第 1 讲 底层视觉 1.1 底层视觉概述 /2 1.1.1 底层视觉定义 /2 1.1.2 传统底层视觉方法 /2 1.2 基于数学模型的底层视觉方法 /4 1.2.1 全变分模型 /4 1.2.2 稀疏和低秩模型 /7 1.2.3 小结 /13 1.3 基于深度学习的底层视觉方法 /13 1.3.1 图像去噪 /14 1.3.2 图像超分辨率 /17 1.3.3 基于 VGG 模型的图像超分辨率方法 /17 1.3.4 图像去模糊 /21 1.4 底层视觉的挑战与展望 /26 参考文献 /26 第 2 讲 图像质量评价 2.1 全参考/部分参考型图像质量评价 /34 2.1.1 全参考型图像质量评价 /34 2.1.2 部分参考型图像质量评价 /37 2.2 无参考型图像质量评价 /38 2.2.1 基于统计学的无参考型图像质量评价 /39 2.2.2 基于深度学习的无参考型图像质量评价 /40 2.3 图像美学质量评价 /45 2.3.1 大众化图像美学评价 /48 2.3.2 个性化图像美学评价 /63 2.4 总结与展望 /70 参考文献 /70 第 3 讲 图像分割 3.1 图像分割概述 /80 3.1.1 早期图像分割 /80 3.1.2 语义分割 /80 3.1.3 实例分割和全景分割 /81 3.1.4 其他分割问题 /81 3.2 图像语义分割 /82 3.2.1 背景与问题 /82 3.2.2 基于传统特征的图像语义分割 /82 3.2.3 基于深度特征的图像语义分割 /82 3.3 图像实例分割 /88 3.3.1 问题定义 /88 3.3.2 两阶段实例分割 /89 3.3.3 一阶段实例分割 /91 3.3.4 基于 Transformer 的实例分割 /93 3.4 图像全景分割 /95 3.4.1 问题定义 /95 3.4.2 子任务分离的全景分割 /96 3.4.3 子任务统一的全景分割 /98 3.5 弱监督图像分割 /99 3.5.1 基于超像素的方法 /100 3.5.2 基于分类网络的方法 /101 3.6 跨域图像分割 /103 3.6.1 基于风格迁移的输入级图像对齐 /103 3.6.2 基于域不变特征发掘的中间级特征对齐 /104 3.6.3 基于标签分布发掘的输出级预测结果对齐 /105 3.7 医疗图像分割 /106 3.7.1 全监督医疗图像分割 /108 3.7.2 弱监督医疗图像分割 /112 参考文献 /114 第 4 讲 目标检测 4.1 目标检测概述 /128 4.1.1 目标检测的概念 /128 4.1.2 目标检测的研究意义 /128 4.1.3 目标检测的发展路线 /130 4.1.4 小结 /134 4.2 非深度学习目标检测方法 /134 4.2.1 图像匹配方法 /134 4.2.2 机器学习方法 /137 4.2.3 小结 /139 4.3 深度学习目标检测方法 /139 4.3.1 深度学习简介 /139 4.3.2 深度学习模型 /140 4.3.3 基于深度学习的方法框架 /143 4.4 评价指标和数据集 /148 4.4.1 数据集 /148 4.4.2 评价指标 /150 4.5 讨论与展望 /151 4.5.1 目标检测面临的挑战 /151 4.5.2 目标检测的发展趋势 /152 参考文献 /154 第 5 讲 目标跟踪 5.1 引言 /162 5.2 目标跟踪概述 /162 5.2.1 目标跟踪的基本概念 /162 5.2.2 目标跟踪的分类方式 /163 5.2.3 目标跟踪的研究意义 /164 5.2.4 小结 /165 5.3 单目标跟踪 /165 5.3.1 传统方法 /165 5.3.2 深度学习方法 /167 5.3.3 数据集与评价指标 /182 5.3.4 小结 /184 5.4 多目标跟踪 /185 5.4.1 多目标关联技术 /186 5.4.2 一体化多目标跟踪技术 /191 5.4.3 数据集与评价指标 /194 5.4.4 小结 /196 5.5 其他跟踪问题 /196 5.5.1 视频目标检测与多目标跟踪 /196 5.5.2 视频实例分割中的跟踪问题 /196 5.5.3 半监督视频物体分割 /198 5.5.4 小结 /199 5.6 应用 /199 5.6.1 目标跟踪与安防监控 /199 5.6.2 目标跟踪与智能机器人 /200 5.6.3 目标跟踪与自动驾驶 /201 5.6.4 无人机精准跟踪 /202 5.6.5 跟踪辅助视频标注 /204 5.7 总结与展望 /204 5.7.1 目标跟踪面临的挑战 /204 5.7.2 目标跟踪的发展趋势 /207 5.7.3 小结 /208 参考文献 /208 第 6 讲 行人重识别 6.1 行人重识别的定义与常用方法 /228 6.1.1 背景与问题 /228 6.1.2 常用方法 /229 6.2 行人重识别中的小样本问题 /232 6.2.1 弱监督建模 /232 6.2.2 无监督建模 /234 6.2.3 迁移学习建模 /240 6.3 行人重识别中的开放性建模问题 /242 6.3.1 遮挡问题 /242 6.3.2 跨模态问题 /250 6.3.3 换装问题 /263 6.3.4 其他问题 /267 参考文献 /270 第 7 讲 视频行为识别 7.1 引言 /284 7.2 视频行为识别数据集 /285 7.2.1 通用行为识别数据集 /286 7.2.2 骨架行为识别数据集 /287 7.2.3 群体行为识别数据集 /288 7.2.4 时域行为定位数据集 /288 7.2.5 时空行为定位数据集 /289 7.2.6 音视频行为定位数据集 /290 7.3 视频行为分类 /291 7.3.1 基于手工特征的视频行为分类方法概述 /291 7.3.2 基于深度学习的视频行为分类方法概述 /295 7.3.3 常用方法 /296 7.4 行为定位 /302 7.4.1 时域行为定位 /302 7.4.2 时空行为定位 /311 7.5 骨架行为识别 /316 7.5.1 早期骨架行为识别方法 /317 7.5.2 基于深度学习的骨架行为识别 /317 7.5.3 总结与展望 /325 7.6 多模态行为识别 /326 7.6.1 基于文本的视频定位 /326 7.6.2 音视频行为识别 /330 7.7 交互及组群行为识别 /337 7.7.1 交互行为识别 /337 7.7.2 组群行为识别 /343 7.7.3 群体行为识别的未来研究趋势 /349 参考文献 /350 第 8 讲 视觉与语言 8.1 视觉与语言的定义 /376 8.1.1 背景与意义 /376 8.1.2 典型任务与方法 /379 8.2 视觉语言的典型框架 /383 8.2.1 传统方法 /383 8.2.2 预训练方法 /385 8.2.3 其他方面 /386 8.3 视觉语言的语义关联与建模 /388 8.3.1 注意力机制建模 /390 8.3.2 图结构建模 /391 8.3.3 生成式建模 /392 8.3.4 其他建模 /393 8.4 视觉语言的预训练技术 /396 8.4.1 单模态主干网络 /397 8.4.2 视觉与语言架构 /399 8.4.3 预训练任务与下游任务 /401 8.4.4 预训练数据集 /405 8.5 视觉语言发展趋势与展望 /407 参考文献 /409 第 9 讲 图像的三维重建 9.1 背景介绍 /426 9.2 传统三维重建方法回顾 /427 9.2.1 经典多视点几何三维重建 /427 9.2.2 经典光度立体三维重建 /428 9.2.3 常见数据采集设备 /429 9.3 深度学习对基于不同形状表达的三维重建 /431 9.3.1 基于体素的显式三维表达 /431 9.3.2 基于多边形网格的显式三维表达 /437 9.3.3 基于隐式辐射场的三维表达 /443 9.4 三维重建与三维生成 /450 9.4.1 基于扩散生成大模型分数蒸馏的三维生成 /451 9.4.2 基于预训练三维重建模型和扩散生成模型的三维生成 /452 参考文献 /454 第 10 讲 SLAM 10.1 基础知识 /464 10.1.1 相机模型 /464 10.1.2 多视图几何原理 /467 10.2 SLAM 的分类 /472 10.2.1 基于滤波的 SLAM /472 10.2.2 基于优化的 SLAM /474 10.2.3 基于深度学习的 SLAM /476 10.3 视觉 SLAM /478 10.3.1 初始化 /479 10.3.2 前台实时跟踪 /480 10.3.3 后端优化 /482 10.3.4 重定位 /483 10.3.5 回路闭合 /485 10.4 视觉惯性 SLAM /486 10.4.1 IMU 模型 /487 10.4.2 前端模块 /489 10.4.3 后端模块 /491 10.5 融合深度信息的 SLAM /492 10.5.1 RGBD SLAM /493 10.5.2 激光视觉惯性 SLAM /502 10.6 SLAM 发展趋势与展望 /508 参考文献 /509