人工智能：数据与模型安全

本教材聚焦学术前沿，围绕人工智能的两大核心要素，即数据和模型，对人工智能领域安全问题以及相关攻防算法展开系统全面、详细深入的介绍。本教材可以帮助学生充分了解人工智能数据与模型所面临的安全风险，学习基础的攻防理论，掌握关键的攻防技巧。

姜育刚，复旦大学教授、博士生导师，教育部长江学者特聘教授，IEEE Fellow、IAPR Fellow。研究领域为多媒体信息处理、计算机视觉、可信通用人工智能，国家科技创新2030—“新一代人工智能”重大项目负责人，上海市智能视觉计算协同创新中心主任。发表的200余篇论文被引用2万余次，构建的开源数据和工具集被国内外学者及企业频繁使用。曾获2018年度上海市科技进步一等奖、2019年度上海市青年科技杰出贡献奖、2022年度教育部自然科学一等奖、2022年度国家级教学成果二等奖等荣誉。<br />马兴军，复旦大学研究员、博士生导师，国家级青年人才计划入选者。2019年在澳大利亚墨尔本大学获得博士学位，曾任墨尔本大学博士后研究员、迪肯大学助理教授。研究领域为可信机器学习，主要研究人工智能数据与模型的安全性、鲁棒性、可解释性和公平性等。发表的50余篇论文被引用7000余次，获最佳论文奖2项。研究成果曾获《麻省理工科技评论》等国际媒体报道。担任多个国际顶级学术会议的审稿人。<br />吴祖煊，复旦大学副教授、博士生导师，国家级青年人才计划入选者。2020年在美国马里兰大学获得博士学位。研究领域为计算机视觉与深度学习。发表的50余篇论文被引用7000余次。曾获2022年度教育部自然科学一等奖、2022年度AI 2000多媒体领域最具影响力学者等荣誉。担任多个国际顶级学术会议的领域主席或审稿人。

序<br />前言<br />常用符号表<br />第 1 章 人工智能与安全概述　　1<br />1.1 人工智能的定义　　　 1<br />1.2 人工智能的发展　　　 2<br />1.2.1 三起两落　　　 3<br />1.2.2 重大突破　　　 5<br />1.3 人工智能安全　　　 8<br />1.3.1 数据与模型安全　　8<br />1.3.2 现实安全问题　　 9<br />1.4 本章小结　　　　 10<br />1.5 习题　　　　 11<br />第 2 章 机器学习基础　　　12<br />2.1 基本概念　　　　 12<br />2.2 学习范式　　　　 17<br />2.2.1 有监督学习　　　17<br />2.2.2 无监督学习　　　18<br />2.2.3 强化学习　　　20<br />2.2.4 其他范式　　　21<br />2.3 损失函数　　　　 26<br />2.3.1 分类损失　　　26<br />2.3.2 单点回归损失　 28<br />2.3.3 边框回归损失　 29<br />2.3.4 人脸识别损失　 30<br />2.3.5 自监督学习损失　 33<br />2.4 优化方法　　　　 34<br />2.4.1 梯度下降　　　35<br />2.4.2 随机梯度下降　 36<br />2.4.3 改进的随机梯度下降　 36<br />2.5 本章小结　　　　 39<br />2.6 习题　　　　 39<br />第 3 章 人工智能安全基础　 40<br />3.1 基本概念　　　　 40<br />3.2 威胁模型　　　　 43<br />3.2.1 白盒威胁模型　 43<br />3.2.2 黑盒威胁模型　 44<br />3.2.3 灰盒威胁模型　 44<br />3.3 攻击类型　　　　 45<br />3.3.1 攻击目的　　　46<br />3.3.2 攻击对象　　　49<br />3.3.3 攻击时机　　　52<br />3.4 防御类型　　　　 54<br />3.4.1 攻击检测　　　54<br />3.4.2 数据保护　　　55<br />3.4.3 模型增强　　　56<br />3.5 本章小结　　　　 58<br />3.6 习题　　　　 58<br />第 4 章 数据安全：攻击　　　59<br />4.1 数据投毒　　　　 59<br />4.1.1 标签投毒攻击　 60<br />4.1.2 在线投毒攻击　 60<br />4.1.3 特征空间攻击　 61<br />4.1.4 双层优化攻击　 62<br />4.1.5 生成式攻击　　　65<br />4.1.6 差别化攻击　　　65<br />4.1.7 投毒预训练大模型　 66<br />4.2 隐私攻击　　　　 67<br />4.2.1 成员推理攻击　 67<br />4.2.2 属性推理攻击　 74<br />4.2.3 其他推理攻击　 75<br />4.3 数据窃取　　　　 75<br />4.3.1 黑盒数据窃取　 77<br />4.3.2 白盒数据窃取　 79<br />4.3.3 数据窃取大模型　 81<br />4.4 篡改与伪造　　　82<br />4.4.1 普通篡改　　　83<br />4.4.2 深度伪造　　　84<br />4.5 本章小结　　　　 97<br />4.6 习题　　　　 97<br />第 5 章 数据安全：防御　　　98<br />5.1 鲁棒训练　　　　 98<br />5.2 差分隐私　　　 100<br />5.2.1 差分隐私概念　　100<br />5.2.2 差分隐私在深度学习中<br />的应用　　　 103<br />5.3 联邦学习　　　 106<br />5.3.1 联邦学习概述　　106<br />5.3.2 横向联邦　　 111<br />5.3.3 纵向联邦　　 113<br />5.3.4 隐私与安全　　 116<br />5.4 篡改与深伪检测　　 121<br />5.4.1 普通篡改检测　　121<br />5.4.2 深度伪造检测　　122<br />5.5 本章小结　　　 128<br />5.6 习题　　　　　128<br />第 6 章 模型安全：对抗攻击　　129<br />6.1 白盒攻击　　　 130<br />6.2 黑盒攻击　　　 136<br />6.2.1 查询攻击　　 136<br />6.2.2 迁移攻击　　 140<br />6.3 物理攻击　　　 145<br />6.4 本章小结　　　 152<br />6.5 习题　　　　　152<br />第 7 章 模型安全：对抗防御　　153<br />7.1 对抗样本成因　　　 153<br />7.1.1 高度非线性假说　　153<br />7.1.2 局部线性假说　　155<br />7.1.3 边界倾斜假说　　156<br />7.1.4 高维流形假说　　157<br />7.1.5 不鲁棒特征假说　　159<br />7.2 对抗样本检测　　　 161<br />7.2.1 二级分类法　　 162<br />7.2.2 主成分分析法　　163<br />7.2.3 异常分布检测法　　164<br />7.2.4 预测不一致性　　168<br />7.2.5 重建不一致性　　170<br />7.2.6 诱捕检测法　　 171<br />7.3 对抗训练　　　 172<br />7.3.1 早期对抗训练　　173<br />7.3.2 PGD 对抗训练　 176<br />7.3.3 TRADES 对抗训练　179<br />7.3.4 样本区分对抗训练　180<br />7.3.5 数据增广对抗训练　181<br />7.3.6 参数空间对抗训练　182<br />7.3.7 对抗训练的加速　　183<br />7.3.8 大规模对抗训练　　186<br />7.3.9 对抗蒸馏　　 188<br />7.3.10 鲁棒模型结构　 190<br />7.4 输入空间防御　　　 192<br />7.4.1 输入去噪　　 192<br />7.4.2 输入压缩　　 192<br />7.4.3 像素偏转　　 192<br />7.4.4 输入随机化　　 193<br />7.4.5 生成式防御　　 193<br />7.4.6 图像修复　　 194<br />7.5 可认证防御　　　 194<br />7.5.1 基本概念　　 194<br />7.5.2 认证小模型　　 195<br />7.5.3 认证中模型　　 197<br />7.5.4 认证大模型　　 201<br />7.6 本章小结　　　 203<br />7.7 习题　　　　　203<br />第 8 章 模型安全：后门攻击　　204<br />8.1 输入空间攻击　　　 205<br />8.2 模型空间攻击　　　 210<br />8.3 特征空间攻击　　　 213<br />8.4 迁移学习攻击　　　 214<br />8.5 联邦学习攻击　　　 216<br />8.6 任务场景攻击　　　 219<br />8.7 本章小结　　　 224<br />8.8 习题　　　　　224<br />第 9 章 模型安全：后门防御　　225<br />9.1 后门模型检测　　　 225<br />9.2 后门样本检测　　　 232<br />9.3 后门移除　　　 235<br />9.3.1 训练中移除　　 235<br />9.3.2 训练后移除　　 236<br />9.4 本章小结　　　 240<br />9.5 习题　　　　　240<br />第 10 章 模型安全：窃取攻防　 242<br />10.1 模型窃取攻击　　　242<br />10.1.1 基于方程式求解的<br />窃取攻击　　　243<br />10.1.2 基于替代模型的<br />窃取攻击　　　244<br />10.1.3 基于元模型的<br />窃取攻击　　　249<br />10.2 模型窃取防御　　　250<br />10.2.1 信息模糊　　　251<br />10.2.2 查询控制　　　253<br />10.2.3 模型溯源　　　254<br />10.3 本章小结　　　262<br />10.4 习题　　　　 262<br />第 11 章 未来展望　　　　263<br />11.1 未来攻击　　　264<br />11.2 未来防御　　　265<br />11.3 本章小结　　　266<br />参考文献　　　　　 267