机器学习及其应用2021

《机器学习及其应用2021》邀请MLA 2019-2020的部分专家以综述的形式介绍机器学习领域的研究进展，内容涉及监督学习、深度学习、强化学习、对抗学习、贝叶斯学习的基本理论和方法，同时介绍了机器学习在计算机视觉、自然语言处理、城市计算、语音信号处理、模式识别中的应用，代表了国内机器学习近期新的研究进展。

“机器学习及其应用”（MLA）系列研讨会本着“学术至上、其余从简”的原则，不征文、不收费，迄今已举行17届，近年来参会人数超过2000人。《机器学习及其应用2021》邀请MLA 2019-2020的部分专家以综述的形式介绍机器学习领域的研究进展，内容涉及到监督学习、深度学习、强化学习、对抗学习、贝叶斯学习的基本理论和方法，同时介绍了机器学习在计算机视觉、自然语言处理、城市计算、语音信号处理、模式识别中的应用，代表了国内机器学习**的研究进展。

张敏灵，男，1979年4月出生于江苏省南京市，籍贯浙江省杭州市。分别于2001、2004、2007年在南京大学计算机科学与技术系获学士、硕士、博士学位。现为东南大学计算机科学与工程学院教授、博士生导师。曾获国家优秀青年科学基金，入选教育部“长江学者奖励计划”青年学者。长期从事机器学习、数据挖掘领域研究。应邀担任重要国际会议PAKDD与ACML指导委员会委员，PRICAI'16等国际会议程序主席，以及KDD、IJCAI、AAAI、ICDM等国际会议领域主席/SPC三十余次。任《ACM Trans. IST》、《Science China Information Sciences》、《Frontiers of Computer Science》等期刊编委。现任中国人工智能学会机器学习专委会秘书长、中国计算机学会人工智能与模式识别专委会常务委员、江苏省人工智能学会学术工委主任等。曾获国家自然科学二等奖（第三完成人）、CCF-IEEE CS青年科学家奖等。

目录 深度学习中的优化方法 王立威 杨运昌 1 1 引言 1 2 梯度下降方法的全局收敛性 1 3 Gram-Gauss-Newton方法 7 4 实验 11 5 小结 15 参考文献 15 结构化剪枝综述 吴建鑫 王环宇 张永顺 17 1 引言 17 2 剪枝方式介绍 18 3 剪枝算法 22 4 讨论与展望 31 参考文献 32 Efficient Neural Speech Synthesis Tao Qin 36 1 Introduction 36 2 Inference Efficiency: FastSpeech Series 38 3 Data Efficiency: DualSpeech and LRSpeech 47 4 Parameter Efficiency: LightSpeech and AdaSpeech Series 52 5 Summary 65 References 66      面向开放世界的分类器学习 刘成林 72 1 引言 72 2 开放世界的模式分类和学习问题 74 3 面向开放集的分类决策规则 77 4 面向开放集的分类器设计与学习 81 5 面向开放集的卷积原型网络 87 6 小结 92 参考文献 92      释放标记空间的威力：标记增强 耿 新 徐 宁 高永标 王秋锋 96 1 引言 96 2 标记增强方法 97 3 标记增强理论解释 106 4 标记增强的应用 108 5 结束语 116     参考文献 116 因果推断与因果性学习 陈 薇 蔡瑞初 郝志峰 张 坤 120 1 引言 120 2 经典因果推断方法 122 3 隐变量场景下的因果推断 127 4 非稳态/异质数据场景下的因果推断 130 5 因果性学习 131 6 小结及讨论 134 参考文献 134      机器学习中基于Wasserstein距离的分布鲁棒优化模型与算法 苏文藻 138 1 引言 138 2 基于Wasserstein距离的分布鲁棒优化问题 140 3 分布鲁棒监督学习 143 4 对抗训练 152 5 总结和展望 153 参考文献 154 基于环境模型的强化学习研究进展 俞 扬 157 1 引言 157 2 相关背景 158 3 基于对抗生成的环境模型学习 160 4 在淘宝推荐任务中的环境模型学习 165 5 在滴滴出行推荐任务中的环境模型学习 167 6 结束语 170 参考文献 171      自适应迭代与采样的黑盒对抗攻击方法 韩亚洪 石育澄 173 1 引言 173 2 相关工作 176 3 CURLS&WHEY攻击 178 4 适应性对抗边界攻击 184 5 实验 190 6 总结 198 参考文献 199 对抗机器学习：攻击、防御与模型鲁棒性评估 易津锋 202 1 引言 202 2 对抗攻击 204 3 对抗防御 210 4 模型鲁棒性评估 214 5 总结与展望 218 参考文献 219 基于城市视觉大数据的交通预测与调度 余正旭 魏 龙 金仲明 黄建强 华先胜 227 1 引言 227 2 视频异常检测及长尾分类方法 230 3 基于卷积长短时记忆网络的渐进学习方法 236 4 预测与干预融合的区域交通信号灯稳定控制方法 241 5 总结 247 参考文献 248 基于深度学习的命名实体识别 黄萱菁 桂 韬 李孝男 马若恬 251 1 引言 251 2 相关工作 253 3 基于深度学习的命名实体识别 255 4 总结和展望 267 参考文献 268 从Transformer到BERT：自然语言表示学习的新进展 邱锡鹏 272 1 引言 272 2 背景介绍 273 3 预训练模型概述 276 4 预训练模型拓展 279 5 展望和总结 280 参考文献 281      基于机器学习的脑解码方法研究 张道强 黄 硕 Muhammad Yousefnezhad 284 1 引言 284 2 多被试者神经影像的功能校准 286 3 多站点功能影像的共享空间迁移学习 293 4 类别不平衡条件下的脑解码方法 296 5 深度表征相似性学习 300 6 easyfMRI——人脑解码和可视化工具箱 303 7 总结与展望 304 参考文献 305      III 目    录