[摘  要]：人工智能自身的安全性已成为前沿的研究热点，并产生了巨大的人才需求，迫切需要建设相关课程。本文论证和研究“人工智能安全”课程建设，系统地探讨“人工智能安全”课程教学内容，并研究设计符合业界需求和多元化人才培养要求的新型教学模式。教学内容上涵盖了不断涌现的人工智能安全的前沿研究内容。教学方法上依据以学为中心、目标导向，教学与实践相结合，教学效果检验与持续改进，增强社会使命和人文情怀培养，以科研促教学等为原则。

[关键词]：人工智能安全；教学研究；课程建设；教学内容；教学方法
[基金项目]：2019年 南京航空航天大学研究生教育教学改革研究项目“智能时代背景下《人工智能安全》课程建设与教学研究”（项目编号：2019YJXGG23）。
[作者简介]：薛明富（1986-），男，江苏南京人，博士，南京航空航天大学计算机科学与技术学院，副教授，研究方向为人工智能安全、硬件安全;王箭（1968-），男，江苏南京人，博士，南京航空航天大学计算机科学与技术学院，教授，研究方向为密码学;刘伟强（1983-），男，山东东营人，博士，南京航空航天大学电子信息工程学院，教授，研究方向为近似计算芯片、AI硬件加速及信息安全芯片。

[中图分类号]：G642 [文献标识码]：A 

1 引言
人工智能（Artificial Intelligence，AI）技术近年来取得了突破性的进展，从而广泛应用于各个领域。然而，近来的研究表明，人工智能模型自身较为脆弱，易受到多种威胁和攻击，从而会威胁人工智能应用系统的安全性[[[] Xue Mingfu, Yuan Chengxiang, Wu Heyi, et al. Machine Learning Security: Threats, Countermeasures, and Evaluations [J]. IEEE Access, 2020, 8: 74720-74742.]-[[] 方滨兴. 人工智能安全. 电子工业出版社[M]. 2020.]]。人工智能自身的安全性已成为前沿的研究热点。各行业巨大的人工智能人才需求与高校人工智能专业、人工智能学科培养人才的不足形成了较大的人才缺口。从国内外高校，包括我校的已有课程设置来看，人工智能相关的交叉前沿理论尚缺乏课程支撑。与时俱进地开设人工智能安全课程，探索人工智能安全课程教学设计与研究，有重要的现实意义。本文拟论证和研究“人工智能安全”课程建设，系统地探讨“人工智能安全”课程教学内容，并研究设计符合业界需求和多元化人才培养要求的新型教学模式。

2 “人工智能安全”课程开设需求
国内外尚无成熟的人工智能安全课程，也缺乏人工智能安全教材：近年来，一批人工智能学院、人工智能专业以及人工智能一级学科应运而生。然而，人工智能专业与人工智能学科的教育培养体系尚不完善，有待研究探索。在人工智能专业（本科）的建设方面，南京大学、西安交通大学等高校给出了有益的探索[[[] 南京大学人工智能学院. 南京大学人工智能本科专业教育培养体系[M]. 机械工业出版社，2019.]-[[] 郑南宁. 人工智能本科专业知识体系与课程设置[M]. 清华大学出版社，2019.]]，而在人工智能学科（研究生）的建设方面，尚无公开的文献与专著。国内外已有较为完备的人工智能技术基础理论类课程，然而，人工智能技术的快速发展与应用滋生了许多安全问题。近年来，人工智能自身的安全性引起了各界广泛的关注，但是国内外高校尚缺乏成熟的人工智能安全相关的课程，也缺乏人工智能安全相关的教材。
国内外学术界近年来对人工智能安全的研究不断涌现：近来研究表明，人工智能模型是脆弱的，易受到多种威胁和攻击，如：中毒攻击、后门攻击、对抗样本攻击、模型窃取攻击、恢复敏感数据攻击等[1]，从而会严重动摇人工智能应用系统的安全性。
社会、业界对人工智能安全的技术和人才需求非常迫切，缺口很大：人工智能已广泛地应用于各个领域，包括一些安全相关领域，然而人工智能自身的安全性研究却刚刚起步。人工智能模型的安全性存在许多严重的漏洞，缺乏安全保障，使得基于机器学习的应用系统面临着严重的安全威胁，如：智能驾驶汽车可以被路标上的一块贴纸误导从而发生事故；视频监控系统/人脸识别系统会被眼镜上的一块图案误导从而不能识别出特定攻击者；指纹识别系统会被攻击者恶意投毒从而使得攻击者隐匿地攻破系统；人工智能可以伪造出逼真的人类语音从而欺骗语音识别系统和说话人验证系统等，这些安全威胁在关键应用中会带来严重的后果。随着人工智能越来越广泛的应用，业界产生了巨大的人工智能安全的技术需求和人才需求，人工智能安全人才极为稀缺。

3 教学目标制定
紧密结合业界的人工智能安全技术需求和人才需求，培养掌握研究和解决问题能力的创新型、研究型学生。在教学内容设计上，还重点考虑了业界的应用需求，加入了最新的和重要的技术应用场景。对于业界迫切需要的技术基础、各类应用平台，均会系统地讨论。在教学过程中将整合不断涌现的新案例、新需求进行展示，并让学生讨论探究以及实践，检验学生对知识体系、能力体系的掌握情况。结合业界不断涌现的技术和人才需求，研究设计教学模式，培养学生的研究能力、分析解决问题能力、技术实践能力等多元化能力。
除了工科技术教学，更有职业规范、社会使命和人文情怀培养。人工智能安全技术是一柄双刃剑，不仅涉及到安全问题，还涉及到社会伦理道德。教学过程中将与社会使命、职业道德规范等相结合，理解人工智能安全相关实践中应承担的社会责任，理解人工智能安全领域相关的职业道德。

4 教学内容设计
笔者研究制定的“人工智能安全”课程的教学目标、教学内容与教学方法如图1所示。本节将介绍课程内容版块。

图1. 研究制定的“人工智能安全”课程教学目标、教学内容与教学方法

按照以下六部分来组织教学内容：引言（人工智能安全的背景和内涵）、对抗攻击下的人工智能模型、机器学习模型面临的攻击、机器学习模型防御技术、深度学习模型版权保护、人工智能与安全探讨。在第二部分，侧重讨论对抗攻击情形下的人工智能模型。然后，系统地将人工智能系统面临的安全攻击概括为五种类型（中毒攻击、后门攻击、对抗样本攻击、模型窃取攻击、恢复敏感数据攻击）[1]，并在第三部分和第四部分，对这五类攻击及其防御进行技术原理介绍和案例分析讨论。
第五部分将聚焦最近出现的深度学习模型版权保护问题。深度神经网络（Deep Neural Networks，DNN）模型的训练过程需要海量的训练数据、昂贵的硬件资源支撑，其训练过程常常耗费几周甚至数月，因而需要大量的成本，代价高昂[[[] Xue Mingfu, Wang Jian, Liu Weiqiang. DNN Intellectual Property Protection: Taxonomy, Attacks and Evaluations (Invited Paper) [C]. //Proceedings of the Great Lakes Symposium on VLSI, Virtual Event, USA, June 22-25, 2021: 1-6.]]，这导致了普通用户难以训练高精度的DNN模型，深度学习模型往往由大公司来提供，这种日益流行的商业模式，称为机器学习即服务。商用的DNN模型有着高昂的商业价值，因而可以视作是模型建立者（版权拥有者）的知识产权[5]，因而需要加以保护。然而某些获得高性能模型的恶意用户可能非法复制、重新分发或滥用模型，或者未经许可就使用许可模型提供预测服务。DNN版权保护是一个国际前沿的研究领域，国内外研究尚处于起步阶段。中国信通院2020年12月发布的《人工智能安全框架》[[[] 中国信息通信研究院安全研究所. 人工智能安全框架（2020年）[S]. 2020.]]中也首次新增了“算法知识产权保护”作为人工智能安全技术的一项重要内容。随着深度神经网络的普遍应用，DNN版权保护具有迫切的理论和现实意义[5]。本章内容包括问题描述、DNN版权保护方法分类、DNN版权保护方法综述、DNN版权保护方法面临的攻击、DNN版权保护方法的评估方法体系、面临的挑战与未来研究方向[5]。
第六部分将系统地研究探讨人工智能与安全的内涵关系，包括：人工智能使得安全更智能更强大、安全使得人工智能更安全更鲁棒、人工智能的滥用、人工智能之间的对抗、构建安全鲁棒隐私的机器学习系统等。
在课程教学内容设计过程中，还重点考虑了业界的应用需求，加入了最新的和重要的技术应用场景。如：人脸识别系统的攻防、视频监控系统的攻防、无人驾驶汽车的路标识别系统的攻防、基于语音识别的语音控制系统的攻防、身份认证系统的攻防、智慧医疗的攻防等。对于业界迫切需要的各类技术基础、各类目标模型，均会有系统地介绍与实践。

5 教学方法研究与设计
（1）以学为中心、目标导向
在课前通过智慧平台提前发布人工智能攻防的案例与目标，引导学生课上探究该案例的技术原理或要达到该需求目标所需要采用的技术方法。如，对抗样本一个新奇的应用是，将对抗样本印刷在衣服上，使得实验者能够从目标识别系统的视野中“隐身”。通过展示此案例，引导学生探究、讨论和实践其攻与防蕴含的原理和方法。
（2）教学与实践相结合：理论讲授、案例分析、攻防实践的立体教学方式
组织综合性的实践内容。教学内容应做到结合理论知识和实践内容，在完成实践案例中实现深入理解理论知识和强化实践技能。将实践环节中的问题解决融入课堂讨论，让学生带着问题求学[[[] 薛明富. 教学从传授范式向学习范式转变的探索与实践——以工科计算机病毒课程为例[J]. 考试周刊, 2016(13): 108-110.]]。实践教学与理论教学是一个整体，旨在引导学生深入理解理论知识，并将这些理论知识及相关的问题求解思想和方法用于解决实际系统的设计与开发，培养学生的综合实践能力。但在以往的教学中，往往是孤立的先理论后实践，实践环节就是让学生去完成一些实验，然后根据实验结果给学生评分，这种方式并没有很好地利用实践环节。事实上，实践教学和理论教学可以很好地交织起来，在理论学习之前，就可以根据案例内容将其中的一些典型问题抛出；理论学习中可以通过研讨的方式让学生运用学到的知识对问题进行探究；然后，在指导学生完成实践后还可以组织学生再进行讨论，进一步巩固和升华学到的理论知识和实践能力。实践环节包括以下实验：面向路标识别系统的物理对抗样本；面向人物检测器的物理对抗样本；自适应指纹认证系统的中毒实验；人脸识别系统的后门实验；社交照片隐私保护实验；基于AI的语音伪造与鉴别实验等。
课程每部分均采用理论教学、案例分析讨论、实践教学相结合的方式进行教学。每部分的教学首先进行理论知识讲授，然后结合行业案例进行分析讨论，并在课堂上给出人工智能攻防的实现及效果演示，然后指导学生进行相应的实践。
（3）教学效果检验与持续改进
人工智能领域蓬勃发展，不断有大量的新技术、新案例、新需求涌现。本课程将以业界实际案例来检验课程设计的合理性以及学习效果。在教学过程中整合这些新案例、新需求，让学生研究讨论以及实践，从而检验学生对知识体系、能力体系的掌握情况，使学生们掌握系统的研究、分析和解决问题能力。
采用课堂讨论与问答、实验验收、期末考试的立体考核方式，其中期末试卷除了包含理论题，还包含案例分析题、复杂问题的解决、开放型问题等。这种全面立体的考核方式有利于督促学生全方位地深刻掌握一门工科技术性课程，真正学有所得，学以致用。
（4）以科研促教学
本课题组是国内较早从事人工智能安全研究的团队，已形成较好的研究成果与积累，并且一直在紧密关注学术界和业界最新的技术、动态、需求。如，最近的业界/学术界动态包括：对抗样本印刷在衣服上可以使人类隐身；人工智能可以从一段语音推导出人脸图像；人工智能翻译在面临文本噪声或域偏移时严重出错；路标对抗样本不仅能够使得路标识别系统判错，甚至能够让路标识别系统觉察不到这是个路标；基于台词的变化，AI能自动改变视频中人脸的表情；生物特征认证系统的后门攻击——对人脸图像微小的改动，可以伪装成特定的用户黑进人脸识别系统，等等。这为丰富“人工智能安全”课程的教学内容，设计更贴近业界需求、更接近国际前沿研究的教学内容提供了有力的支撑。
（5）除了工科技术教学，更有职业规范、社会使命和人文情怀培养
人工智能安全技术是一柄双刃剑，不仅涉及到安全问题，还涉及到社会伦理道德，如，可以伪造其他人的语音达到恶意的目的、可以用路边的一块贴纸就让无人驾驶汽车翻车、可以穿件定制的衣服就实现在图像识别/视频监控中隐身、可以在车牌上画个点就使车牌识别系统将其识别成其他号码等。教学过程还将与社会使命、职业道德规范等相结合，理解人工智能安全实践中应承担的社会责任，能够理解和评价人工智能安全工程实践对环境、社会可持续发展的影响，正确认识人工智能安全实践对于客观世界和社会的贡献和影响，理解用技术手段降低其负面影响的作用与局限性，理解人工智能安全领域相关的职业道德，具有较强的社会责任感等。

6 总结
本文系统地探索了“人工智能安全”课程的教学内容设计和教学方法研究。从对抗攻击下的人工智能模型、机器学习模型面临的攻击、机器学习模型防御技术、深度学习模型版权保护、人工智能与安全探讨等方面组织教学内容。依据以学为中心、目标导向，教学与实践相结合，教学效果检验与持续改进，增强职业规范、社会使命和人文情怀培养，以科研促教学等原则设计教学方式。致力于培养符合业界需求和多元化人才培养要求的创新型人才。本文对于人工智能交叉型课程的开设、教学改革与创新研究均有一定的参考价值。


[参考文献]


Curriculum Construction and Teaching Research of “Artificial Intelligence Security”

Xue Mingfu1, Wang Jian1, Liu Weiqiang2

1 College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing, 211106, Jiangsu, China.
2 College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing, 211106, Jiangsu, China.

Abstract: The security of artificial intelligence (AI) has become a frontier research topic, and has lead to a huge demand for talents. There is an urgent need to build related courses. This paper studies the construction of the “AI Security” course. We systematically explore the teaching content of the course, and design a new teaching model that meets the requirements of the industry and diversified talent training. The teaching content covers the emerging frontier research contents on AI security. The teaching method is based on the principles of learning-centered, goal-oriented, combining teaching and practice, evaluating and continuous improvement of teaching effects, enhancing the social mission and the cultivation of humanistic feelings, and promoting teaching via scientific research.

Keywords: Artificial intelligence security; teaching research; curriculum construction; teaching content; teaching methods