人工智能高歌猛进的背后隐藏着多重安全风险

　　想想看。 如果有人把“贴纸”贴在脸部部上，就会让你误认为脸部识别门禁系统，很容易打开门。 同样是“贴纸”，把它贴在眼镜上，一秒钟就能解除你手机的脸部识别，探索隐私进入无人的境界。 这不是科幻电影的想象，而是首届人工智能安全竞赛颁奖典礼现场展示的真实攻防场景。

　　日前，由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智能科技有限公司等单位共同主办的首届人工智能安全大会落下帷幕。 大会期间，对人工智能的安全风险发生了讨论。 与会专家表示，人工智能安全风险已经不是未来的挑战，而是当前的威胁，必须重视人工智能安全体系建设，加快促进人工智能安全领域关键技术研究和攻防实践。

　　人工智能和其他通用技术一样，在高歌猛进的同时，也带来了一定的风险和隐患。 获得“吴文俊人工智能杰出青年奖”的瑞莱智慧CEO田天认为，人工智能技术的风险发生范围随着应用场景的扩展而逐渐扩大，风险发生的可能性也随着应用频率的增加而提高。 在他看来，人工智能当前的安全风险主要可以从“人”和“系统”两个角度来分析。

　　要从人的角度评价人工智能的安全问题，首先是技术的两面性问题，存在人工智能滥用的问题。 具体来看人工智能的应用，最典型的代表就是深度伪造技术，其所负的应用风险持续加剧，产生了实质性的危害。

　　本次大赛的人脸识别破解演示揭示了系统的风险，来自深度学习算法自身的脆弱性。 以深度学习算法为核心的第二代人工智能是“黑匣子”，无法解释，意味着系统存在结构漏洞，可能面临不可预测的风险。 典型的例如现场演示的“魔法贴纸”，实际上是“对抗样本攻击”，意味着系统会因对输入数据的干扰而做出错误的判断。

　　自动驾驶感知系统中也存在该漏洞。 通常，在识别出路障、标志、行人等目标后，自动驾驶汽车会立即停车，但在对目标物体添加干扰图案后，车辆的感知系统可能会意外笔直碰撞。

　　大会期间，《人工智能算力基础设施安全发展白皮书》发布。 其中，人工智能计算能力基础设施与传统的计算能力基础设施不同，无论是“基础设施”、“人工智能计算能力”还是“公共设施”，都具有基础设施属性、技术属性、公共属性三重属性。 因此，推动人工智能计算能力基础设施安全发展，应从加强自身安全、保障运行安全、支持安全合规三个方面着力。统筹发展与安全，似乎是一切新技术发展过程中面临的必然问题，如何实现高水平发展与高水平安全的良性互动，也是当前人工智能产业发展最重要的命题之一，现场许多专家就此话题展开了讨论。

　　“人工智能攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。 如果模型有错误，就需要及时修复。 ”中科院信息安全国家重点实验室副主任陈恺提出了“神经网络手术刀”的方法，通过识别引起错误的神经元，进行精确的“微创”修复。

　　与传统的模型修复工作不同，蔡先生需要重新训练模型，或者依赖相对大量的数据样本。 他说，这种方式类似于“微创手术”，只需极少量的数据样本就可以大幅提高模型修复效果。

　　开放环境下的人工智能系统面临着诸多安全挑战，如何解决通用人工智能算法全周期的安全保障问题是关键。

　　北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙表示，从技术上看，应该形成从安全性测试到安全性分析和安全性强化的完整技术手段，最终形成标准化的测试流程。

　　他还指出，未来人工智能的安全性必须以从数据、算法到系统各个层面的全面评估为中心，与从硬件到软件的安全可靠的计算环境相结合。

　　工商金融研究院安全攻防实验室主管专家苏建明表示，人工智能安全治理需要广泛合作和开放创新，加强政府、学术机构、企业等产业各参与者交流合作，建立积极的生态规律。 在政策层面加快人工智能立法进程，加大对人工智能服务水平、技术支撑能力等专业监督的考核力度。 在学术层面，加大人工智能安全研究激励投入，通过产学研合作模式加快科研成果转化和落地。 在企业层面，逐步推进人工智能技术从场景拓展向安全可靠发展的转变，通过参与标准制定、提供产品服务，不断探索人工智能的安全实践和解决方案。

　　实际上，构建人工智能安全生态，一方面需要技术的持续发展，另一方面也需要专业技术人员的建设和培养。 田天表示，人工智能安全研究目前仍属于新兴领域，专业人才少，缺乏系统的研究团队，本届大赛通过实战演练方式验证和提高运动员实战能力，为培养高水平、高水平的人工智能安全新型人才队伍“快速通道”

　　专家们认为，从长远来看，人工智能安全问题需要从算法模型原理上突破，只有不断加强基础研究才能解答核心科学问题。 此外，他还强调，人工智能未来的发展需要确保对社会、国家整体发展的有效性和正面促进性，需要政产学研多方合作推进。