人（rén）工（gōng）智能首个防御软件，清华团队RealAI开辟全新商业模（mó）式

近年来，机器学习作为人工智能（néng）行业的“重头戏”，得到了前所未有的发展，其中基于计算机（jī）视觉的人脸识（shí）别技（jì）术更（gèng）是渗透到了社会生活的方方面面。然而，这（zhè）些看似无（wú）比“聪明”的AI系统却时常会表现出“脆弱”的一面（miàn）。

例（lì）如，在（zài）一些训练数（shù）据无法覆盖到的极端场（chǎng）景中，自动驾（jià）驶汽车的（de）识（shí）别系统可能出（chū）现匪夷所思的决策，引发（fā）致人死亡的严重事故。

此外，这（zhè）类极端（duān）情（qíng）形（xíng）也（yě）可能被恶意制（zhì）造并利用，发动“对抗样本攻击”，即通过对输（shū）入数（shù）据进行细微的、肉眼无法察觉（jiào）的修改就可以误（wù）导识别系统让其给出错误判断。比如百度（dù）、腾讯等研究机构就曾人为（wéi）制（zhì）作（zuò）出误导自动驾驶汽车的“障（zhàng）碍（ài）物（wù）”，让车辆（liàng）驶入逆（nì）行车道甚至面临撞击风险。

其实（shí）这些安（ān）全风险的背后（hòu）都是由于现有的人工智能存在（zài）技（jì）术（shù）性（xìng）缺陷，即算（suàn）法漏（lòu）洞，随着人工智能的落地应用逐步从（cóng）语音识别、人脸识别等受（shòu）限场景延伸至金融决策、医疗（liáo）诊断、自动驾驶等关键核心场景，算（suàn）法漏洞的威胁将愈发凸显出来。

为了解决以上（shàng）问题，已经（jīng）有科技公司开始了相关研究和应用开发，包括百度针对对抗样本（běn）开发的（de）工具包AdvBox，IBM推出的检测模型及对抗攻击的开源（yuán）工具箱ART（Adversarial Robustness Toolbox）。

最近，一家（jiā）定（dìng）位为“安全可控第三代人（rén）工智能”的创业（yè）公司，孵化自清华大学AI研（yán）究（jiū）院（yuàn）的RealAI（瑞莱智慧）正式发布（bù）业界首个针对AI在极端和对抗环境（jìng）下的算法（fǎ）安全性检测与加固的工具（jù）平台——RealSafe人工智能安全平台（tái）。与百度、微（wēi）软推出（chū）的工具（jù）不同，RealSafe是目前（qián）算法安（ān）全领域出现的首个（gè）平台级产品。

业界（jiè）首个针对（duì）AI在极端和（hé）对抗环境下的算法（fǎ）安全性检测与加固的工具平（píng）台

业界（jiè）首个AI模型（xíng）“杀毒软件（jiàn）”，RealAI开（kāi）辟全新商业（yè）赛道

据RealAI CEO田天介绍（shào），不同于用AI技术赋（fù）能网络安全、安防等传统安（ān）全（quán）领域，算法安（ān）全关注（zhù）的是人工智（zhì）能（néng）本（běn）身（shēn）的（de）安（ān）全性（xìng），这一安全风险本质上由人工（gōng）智能（néng）“技术短板”所导致（zhì），将是（shì）限（xiàn）制人工（gōng）智能（néng）发展最（zuì）明（míng）显（xiǎn）的“软肋”。

目前学术（shù）界跟产（chǎn）业界（jiè）都开始意识到算法（fǎ）安全的重要性，2018年中国信息通信（xìn）研（yán）究院安全研究编制的《人工智能安全白皮（pí）书》中，将“算法安全”列为人工智（zhì）能六（liù）大安全风险之一（yī），只不过在（zài）具（jù）体的（de）应对措（cuò）施上，目前仍然存在（zài）诸多挑（tiāo）战。

第一，作为新兴领域，业界对于如何评价算法模型（xíng）的安全性并（bìng）没有清楚（chǔ）的（de）定义。而随（suí）着攻防相互的发展，对抗样本等（děng）新型攻击手段层出不穷，而且变得愈发复杂，尤其（qí）在开源社区、工具包（bāo）的加（jiā）持（chí）下，高级复杂攻击方法快速增长，但是相关防御（yù）手段（duàn）的升级却难以及时（shí）跟上（shàng）。

第二（èr），对抗样本等算法漏洞检测（cè）存在较高的技术壁垒，目前（qián）市面上缺乏自动化（huà）检测评估工具，而大部分企业与组织（zhī）不具（jù）备该领域的专（zhuān）业技能（néng）来妥善应对（duì）日益增长的（de）恶意攻击（jī）。因此，在潜在层面上（shàng），随着人工智（zhì）能的大规模应用（yòng），算法漏洞带来的（de）安全威胁将持续（xù）升（shēng）级。

所以，田（tián）天（tiān）表示，就如网（wǎng）络安全时（shí）代，网络攻击的大（dà）规模渗透诞生（shēng）出杀毒（dú）软件，RealAI团队希望通过RealSafe平台打造出（chū）人工智能时代首个“杀毒软（ruǎn）件”，帮助企业高（gāo）效应对人工智能（néng）时代下算法（fǎ）漏洞孕育出的“新型病毒”。

从安全测评到防御加固，RealSafe高效应对（duì）算法威胁（xié）

据介绍（shào），RealSafe平台提供从算法（fǎ）安全评测到（dào）防御加固整体（tǐ）解（jiě）决方（fāng）案（àn），主要（yào）支持两大功能模块：模（mó）型安全测评、防御解决方（fāng）案。

其中，模型安全评（píng）测主要为用户提供AI模型安全性评测（cè）服（fú）务（wù）。用户只需接入所需测评模型的（de）SDK或（huò）API接口（kǒu），选择平（píng）台内置或者自行上传（chuán）的数据集，平（píng）台将基于（yú）多种算法（fǎ）生（shēng）成（chéng）对抗样（yàng）本模（mó）拟攻击，并综合在不同算法（fǎ）、迭代次数、扰动量大小的攻击下模（mó）型效果的变化，给出模型安全评分及详细（xì）的测评报告。目前已支持黑盒（hé）查（chá）询攻击方法与黑盒迁移（yí）攻击方（fāng）法。

防（fáng）御（yù）解决方案（àn）则是为用户提供模型安全性升级服（fú）务，目前RealSafe平（píng）台支持五种去除对抗噪声（shēng）的通用防御方（fāng）法，可实现对输入数据的自（zì）动去噪处理，破坏攻击者恶意添加（jiā）的对抗噪声。在外（wài）防御效果上，根据（jù）实测来看，部分（fèn）第三方的人（rén）脸比对API通过使用RealSafe平台的防御方案（àn）加固后，安（ān）全性可提高40%以上（shàng）。

而且为了帮助更大范围内的企业高效（xiào）应对（duì）算法威胁，RealSafe平台（tái）还具（jù）备以下两大优势：

组件（jiàn）化、零编码的在线测（cè）评：相较于ART、FoolBox等开源工具需要自行部署、编写代码，RealSafe平台采用组件化、零编码的功能设置，免去了（le）重复造轮（lún）子的精力与（yǔ）时间消耗，用户只（zhī）需提供相应（yīng）的数据（jù）即可在线完成评估（gū），学习成（chéng）本低（dī），无（wú）需（xū）拥有专业算法能力（lì）也可以上手操作。

可视（shì）化（huà）、可（kě）量化的评测结（jié）果：为了帮助（zhù）用户提高对（duì）模（mó）型（xíng）安全性的概念（niàn），RealSafe平台采用可量化的形式对安全评（píng）测（cè）结果进行展示，根据模型在对抗（kàng）样本攻（gōng）击下（xià）的（de）表现进行评分，评（píng）分越高则模型（xíng）安全性（xìng）越高。此外，RealSafe平台（tái）提供安全性（xìng）变化展示，经过防（fáng）御处理后的安全评分变化以及模型效果变（biàn）化一目了然。

随着模型攻击手段在（zài）不断复杂扩张的情况下，RealSafe平台将持续提供（gòng）广泛且深（shēn）入的AI防御（yù）手段（duàn），帮助（zhù）用户（hù）获得实时且自动化的漏（lòu）洞检测和修复（fù）能力。

从数字世界到物理世界，RealAI落地（dì）更多安（ān）全周（zhōu）边产品

随（suí）着机器学（xué）习模型不断的升（shēng）级演化，“对抗样本”已经演变成一种新（xīn）型攻击手段，并且逐渐从数字世界蔓延到物理世界。

因此，除了针对数（shù）字世界（jiè）的算法模型推出安（ān）全评测平台，RealAI团队也联合清（qīng）华大学AI研究院围绕多年来（lái）积累的领先世界的研究成（chéng）果落地了一系列AI攻防（fáng）安全（quán）产（chǎn）品，旨在为更多场景保驾（jià）护航。

比如通过佩戴带有对（duì）抗（kàng）样本（běn）图（tú）案的（de）“眼镜”，黑客可以轻易（yì）破解商用手机的面（miàn）部解（jiě）锁，通过（guò）在胸（xiōng）前张贴（tiē）特制花纹（wén）实现在AI监控下的“隐（yǐn）身”，以（yǐ）及通过在（zài）车辆（liàng）上涂装特殊花（huā）纹躲（duǒ）避AI对车辆的（de）检测。发现类似（sì）新（xīn）型漏（lòu）洞的同时，RealAI也（yě）推出相应（yīng）的防御技术，支持对主（zhǔ）流AI算法中的安全漏（lòu）洞进行（háng）检测（cè），并（bìng）提供AI安全防（fáng）火墙对攻击AI模（mó）型的（de）行为进行有效拦（lán）截。

人（rén）工智能的大潮滚滚而来，随之而来的（de）安全风（fēng）险也将（jiāng）越来越多（duō）样（yàng）化，尤其近（jìn）年来因AI技术（shù）不成熟导致的侵害风险也频频发生，可（kě）以说，算法（fǎ）漏洞已逐渐成为继网（wǎng）络（luò）安全、数据安全后（hòu）又一大安（ān）全难题。而（ér）RealSafe人工智能安全平台（tái）的出现，不仅在为垂直行业降低应对安全风险的门槛（kǎn）与（yǔ）成本，同时其（qí）标准化（huà）的（de）平台级产品（pǐn），也是AI安全这个新兴领域，迈向健康可控的重要标志。