ETSI 报告为标准化人工智能安全铺平了道路

欧洲电信、广播和电子通信网络和服务标准组织 ETSI 的一份新报告旨在为建立人工智能 (AI) 安全标准铺平道路。

创建标准的第一步是描述保护基于 AI 的系统和解决方案的问题。这就是 24 页的报告 ETSI GR SAI 004，它是第一个由 ETSI 保护人工智能行业规范组 (SAI ISG) 发布的报告。它定义了问题陈述，并特别关注机器学习 (ML) 以及与机器学习生命周期每个阶段的机密性、完整性和可用性相关的挑战。它还指出了人工智能系统的一些更广泛的挑战，包括偏见、道德和解释能力。概述了许多不同的攻击媒介，以及几个实际使用和攻击的案例。

为了确定保护人工智能所涉及的问题，第一步是定义人工智能。对于 ETSI 小组，人工智能是系统处理显式和隐式表示的能力，以及执行任务的程序，如果由人类执行，这些任务将被认为是智能的。这个定义仍然代表了广泛的可能性。然而，有限的一组技术现在变得可行，这主要是由于机器学习和深度学习技术的发展，以及训练和实施此类技术所需的数据和处理能力的广泛可用性。

许多机器学习方法都是常用的，包括监督学习、无监督学习、半监督学习和强化学习。

• 监督学习——所有训练数据都被标记，并且可以训练模型以根据一组新的输入预测输出。
• 半监督学习——数据集被部分标记。在这种情况下，甚至可以使用未标记的数据来提高模型的质量。
• 无监督学习 - 数据集未标记，模型在数据中寻找结构，包括分组和聚类。
• 强化学习——代理通过经验学习定义如何行动的策略，以最大化他们的奖励；代理通过状态转换在环境中进行交互来获得经验。

在这些范式中，可能会使用各种模型结构，其中一种最常见的方法是使用深度神经网络，其中在一系列模仿人脑行为的分层层上进行学习。

还可以使用各种训练技术，即对抗性学习，其中训练集不仅包含反映预期结果的样本，还包含旨在挑战或破坏预期行为的对抗性样本。

“有很多关于人工智能伦理的讨论，但没有关于保护人工智能的标准。然而，它们对于确保基于人工智能的自动化网络的安全性变得至关重要。第一份 ETSI 报告旨在全面定义保护 AI 面临的挑战。与此同时，我们正在研究威胁本体，研究如何保护 AI 数据供应链以及如何对其进行测试，”ETSI SAI ISG 主席 Alex Leadbeater 解释说。

当被问及时间表时，Leadbeater 告诉embedded.com，“对于技术规格来说，再过 12 个月是合理的估计。未来几个季度将发布更多技术报告（AI 威胁本体、数据供应链报告、SAI 缓解策略报告）。事实上，一个关于人工智能安全测试的规范应该在第二季度/第三季度末之前发布。接下来的步骤将是确定问题陈述中的特定区域，这些区域可以扩展为更详细的信息工作项。”

报告大纲
继人工智能和机器学习的定义之后，该报告着眼于数据处理链，涵盖整个生命周期中的机密性、完整性和可用性挑战，从数据采集、数据管理、模型设计和软件构建，到培训、测试、部署和推理和升级。

在人工智能系统中，数据可以从多种来源获取，包括传感器（如闭路电视摄像机、手机、医疗设备）和数字资产（如来自交易平台的数据、文档摘录、日志文件）。数据也可以有多种不同的形式（包括文本、图像、视频和音频），可以是结构化的或非结构化的。除了与数据本身相关的安全挑战外，还要考虑传输和存储的安全性。

为了表明数据管理中的完整性挑战，在修复、扩充或转换数据集时，重要的是确保这些过程不会影响数据的质量和完整性。对于受监督的机器学习系统，重要的是数据标记尽可能准确和完整，并确保标记保持其完整性并且不会受到损害，例如通过中毒攻击。解决确保数据集无偏见的挑战也很重要。数据增强技术会影响数据的完整性。

涵盖的另一个领域是围绕设计挑战以及偏见、数据道德和可解释性等无意因素。

例如，偏差不仅应该在设计和训练阶段考虑，而且在系统部署之后也应该考虑，因为偏差仍然可能被引入。该报告引用了 2016 年的一个例子，当时推出了一个聊天机器人，旨在作为“对话理解”的实验。聊天机器人将通过推文和直接消息与社交网络用户互动。在几个小时内，聊天机器人开始在推特上发布极具攻击性的信息。聊天机器人被撤回后，发现聊天机器人的帐户已被互联网巨魔操纵以显示偏见行为。偏差并不一定代表安全问题，而只会导致系统无法满足其功能要求。

在道德方面，该报告强调了几个例子，包括自动驾驶汽车和医疗保健。它引用了布莱顿大学的一篇论文，该论文讨论了一个假设场景，即由人工智能驱动的汽车撞倒行人，并探讨了随之而来的法律责任。 2018 年 3 月，当一辆自动驾驶汽车在亚利桑那州坦佩市撞死一名行人时，这种情况成为现实。这不仅引起了法律责任的关注，还引起了决策过程本身潜在的道德挑战。 2016 年，麻省理工学院 (MIT) 推出了一个名为 Moral Machine 的网站，探索让智能系统做出符合道德性质的决策所面临的挑战。该网站试图探索人类在面临道德困境时的行为方式，并更好地了解机器应该如何行为。

报告强调，虽然道德问题对机密性、完整性和可用性等传统安全特征没有直接影响，但它们会对个人对系统是否可信的看法产生重大影响。因此，人工智能系统设计者和实施者必须考虑道德挑战，并寻求创建能够在用户之间建立信任的强大道德系统。

最后，该报告着眼于攻击类型，从中毒和后门攻击到逆向工程，然后是现实世界的用例和攻击。

在中毒攻击中，攻击者通常在训练阶段试图破坏 AI 模型，以便部署的模型以攻击者希望的方式运行。这可能是由于模型基于某些任务或输入而失败，或者模型学习了一组攻击者想要的行为，但模型设计者并不打算这样做。中毒攻击通常可以通过三种方式发生：

• 数据中毒 – 攻击者在数据收集或数据管理阶段将错误或错误标记的数据引入数据集中。
• 算法中毒 – 当攻击者干扰用于学习过程的算法时。例如，联邦学习涉及在数据子集上训练单个模型，然后将学习到的模型组合在一起形成最终模型。这意味着单个数据集仍然是私有的，但会产生固有的漏洞。由于攻击者可以控制任何单个数据集，因此他们可以直接操纵学习模型的那部分并影响系统的整体学习。
• 模型中毒 – 当整个部署模型简单地被替代模型替换时。这种类型的攻击类似于传统的网络攻击，其中包含模型的电子文件可能会被更改或替换。

虽然“人工智能”一词起源于 1950 年代在美国新罕布什尔州汉诺威达特茅斯学院举行的一次会议，但 ETSI 报告中描述的现实生活中的使用案例显示了自那以后它的发展程度。此类案例包括广告拦截器攻击、恶意软件混淆、深度伪造、手写复制、人声和虚假对话（这已经引起了很多聊天机器人的评论）。

下一步是什么？作为本 ISG 一部分的持续报告

该行业规范小组 (ISG) 正在查看几份正在进行的报告，作为其将深入研究的工作项目的一部分。

安全测试 ：本工作项的目的是确定适用于基于 AI 的组件的安全测试的目标、方法和技术。总体目标是制定 AI 和基于 AI 的组件的安全测试指南，同时考虑到符号和子符号 AI 的不同算法，并解决“AI 威胁本体”工作项中的相关威胁。人工智能的安全测试与传统系统的安全测试有一些共性，但由于

(a) 符号和子符号 AI 与传统系统之间的显着差异，这对其安全性以及如何测试其安全属性具有重大影响；

(b) 不确定性，因为基于 AI 的系统可能会随着时间的推移而发展（自学习系统），并且安全属性可能会降低；

(c) 测试 oracle 问题，对于基于 AI 的系统而言，分配测试结论是不同的并且更加困难，因为并非所有预期结果都是先验已知的，以及 (d) 数据驱动算法：与传统系统相比，（训练）数据形成亚符号人工智能的行为。

本安全测试工作项的范围是涵盖以下主题（但不限于）：

• 人工智能的安全测试方法
• 从安全角度测试 AI 数据
• AI 安全测试预言机
• 定义人工智能安全测试的测试充分性标准
• 人工智能安全属性的测试目标

并且考虑到上述主题，它为人工智能的安全测试提供了指南。该指南将使用“人工智能威胁本体”工作项的结果，通过安全测试覆盖人工智能的相关威胁，并解决测试基于人工智能的系统时的挑战和局限性。

人工智能威胁本体 ：此工作项的目的是定义什么会被视为 AI 威胁，以及它与对传统系统的威胁有何不同。为这项工作提供基本原理的出发点是，目前，对于什么构成对 AI 的攻击以及它可能如何被创建、托管和传播，还没有达成共识。 “人工智能威胁本体”工作项目可交付成果将寻求使不同利益相关者和多个行业的术语保持一致。本文件将在网络和物理安全的背景下定义这些术语的含义，并附有相应的叙述，专家和各行各业的知识渊博的受众都应该可以轻松访问。请注意，此威胁本体将人工智能视为系统、对抗性攻击者和系统防御者。

数据供应链报告 ：数据是人工智能系统开发的关键组成部分。这包括原始数据以及来自循环中其他系统和人类的信息和反馈，所有这些都可用于通过训练和再训练 AI 来改变系统的功能。然而，对合适数据的访问通常是有限的，导致需要求助于不太合适的数据源。损害训练数据的完整性已被证明是针对 AI 系统的可行攻击媒介。这意味着保护数据供应链是保护 AI 的重要一步。本报告将总结当前用于获取 AI 训练数据的方法以及可以控制数据处理和共享的法规、标准和协议。然后，它将对该信息进行差距分析，以确定标准的可能要求范围，以确保数据、相关属性、信息和反馈的可追溯性和完整性，以及这些内容的机密性。

SAI 缓解策略 报告：该工作项目旨在总结和分析针对基于 AI 的系统的威胁的现有和潜在缓解措施。目标是制定指导方针，以减轻在系统中采用人工智能带来的威胁。这些指南将通过减轻已知或潜在的安全威胁来阐明保护基于 AI 的系统的基线。他们还解决了在某些潜在用例中为基于 AI 的系统采用缓解措施时的安全能力、挑战和限制。

?硬件在人工智能安全中的作用： 准备一份报告，确定专用和通用硬件在 AI 安全中的作用。这将解决硬件中可用的缓解措施以防止攻击，并解决支持 SAI 的硬件的一般要求。此外，本报告将讨论使用 AI 保护硬件的可能策略。该报告还将总结人工智能硬件安全方面的学术和工业经验。此外，该报告还将解决硬件引入的漏洞或弱点，这些漏洞或弱点可能会放大对 AI 的攻击向量。

此处提供了完整的 ETSI 报告，该报告定义了保护 AI 的问题陈述。