人工智能（AI）产业竞技式发展，引发全球政产学研用各界关注。近半年，欧美大举出台相关战略、法规和标准措施，以保持和巩固其在人工智能领域的领导地位。欧盟标准化工作主要围绕《人工智能法案》的出台和人工智能技术的实际应用，而美国标准化工作则基于联邦法和州法的制定及NIST的研究成果。
一、 背景情况
（一）欧盟保持“强”监管模式，强调个人权利保障。欧盟在人工智能法律监管方面率先布局，有意复制GDPR经验，推进人工智能全球统一立法，在对人工智能系统进行分类监管的基础上，针对可能对个人基本权利和安全产生重大影响的人工智能系统建立全面的风险预防体系。该预防体系是在政府立法主导和监督下，推动企业建设内部风险管理机制。此外，欧盟将标准化作为市场监管的重要手段。2023年5月欧盟委员会发布M/593号标准化请求，向欧洲标准化委员会和欧洲电工标准化委员会（CEN/CENELEC）提出10项标准需求。
（二）美国采取“软”治理模式，侧重产业发展创新。自2023年5月以来，美国白宫发布《国家人工智能研发战略计划（2023年版）》，在技术层面新增“开展可扩展的通用目的人工智能系统研究”等优先事项；美国国会参众两院两党议员共同提出《国家人工智能委员会法案》，拟建立“国家人工智能委员会”，负责对人工智能监管立法的迫切度进行分级并引导相关立法；美国商务部成立生成式人工智能的工作组，由美国国家标准与技术研究院（NIST）负责，探索使用人工智能风险管理框架以指导应对快速发展的生成式人工智能所产生的风险，并逐步开展生成式人工智能相关的测试和评估。
二、 主要内容
（一） 近期欧盟人工智能网络安全标准化工作情况
1. 欧委会要求CEN/CENELEC制定人工智能领域标准
2023年5月22日，欧委会发布M/593号标准化请求，向欧洲标准化委员会和欧洲电工标准化委员会（CEN/CENELEC）提出10项拟完成的人工智能标准化成果物（详见表1），以促进风险管理、数据质量、透明度、人工监督、准确性、鲁棒性、网络安全、系统存储能力、供应商质量管理体系和符合性评估等人工智能标准研制。同时，欧委会要求CEN/CENELEC编制一份工作计划，说明表1中所有标准化成果的负责技术机构以及推进时间安排。
2. ENISA发布4份人工智能网络安全报告
2023年7月，欧盟网络安全局（ENISA）举行“人工智能网络安全会议”，会上ENISA执行主任朱汉·勒帕萨尔（Juhan Lepassaar）表示：“ENISA正在研究人工智能技术的复杂性，以最大限度地降低网络安全风险，加强隐私保护。ENISA也尝试在人工智能技术的安全性和系统性能之间取得最佳平衡，为政策制定者提供支持。”本次会议ENISA发布了4份关于人工智能安全的报告，分别是：《人工智能良好网络安全实践的多层框架》《人工智能和网络安全研究》《人工智能中的网络安全和隐私：医学影像诊断》《人工智能中的网络安全和隐私：预测电网需求》。
（1）《人工智能良好网络安全实践的多层框架》
此前，ENISA已经发表了两份关于人工智能网络安全的报告，即《人工智能网络安全挑战》和《保护机器学习算法》，为人工智能机器学习（ML）生命周期内的网络安全提供了指导。然而，上述报告并未完全涵盖整个人工智能生命周期和人工智能供应链涉及的全部要素。为此ENISA发布《人工智能良好网络安全实践的多层框架》，提出了人工智能最佳网络安全实践框架（framework for AI good cybersecurity practices，FAICP），以增强基于人工智能的产品的弹性和安全性。
FAICP是一个可扩展的三层框架，为人工智能服务提供者、利益相关方和研究界如何使用现有的网络安全实践提供指导，以及为卫生、能源、电信等需要额外特殊实践的行业提供建议。FAICP具体包括以下内容：
层级1——网络安全基础，包含在各种标准、方法和最佳实践中需要AI利益相关方应用的网络安全基本原则和规程。这一层的关键内容为对承载人工智能系统的ICT基础设施的安全保护、风险管理、网络安全认证、影响人工智能系统的网络安全立法和政策。
层级2——人工智能基础和网络安全，包括针对人工智能系统的特定网络安全实践，如对抗攻击、假数据攻击、恶意攻击等。这一层的关键内容为人工智能立法、人工智能类型、人工智能资产和过程、人工智能威胁评估、人工智能安全管理、人工智能相关标准、伦理和可信人工智能、人工智能相关生态和行动。
层级3——行业特定的网络安全良好实践，包括针对不同行业的人工智能系统的特定网络安全最佳实践。本报告给出了能源、健康、汽车和通信行业的网络安全指南。
此外，本报告基于FAICP框架内容，对欧盟成员国的主管部门现阶段采用或制定的网络安全要求进行调研分析，建议后续欧盟应在数据污染、技术偏见、缺乏公平性等方面进行可衡量且持续性的评估和管理。同时，本报告强调了国家主管部门和人工智能相关方之间合作的重要性。这种合作可以通过共享最佳实践、经验和资源来实现，以及通过建立跨部门和跨行业的合作关系来实现。
（2）《人工智能和网络安全研究》
人工智能是一种典型的双重用途技术，恶意行为者通过不断引入和更新自身技术能力，延长甚至扩大已经存在的网络安全威胁。《人工智能和网络安全研究》首先介绍了人工智能和网络安全的相关概念、特征和数据集，以及人工智能在网络安全中的应用和挑战。应用包括入侵检测、威胁情报、漏洞分析、恶意代码检测和响应等方面；挑战包括数据隐私、对抗性攻击、可解释性和可审计性等方面。
该报告通过分析下一代电信网、物联网（IoT）、网络物理系统（CPS）和生物网络安全等场景中人工智能可能存在的潜力和风险，提出了5个关键研究方向，以进一步研究人工智能用于网络安全，具体研究方向包括：1）建立测试平台，研究和优化基于机器学习用于网络安全的工具和技术的性能；2）鼓励开发基于人工智能和机器学习的渗透测试工具以发现安全脆弱性并评估攻击者的行为；3）制定标准化框架，用以评估信息流以及所设计系统的隐私保护和保密性；4）为使用真实场景的实践者开发人工智能培训；5）建立人工智能和网络安全威胁观察站。
此外，该报告为未来的欧盟政策发展和资助计划提供建议，旨在加强跨部门、跨国家和跨学科的合作和协调，促进人工智能技术的可持续发展和社会责任，制定标准、规范、指南和最佳实践，提高公众对人工智能和网络安全的认知和理解，以及加强政策制定和监管等。
（3）《人工智能中的网络安全和隐私：医学影像诊断》
近年来，人工智能技术在医学影像诊断领域得到了广泛应用，这种技术可以帮助医生更快速、准确地诊断疾病，提高医疗效率和准确性。然而，随着AI技术的不断发展，网络安全和隐私问题也日益凸显。为了保护患者的隐私和医疗数据的安全，ENISA发布了《人工智能中的网络安全和隐私：医学影像诊断》。
该报告分析了在医学影像诊断中使用人工智能的网络安全和隐私要求及措施，描述了场景的基本原理，识别了由此带来的安全和隐私风险及应对的控制措施。该报告还提供了一些实用的指南和最佳实践，以帮助医疗机构实施相应的安全和隐私控制措施。包括实施访问权限管理流程、确保所有系统和设备符合身份验证和访问控制策略、监控模型的性能、减少模型可用信息、为医疗数据处理确定数据控制器、对来自历史患者的数据进行匿名化处理、生成日志并进行内部审计等。
（4）《人工智能中的网络安全和隐私：预测电网需求》
人工智能在电力行业中的应用具有广阔的前景，可以帮助电力公司更准确地预测电力需求，提高电力网络的效率和可靠性。然而，人工智能技术的应用也带来了一系列的网络安全和隐私问题，如数据泄露、恶意攻击等。为此，ENISA发布了《人工智能中的网络安全和隐私：预测电网需求》。
该报告分析了在预测电网需求中使用人工智能的网络安全和隐私要求及措施，描述了场景的基本原理，识别了由此带来的安全和隐私风险及应对的控制措施，如数据加密、访问控制等。同时，报告也强调了这些措施的局限性，指出这些措施只是一种应对网络安全和隐私问题的手段，而不是解决问题的根本方法。
此外，报告还提到了一些应对网络安全和隐私问题的挑战，如算法选择、数据收集和处理等。这些挑战需要电力公司和相关机构共同努力，才能更好地应对网络安全和隐私问题。
3. CEN发布人工智能和信息通信技术白皮书
2023年6月30日，CEN/TC 428“ICT专业化与数字能力”发布《可信赖且稳健的AI的基础》（Foundation for trustworthy and robust AI）白皮书，讨论了ICT专业化标准如何支持欧洲人工智能政策，以及如何将ICT专业化纳入人工智能开发中的问题。
CEN/TC 428指出，在欧洲议会人工智能立法出台与“欧洲技能年”政策的背景下，关于如何负责任地使用人工智能以及如何解决欧洲目前面临的技术与技能差距有许多讨论。CEN/TC 428基于先前制定ICT专业化标准的经验，在白皮书中总结了这些重要讨论结果，并全面审视了人工智能领域ICT专业化的作用以及如何利用欧洲标准化工作提供支持，并提出了如下建议：
（1）制定与ICT专业标准化相一致的人工智能标准化路线图，以构建新的人工智能特定标准，并修订现有的ICT标准，支持人工智能特定的标准；
（2）确保新的人工智能标准与ICT标准保持一致，加强其在ICT行业和相关组织结构中的可持续性和适用性。
（二） 近期美国人工智能网络安全标准化工作情况
1. NAIAC发布首份人工智能研究报告
2022年5月，美国商务部（DOC）下设的美国国家人工智能咨询委员会（National AI Advisory Committee，NAIAC）正式启动运作，该委员会主要就美国的人工智能竞争力、劳动力公平、资金、研究和开发、国际合作和法律问题向总统或其他联邦机构提供咨询意见。NAIAC由来自学术界、工业界、非营利组织和联邦实验室的共26位成员组成。根据国会指示，NAIAC需要在成立一年后向总统和国会提交一份报告，此后每三年提交一份关于《2020年国家人工智能倡议法案》履行情况和相关建议的报告。
2023年5月，NAIAC发布《国家人工智能咨询委员会第一年度报告》，包括四大主题：1）可信人工智能的领导力；2）人工智能研发的领导地位；3）支持人才培养并提供机会；4）国际合作。围绕四大主题，NAIAC提出了14项目标，以及在14项目标的基础上提出了24项行动建议。此处主要就人工智能网络安全相关的4项行动建议进行介绍。
行动建议1：NAIAC建议美国白宫鼓励联邦机构实施NIST AI 100-1《AI风险管理框架（AI RMF）1.0》或与之类似的政策，以有效解决人工智能生命周期所有阶段的风险，并对人工智能系统进行适当的评估和迭代。同时，采用AI RMF不应局限于公共部门，政府还应通过现有机制鼓励私营部门采用这一框架。
行动建议9：NAIAC建立一个包含美国小企业管理局（SBA）、NIST、美国总务管理局（GSA）等多机构工作组，为中小型企业采用可信人工智能制定框架。
行动建议11：NAIAC建议对人工智能开发和部署的问责制及标准制定方法进行持续研究，识别人工智能对公民权利、公民隐私以及社会可能造成的潜在威胁。
行动建议21：NAIAC建议通过正式翻译、战略多边合作以及对外国技术援助等方式，使NIST AI 100-1《AI风险管理框架（AI RMF）1.0》国际化。随着各国政府越来越多地从基于风险的视角看待人工智能治理，人工智能风险管理的通用方法可以推动跨境监管合作，包括美国和欧盟之间的合作。
报告的最后，NAIAC表示拟于近期完成工作组的调整，未来重点研究领域包括：下一代人工智能的持续创新；工作和劳动力中的人工智能；人工智能监管和行政行动；参与、教育和包容；生成式和下一代人工智能的安全与保证；尊重人权的人工智能；人工智能政策和人工智能解决方案的国际合作；人工智能系统采购；人工智能与经济等。
2. 美国白宫公布《国家人工智能研发战略计划》
2023年5月23日，美国白宫更新发布《国家人工智能研发战略计划》（National AI R&D Strategic Plan）。该计划是对2016、2019年版《计划》的再次更新，其中2项战略与人工智能网络安全标准工作相关。
战略6：通过标准和基准衡量和评估人工智能技术。该战略包含五个优先事项：制定广泛的人工智能标准；建立人工智能技术基准；增加人工智能测试平台的可用性；让人工智能社区参与标准和基准制定；制定人工智能系统审计和监控标准。对比2019年版“战略6”优先事项，2023年版新增了“制定人工智能系统审计和监控标准”优先事项。
战略9：为人工智能研究的国际合作建立有原则和可协调的方法。美国国家科学委员会2022年的研究报告表明没有一个国家在当今世界科学和工程的所有方面都处于领先地位。人工智能领域研究成果的地理分布也越来越分散。因此，需要优先开展人工智能研发方面的国际合作，以应对全球挑战。战略性国际伙伴关系将有助于支持负责任的人工智能研发以及人工智能国际标准的制定和实施，确保美国仍然是人工智能研发生态系统的中心枢纽。战略9是2023年版本中新增的战略，其反映了国际合作对人工智能研发日益重要的地位。该战略包含四个优先事项：为开发和使用可信赖人工智能培育全球文化，发展全球伙伴关系；支持全球人工智能系统、标准和框架的发展；促进思想和专业知识的国际交流；鼓励人工智能朝着造福全球目的发展。
3. NIST宣布成立新的人工智能（AI）公共工作组
2023年6月22日，美国商务部宣布，NIST将设立一个新的AI公共工作组，以应对生成式AI技术的风险和挑战。该工作组将协助NIST制定AI领域指南，解决生成式AI技术的特殊风险问题。
该工作组的短期目标是收集有关的指导意见，就如何使用NIST人工智能风险管理框架（AI RMF）来支持生成式AI技术的发展形成“概要文件”。该概要文件应支持和鼓励使用AI RMF解决相关风险。同时，工作组将协助NIST进行测试、评估和测量工作，解决与生成式AI相关的问题。
该工作组的长期目标是探索如何有效利用生成式AI技术应对健康、环境和气候变化等重大挑战。此外，工作组将帮助组织规避和管理生成式AI技术在应用、开发和使用过程中可能造成的风险。
三、小结
本文回顾了近期欧美国际人工智能网络安全标准化工作情况，对其人工智能系统的安全框架、关键研究需求以及特定应用场景的安全和隐私威胁进行了全面的分析和总结。我国可以借鉴欧美在人工智能网络安全标准化工作中的研究思路，加强人工智能安全标准的统筹规划，加快生成式人工智能服务安全、训练数据安全、人工标注安全等急需标准的研制，进一步开展特定行业人工智能安全标准研究工作。
来源：安全内参
