多无人系统协同中的人工智能安全探索.docx

《多无人系统协同中的人工智能安全探索.docx》由会员分享，可在线阅读，更多相关《多无人系统协同中的人工智能安全探索.docx（14页珍藏版）》请在优知文库上搜索。

1、一、前言智能无人系统种类多样，覆盖海陆空不同空间，正在全面深入国家安全和社会生活各领域，并推动新一轮产业变革和相关技术高度集成。多无人系统协同作为一项人工智能的颠覆性技术，将在空间上分布的无人系统有机连接起来，实现多系统在时间、空间、模式、任务等多维度上的有效协同，最终形成目标探测、跟踪识别、智能决策、自主控制和效能评估的完整链条。伴随着技术水平的不断提升，多无人系统的使命任务将不断拓展，将极大地改变日常生活方式和军事作战方式。多无人系统协同在给社会创造价值的过程中存在着诸多安全隐患，如无人车的交通事故，无人机的扰航、恐怖袭击，机器人造成工人失业等。多无人系统协同可能将在军事作战、产业升级、政

2、府监管、社会治理以及伦理等多个方面给国家安全带来新的挑战。目前，国内多无人系统协同的研究仍处于起步阶段，其基础理论框架对未来无人系统发展和技术突破起着至关重要的作用。因此，本文针对这一空白领域展开前瞻研究，旨在揭示多无人系统协同中人工智能安全的重要意义，针对相应问题提出对策建议，以期为我国无人系统安全发展提供参考。二、统筹推进多无人系统协同赋能应用与风险防控意义重大（一）多无人系统协同研究持续高速发展的重要抓手2017年7月，国务院印发的新一代人工智能发展规划阐释了人工智能新时代战略的丰富内涵，这为我国多无人系统中人工智能安全改革指明了方向，进一步明确了中长期发展的目标。我国人工智能新时代战略

3、实施以来迎来了很大起色，但关于多无人系统中的人工智能安全问题仍未给出明确解决方案。寻找各项问题解决方案，立足安全基础，推进多无人系统的稳步发展，有利于多无人系统人工智能落地。（二）不断增强我国军事实力的有效途径军事实力是综合国力最直接的体现，在多无人系统广泛应用于军事领域的背景下，其安全问题的重要性更加突出。一方面，越来越多的国家研发出了智能化武器，实现多无人系统协同作战的能力越来越强，未来的战争将由多无人系统协同作战主导；因此，在智能化战争中如何保证领土主权和国土安全具有重要意义。另一方面，在智能化战争中多无人系统自身的防护同样具有重要意义，如何保证自身系统的安全、保证数据不泄露、控制权在手

4、、遭遇打击仍能完成任务是目前多无人系统研究的一大课题。（三）提升我国社会安全保障水平的关键前提人工智能安全是关系到我国经济社会发展的时代性、战略性问题。多无人系统协同将广泛应用于工业、农业、经济和国防领域，对国家安全也会带来深刻变革。由于多无人系统滥用门槛低，容易被极端组织和犯罪团伙利用，管理难度远大于从前。加强人工智能新时代多无人系统立法，形成数据、模型、应用等一系列相关的法律、法规，完善人工智能使用标准的制定，有助于带动国家整体社会安全保障水平的提升。（四）实现未来高度智能化社会建设的必然要求传统无人系统目前已应用于社会的智能化建设，如智能快递分拣、无人超市、交通违章识别等，节省了大量的人

5、力。未来，多无人系统协同的广泛应用将会在更大程度上保障和改善民生。但相较于传统无人系统，应用具备通信和交互能力的多无人系统可能会引发更加严重的公共安全、伦理安全等问题。因此，重点加强多无人系统应用中的问题研究和风险防范至关重要，只有处理好上述问题，才能确保多无人系统在未来能够安全可靠地为社会做出贡献，推动我国新一代人工智能健康发展。三、多无人系统协同安全发展概况随着多无人系统协同理论体系的成熟，相应的产品与应用呈现出迅猛发展的势头。从应用领域的角度，多无人系统产品主要包括无人车集群，无人机集群和无人船集群。无人车集群不但能够将各类车辆的驾驶人员解放出来，极大地减轻汽车驾驶员的工作量，还能够通过

6、智能优化算法合理安排道路资源，缓解交通压力，并减少道路交通安全事故的发生。无人机集群的应用则涵盖了军事上的攻击、骚扰、侦查任务以及民用的灾害救援、监控巡查、环境监测、农业植保等领域。无人船集群则主要用于执行危险、枯燥以及其他不适于有人舰艇执行的任务,包括水质监测、航道测绘、海上巡逻等。相较于传统的有人系统，多智能体系统具有多方面优势，包括更低的操作门槛，更低的运维成本，更广泛的应用领域，更稳定的运行状况，更高效的资源分配等。在军事上，多无人系统更是能够极大程度地保障操作人员的安全，减少人员的伤亡，在进攻端还能够利用其数量优势形成长距离、大范围、高精度的饱和式打击，甚至有可能改变现代战争的模式。

7、随着多无人系统的飞速发展，很多发达国家目前正积极推进智能多无人系统安全框架研究以及法案的制定。美国在多无人系统中的人工智能安全方面的研究以及政策发布非常频繁，2019年6月，美国更新了国家人工智能研窕和发展战略计划，将人工智能系统安全列为战略目标之一；2020年1月发布的人工智能应用监管指南备忘录（草案）提出了人工智能十项监管原则；2020年3月通过的2020年国家人工智能计划法案支持对无人系统的道德、法律、社会等安全问题展开研究；2020年11月更新的人工智能和国家安全中详细写明了智能多无人系统在军事上的发展与伦理安全问题。欧盟方面同样在智能无人系统安全上展开了积极研究以及政策制定，欧盟各成

8、员国都纷纷出台法律法规以规范无人机运行。法国自2019年7月起规定无人机必须注册电子账号；德国规定所有无人机必须在机身刻上所有者的姓名与地址；英国把机场附近的无人机禁飞区半径从原来的Ikm增加到5km；西班牙、葡萄牙、意大利等国都禁止无人机在夜间飞行。2019年初，欧盟委员会发布了关于欧洲人工智能开发与使用的协同计划，将人工智能安全列为了一大关键发力领域，在全球人工智能伦理道德领域占据了领先地位；2019年4月，欧盟委员会发布了人工智能伦理准则一一可信Al伦理指南，提出了可信Al的七大原则；2020年6月，欧盟新发布的无人机通用准则在欧盟全境正式启用，该准则取代了欧盟成员国各自的现行法规，为欧

9、洲发展无人机行业提供了明确、统一的规则。我国的多无人系统相关法案制定也在逐步推进。2017年7月，我国国务院首次颁布的人工智能战略性文件新一代人工智能发展规划,提出了2030年人工智能核心产业规模应超过1万亿元，带动相关产业规模超过10万亿元的目标，并对多无人系统协同中的人工智能基础理论框架给出了定义，提出了“加强人工智能相关法律、伦理和社会问题研究，建立保障人工智能健康发展的法律法规和伦理道德框架。但该框架在自主协同控制与优化决策理论的定义中，更侧重于协同控制的实现与优化，对于多无人系统中可能存在的安全性隐患没有较多阐述。2020年12月，中国信息通信研究院安全研究所发布了人工智能安全框架（

10、2020年），制定了一个较为全面的人工智能安全框架，但其中对于多无人系统协同中特有的安全问题表述仍不详细。四、多无人系统协同面临的挑战区别于传统无人系统研究，多无人系统协同的核心要素包括通信交互，合作博弈，以及群体智能演化等。结合多无人系统协同的上述特点，坚持以问题为导向分析其具体战略举措，围绕多无人系统本身的内生安全和多无人系统对外界的衍生安全两大模块构建了多无人系统协同中的人工智能安全框架，如图1所示（一）内生安全为了多无人系统任务的可靠执行，内生安全主要考虑的是系统本身是否稳定可靠，能否在通信交互过程中不泄密，能否保证控制权始终在自己手中，以及能否在出现故障后继续完成任务。多无人系统协同

11、的内生安全要关注多无人系统工作的各个环节，从保证局部每个环节的安全以确保整体的安全，这其中涵盖了各无人系统单体间交互的数据安全、多无人系统所处的网络安全、搭载于多无人系统的软件及其算法安全、多无人系统本身的系统架构安全等。多无人系统协同的内生安全包括了通信与交互安全、协同决策与集群演化算法安全和系统架构安全三部分。1 .通信与交互安全多无人系统协同任务在执行过程中，需要频繁的进行通信交互，这其中包括各多无人系统个体之间的交互，还包括各多无人系统与其所有者之间的交互，多无人系统与各种实体任务对象交互等。因此，通信与交互安全是多无人系统协同内生安全的重要内容。通信网络安全的主旨是防范来自网络的攻击

12、，保障多无人系统所有者能够安全可靠地控制多无人系统,保证数据不被窃取和篡改。一方面，多无人系统的协同中需要保障彼此之间的通信安全可靠，一旦数据传播受到截断,信息内容被他人窃取、解密或篡改，多无人系统将受到极大的威胁，我方战略意图也将受到严重打击。另一方面，如果通信网络的安全性不能满足要求，则多无人系统的控制权将不能得到保障，由于多无人系统极强的行为能力，与单纯的各种数据损失相比较，控制权不安全造成的后果往往更严重。针对上述多无人系统存在的数据泄露及控制权丢失的问题，为系统个体搭载不可被外界直接访问的安全存储空间，对数据进行加密处理，保证通信过程中的数据安全；同时可以采用数字证书、密钥等认证材料

13、进行双向的远程身份认证，以确保系统中每个个体身份的合法性以及指挥部的可信性。2 .协同决策与集群演化算法安全在算法安全上，一方面要考虑多无人系统能否做出正确的决策，另一方面更要考虑协同决策算法和自学习演化的方向是否自主可控。决策算法不成熟可能导致协同欠鲁棒，难以实现临机协同决策和行动，当系统结构受外界影响发生变化时，智能协同算法如未能实时完成控制和优化，则很难实现精准的协同控制任务，使协同一致性和稳定性降低，从而增加了协同任务失败和多无人系统在任务中损毁的风险。在未来的发展中，基于群体智能演化的多无人系统能够自主学习和换代，其演化方向的安全性更为重要，将成为多无人系统协同中算法安全的全新挑战。

14、针对上述问题，改进决策算法的训练过程，揭示无人系统集群的协同演化规律，设计主动防御的机制，在训练过程中加入大量可能出现的对抗样本，即在训练过程中添加假想敌，从而提高算法的鲁棒性，减少协同控制任务失败以及演化方向错误的可能性，更加安全可靠地实现协同决策和演化。3 .系统架构安全系统架构安全可细分为机电安全和拓扑安全两个方面。其中，机电安全要考虑多无人系统中每个个体的信息收发特性、信息处理能力是否足够，传感器、通信模块能否满足执行协同任务的需求。拓扑安全则是建立在机电安全的基础上，需要考虑多无人系统的整体响应速度和协同模式，能否在复杂场景下实时采集、处理和交换信息，进一步正确分配和执行任务，并且在

15、部分无人系统单体出现故障时，能否正确检测故障，进行拓扑切换继续任务。建立多层分簇的协同框架可以有效解决系统架构安全问题，多层分簇的框架可以帮助多无人系统在面对变化时快速做出反应，即使遇到故障也能实现拓扑切换，继续完成好下一步任务，从而使得网络拓扑结构更加稳定，实现更加稳健和鲁棒的多无人系统协同。（二）衍生安全多无人系统协同的衍生安全主要考虑的是多无人系统在投入使用后，系统外部的人或其他事物可能面临的影响。在系统出现故障、受到干扰或出现决策失误时，除了任务失败和系统本身损毁的风险外,还可能引发衍生安全问题。同时，如果多无人系统控制权的所有者怀有恶意，对多无人系统下达了带有其不良企图的任务目标，可

16、能产生更为严重的衍生安全风险。多无人系统协同中的人工智能衍生安全主要考虑公共安全、伦理安全和军事安全三个方面。1 .公共安全多无人系统协同工作时，事故的发生将会危害公共安全，不但会对社会秩序造成一定影响，更有可能会威胁到人身财产安全。当前多无人机协同系统在各行各业广泛使用，但安全性能评估体系还未完善，易出现各种事故，例如各种外界干扰导致的无人机群演示失败、无人车造成道路交通拥堵等。同时，多无人机协同具有低成本、用途广、使用门槛低、身份信息隐蔽、大面积杀伤等特点，非法使用将会严重威胁到人身财产安全，多无人系统的发展势必会带来新的违法犯罪形式，而与单无人系统相比，多无人系统便于无身份有组织犯罪，会极大地危害公共安全。面对多无人系统可能对社会公共安全带来的冲击，加强监管无疑是最为有效的解决途径。加强对所有无人设备厂商以及持有者的监管，对于厂商严格检查其所有生产线、搭载算法以及设备流通对象，对于