联合国对于应对致命自主武器系统领域新技术的作用

历史见证了技术在战场上创造惊喜。然而，技术不仅可以蒙蔽战士，也可以使政策制定者疏于防备。在多边论坛上共同制订政策时，与技术保持同步的挑战变得更加艰巨，这从本质上要求耐心地构建共同点和共识。

近年来，技术领域已经开始融合并在民用和军用领域创造新的使用场景，尤其是以前深不可测的人工智能领域。计算能力更易获取、互联网连接设备产生的大量数据以及数据存储和操作的成本降低，使得人工智能不再局限于晦涩难懂的会议，而是频繁见诸于各式报纸标题和领导人的演讲中。随着机器学习等技术与大数据集和“训练”人工智能算法的计算能力相结合，机器已经能够承担以前人脑才能执行的任务。在2016年3月的围棋比赛中，英国DeepMind公司的人工智能算法击败了获得18次世界冠军的李世石，这是人与机器之间权力平衡发生转变的有力证明。数字系统智能自主能力的这些进步，很自然会引起那些关注致命自主武器的可能部署和使用的政府、科学家和民间社会的注意。我们需要一个论坛来讨论这些问题，并开始就可能的解决方案建立共识。

冷战期间，与常规武器有关的军备控制与战略武器相比总是相形见绌。20世纪90年代后期，尽管技术和安全趋势开始发生变化，但这种不平衡仍然存在。在特设出口管制制度之外处置先进常规武器的多边生态系统，如1996年瓦森纳安排，仍然处于相对欠发达状态。幸运的是，一份兼顾国际人道主义法和军备控制的文书应运而生，即《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》（《特定常规武器公约》）。¹

1979至1980年在联合国主持下谈判达成的《特定常规武器公约》植根于国际人道主义法的关键原则，例如平民和战斗人员之间的相称性和区别对待。目前，该公约已有五项议定书，即：关于无法检验的碎片的第一号议定书；禁止或限制使用地雷、诱杀装置和其他装置的第二号议定书（1996年5月3日修订）；关于禁止或限制使用燃烧武器的第三号议定书；关于激光致盲武器的第四号议定书；以及关于战争遗留爆炸物的第五号议定书。可以看出，《特定常规武器公约》采用模块化设计，随着围绕武器系统的人道主义问题不断发展和新系统不断出现，这样的模块化设计能将新的解决方案附加到框架条约中。

虽然2012至2013年在日内瓦举行的人权论坛讨论了遥控武器问题，这有助于提高人们的认识，²但《特定常规武器公约》最终成为了讨论致命自主武器系统领域新技术的首选论坛，其灵活性以及在人道主义原则与军事必要性之间所保持的平衡，为观点截然不同的各个国家提供了就复杂和快速发展的技术开始开展对话的空间。《特定常规武器公约》作为国际人道主义法的文书，与1949年《日内瓦公约》及其1977年《附加议定书》一起，吸引了所有担心自主战斗系统可能破坏国际人道主义法原则的人。同样有所帮助的是，所有在人工智能系统中拥有能力或正在发展能力的国家都是公约缔约国，包括加拿大、中国、法国、德国、印度、以色列、日本、大韩民国、俄罗斯联邦、联合王国和美利坚合众国。这并不是说这个论坛没有遇到任何挑战。一个重要且持续存在的问题是金融稳定性。缔约国拖欠付款的行为给2017年举办的部分会议带来了不确定性。另外，另一挑战是如何让行业和技术开发人员参与有关致命自主武器系统的讨论，因为这个行业害怕污名化。一个重大的思维方式挑战是传统军备控制社区通常只关注武器的物质属性，好莱坞制作的《钢铁侠》和《终结者》对此也毫无帮助。

这些思维方式和跨领域认识问题，首先通过2014至2016年在日内瓦举行的有关《特定常规武器公约》的一系列非正式讨论得以解决。非正式专家会议先由法国的让-于格•西蒙-米歇尔 (Jean-Hugues Simon-Michel) 大使主持，而后由德国的米夏埃尔•比昂提诺 (Michael Biontino) 大使主持。会议提高了对上述问题的人道主义、伦理、军事、法律和技术商业等各个复杂层面的认识。《特定常规武器公约》议事规则允许包括民间社会在内的利益攸关方广泛参与，就像在日内瓦以外的论坛上提高对这一问题的重视程度一样，带来了很大的帮助。2016年12月举行的《特定常规武器公约》缔约国第五次审查会议由巴基斯坦的特米娜•詹久阿 (Tehmina Janjua) 大使担任主席，会议的非正式讨论推动了各缔约国达成共识，正式授权建立一个政府专家组。³红十字国际委员会等组织为对话走向成熟发挥了重要的作用，红十字国际委员会在2014年3月26至28日举行了一次专家会议，就暂时称为“自主武器系统”所涉及的技术、军事、法律和人道主义等问题开展讨论。联合国裁军问题的内部独立研究机构联合国裁军研究所（裁研所）为谈判人员和研究人员编写了一份入门书和其他介绍材料。斯德哥尔摩国际和平研究所、查塔姆大厦、哈佛法学院国际法和武装冲突项目等智库，以及人权观察社、机器人军备控制国际委员会、第36条和大赦国际等非政府组织也同样做出了实质性的贡献。

结合《特定常规武器公约》的目标和宗旨，与致命自主武器系统领域新技术有关的政府专家组第一次正式会议于2017年11月13至17日在日内瓦举行，主要讨论由主席提交的思考文件⁴，来自缔约国以及四个专家小组的九份工作文件，内容围绕该议题的法律、伦理、军事、技术和跨领域层面。非政府组织、研究机构和各国举办的会外活动也带来了新观点，包括来自人工智能年轻企业家的见解。在周末，与会者通过了一系列结论和建议。⁵结论之一就是《特定常规武器公约》是处理该问题的适当框架；另一结论是国际人道主义法完全适用于致命自主武器系统的潜在开发和使用。这是一项重要的早期保证，尽管它没有解决是否需要进一步制定法律规范的问题。会议达成了共识，因此主席能够将2018年专家组的议程重点定为：1）所考虑的系统的特征，即所谓的系统定义问题；2）人机交互，这对于可能违反国际人道主义法的行为的问题至关重要；以及3）应对实施此类系统所造成的人道主义和国际安全后果的可能选择。关于致命自主武器系统的定义、风险以及潜在好处以及预防性禁令等监管和控制的方法，观点分歧仍然存在，但主席的总结成了一种实用的手段，通过更精简的结论，在捕捉不同的观点的同时不会阻碍实质性的进展。

2018年，政府专家组加强了工作，在4月和8月举行了两次会议。在4月9至13日在日内瓦举行的会议上，专家组就人机交界面的质量和深度达成共识方面取得了重大进展，这不仅是为了确保对国际人道主义法的尊重，也是为了最终在人类责任和问责方面取得更丰硕的成果。专家组使用所谓的“日出幻灯片”对技术开发和部署的不同阶段进行审查，并就这些阶段所需的工作形成共识，以确保有意义的人员监督和管理。关于系统的特征描述，会议讨论增强了最终定义所需的关于概念和特征的共同点，并使人们不再过分关注哪些是新问题、哪些是传统工具可处理问题的技术区分，这个区分看似良药，其实只是空谈。从2017年开始的关于共识和原则的讨论工作，于2018年4月继续进行，并在当年8月会议结束时，达成了一套可能的指导原则。这些原则包括涉及特征、人机交界面和技术审查三方面的构件。政府专家组的报告提出了四种政策选择，其中包括可能具有法律约束力的限制，这些政策可以采用商定的指导原则和构件。⁶

十项原则包括：国际人道主义法的适用性；不履行人的责任；根据国际法对使用武力加强问责制；部署前的武器审查；纳入实体、不扩散和网络安全保障措施；技术开发期间的风险评估和缓解；根据国际人道主义法考虑在致命自主武器系统领域使用新技术；不损害民用研究和开发利用；对人工智能需要采用非拟人化的视角；以及《特定常规武器公约》作为处理该问题的框架的适当性。关于系统特征的构件包括需要在使用武力时保持对人的因素的关注。人机交界面的理解是围绕发展前阶段的政治方向；研究与发展；测试、评估和认证；部署、培训、指挥和控制；使用和中止；以及使用后评估建立的。政府专家组认为，在《特定常规武器公约》下，问责制可以将这些不同的人机交界面接触点联系在一起。政府专家组还认为有必要跟上技术发展的步伐，并与行业和其他利益攸关方合作，在全球范围内建立一个共同的科学和政策体系。

我们需要进一步努力，防止违反国际人道主义法义务的武装冲突、因军备竞赛加剧的安全困境和降低使用武力门槛对平民和战斗人员造成伤害。不过，在全球合作面临挑战的时刻，2018年8月取得的成果有利于进一步构建多边道德规范，表明联合国论坛通过让所有重要利益攸关方参与，并利用现有的国际法和机构为基础，在应对快速发展的技术所带来的挑战方面可发挥重要的作用。

注释

¹“不人道武器公约”于1981年4月10日公开签署，于1983年12月2日生效.https://treaties.un.org/Pages/ViewDetails.aspx?src=TREATY&mtdsg_no=XXVI-....

²“法外处决、即决处决或任意处决问题特别报告员克里斯托夫•海恩斯 (Christof Heyens) 的报告”，2013年 (A/HRC/23/47). https://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Sessio....

³《特定常规武器公约》缔约方第五次审查会议，“第五次审查会议最后文件”，第一部分 (CCW/ CONF.V/10).https://undocs.org/CCW/CONF.V/10.

⁴CCW/GGE.1/2017/WP.1.http://undocs.org/ccw/gge.1/2017/ WP.1.

⁵《致命自主武器系统政府专家组2017报告》，日内瓦，2017年11月13-17日 (CCW/GGE.1/2017/CRP.1).https://www.unog.ch/80256EDD006B8954/(httpAssets)/B5B99A4D2F8BADF4C12581DF0048E7D0//2017_CCW_GGE.1_2017_CRP.1_Advanced_+corrected.pdf.

⁶《致命自主武器系统领域新技术问题政府专家组2018年会议的报告》，日内瓦，2018年4月9-13日和2018年8月27-31日 (CCW/GGE.1/2018/3).https://www.unog.ch/80256EDD006B8954/(httpAssets)/20092911F6495FA7C125830E003F9A5B//CCW_GGE.1_2018_3_final.pdf.