随着人工智能（AI）技术的不断发展，美国防部越来越希望将其集成到军事系统中。AI可以帮助提高决策的速度、质量和准确性，同时实现自主性和辅助自动化，从而带来战场优势。但是，和任何新技术一样，AI也有弱点。由于机器学习的统计特性，大量工作集中在确保AI系统在推理时的稳健性，以应对由数据分布变化（例如来自高度动态的部署环境）导致的性能自然下降。
美国防高级研究计划局（DARPA）空战演进 (ACE) 项目团队成员谈人工智能（AI）算法军事应用（翻译&字幕 by 防务菌）
2024年4月18日，美国防高级研究计划局（DARPA）通过官网发布了一条消息，称其“空战演进 ”(ACE) 项目在航空航天领域的人工智能（AI）方面取得了世界首创，即人工智能和有人驾驶的F-16之间的空战测试显示了人机协作和可信自主方面的变革性进展。首次在空中测试了人工智能算法，该算法让战斗机在视距内作战场景中与人类驾驶的战斗机进行自主飞行（称为“空中缠斗”）。 与此同时，DARPA还发布了一条视频，ACE团队成员讨论了该项目与其他航空航天自主项目的不同之处，以及它如何代表了航空航天历史上的一个转折性时刻，为复杂的军事和民用应用奠定了合乎伦理、值得信赖的人机协作基础。 在飞行中，ACE人工智能（智能体）算法控制了一架经过特殊改装的F-16测试飞机，该机称为X-62A或 VISTA（可变飞行模拟器测试飞机），位于加利福尼亚州爱德华兹空军基地的空军试飞员学校，所有自主作战演习都于2023年在那里进行，并将在2024年继续进行。
早在2014年，研究人员就展示了在对手控制输入的情况下操纵AI的能力。其他研究证实了数据中毒、物理限制的对抗补丁规避和模型窃取攻击的理论风险。研究人员借此证明，AI系统可以通过不同的“攻击”被欺骗或操纵。但即使是这些演示也大多是在实验室条件下进行的，研究人员可以完全控制数据并访问AI的内部工作原理。如今，对已部署的军事AI系统进行对抗性漏洞的作战评估能力仍然有限，而且“理论上的”对抗性AI攻击尚未在作战环境中得到实际验证。因此，AI战场系统的作战安全风险在很大程度上仍不为人所知。因此，研究结果并不一定反映出这些攻击在现实世界的军事行动中的效果。对此，DARPA专家表示，必须弥补这种缺乏了解的情况，以适当减轻对作战系统的不利下游影响。
AI战场系统的运行安全⻛险尚不清楚（图源：DARPA）
AI战场系统的使用并未考虑到⻛险（图源：DARPA）
基于此，DARPA在3月17日宣布推出“确保人工智能在战场上有效稳健性” (SABER)计划， 旨在建立一支模范的AI“红队”，配备必要的反AI技术、工具和技术能力，以对AI支持的战场系统进行作战评估。SABER计划旨在为国防部建立一个可持续的AI“红队”操作流程模型。AI“红队”将致力于对可能在未来1-3年内部署的AI支持的自主地面和空中系统进行作战评估。
