一、实战案例：过度信任AI导致的致命后果
- 北约“尤里卡”系统误判事件（2025年）：北约联合演习中，AI指挥系统“尤里卡”将民航客机误判为“高价值机动目标”，原因是训练数据中“客机”样本多为民用航线数据（92%），缺乏低空突防、电子干扰等战场特情。系统基于历史数据形成的“决策偏好”，压倒了人工复核程序，险些导致误击。
- 美军MQ-9无人机误击平民事件（2021年）：喀布尔撤军期间，MQ-9无人机影像分析算法未能区分“携带民用物品”与“携带武器”的目标，误击民用车辆导致10名平民死亡（含7名儿童）。事后调查发现，操作员对AI的“过度信任”是关键原因——他们未对AI的“高置信度”结果进行人工验证。
- 俄乌冲突中的AI目标识别错误：双方均使用AI驱动的无人机进行目标识别，但因训练数据中缺乏“俄制民用车辆”“乌方游击队员伪装”等样本，多次发生误判。例如，某次无人机袭击中，AI将平民车辆误判为装甲车，导致12名儿童死亡。
二、技术缺陷：AI无法克服的“先天不足”
- “黑箱效应”导致决策不可解释：基于深度学习的大语言模型（LLM）和神经网络，其内部决策逻辑无法被人类理解。例如，北约“尤里卡”系统的深度神经网络包含1.2亿个可训练参数，即使顶尖黑客也无法在30秒内解析其决策路径。这种“不可解释性”导致人类无法判断AI的决策是否合理，更无法在关键时刻干预。
- 数据偏见导致认知盲区：AI的训练数据若存在偏差（如样本不全面、标注错误），会导致“垃圾进，垃圾出”的后果。例如，美军的“爱国者”导弹防御系统，因训练数据中“敌方导弹”的样本多为“大规模齐射”，未能识别“小规模试探性攻击”，导致2003年两次误击友军飞机。
- 算法脆弱性导致易被欺骗：AI算法对“对抗性样本”（如伪造的雷达信号、篡改的传感器数据）非常敏感。例如，斯坦福大学的实验显示，将AI训练数据修改0.3%（相当于300页教科书改1页），误杀率会暴涨400%。在实战中，敌方可以通过“数据投毒”或“对抗性攻击”，让AI做出错误决策。
三、认知偏差：人类对AI的“过度依赖”陷阱
- 时间压力下的决策变形：在复杂作战场景中，指挥官面临“时间紧、任务重”的压力，往往会依赖AI的“快速决策”而放弃人工验证。例如，美军的“天空博格人”项目中，无人机自主空战的速度远超人类反应极限（0.03秒就能开火），操作员只能被动确认指令，无法质疑AI的决策。
- 对AI的“能力错觉”：AI在数据处理（如情报分析、后勤预测）方面的优势，会让人类误以为其在复杂决策（如目标选择、伦理判断）中也能胜任。例如，以色列的“Habsora”AI系统，因能快速筛选空袭目标，被以军视为“高效工具”，但实际上该系统因缺乏“civilian presence”的判断能力，导致大量平民伤亡。
四、伦理风险：AI无法承担“战争责任”
- “目标错位”导致伦理越界：AI的“优化目标”（如“最小化己方伤亡”“最大化打击效率”）可能与伦理原则冲突。例如，某AI系统基于“最小化伤亡”的目标，建议使用非常规武器攻击敌方目标，虽战术有效，但严重违背国际人道法。
- 责任归属困境：当AI决策导致错误（如误击平民），责任应归于“开发者”“部署者”还是“机器本身”？目前国际法尚无明确规定，导致“无人担责”的局面。例如，2024年叙利亚冲突中，俄军“天王星-9”机器人部队自主俘虏3名士兵，国际法学家对其责任归属争论不休。
结论：复杂作战场景中，人类必须保持“最终控制权”
- 技术层面：研发“可解释AI”（XAI），让AI的决策过程透明化；加强数据治理，避免数据偏见；提升算法的鲁棒性，抵御对抗性攻击。
- 制度层面：建立“人机协同”的决策机制，要求人类在关键决策（如开火、目标选择）中进行“最终确认”；制定AI军事应用的伦理规范，明确责任归属。
- 认知层面：加强对军事人员的培训，提高其“AI素养”，避免过度依赖；培养“批判性思维”，学会质疑AI的输出。
人机互信在复杂博弈环境下的脆弱性主要体现在以下几个维度：
人类依赖进化形成的社交线索（如情感共鸣、声誉管理、非语言信号）建立信任，而AI缺乏这些"进化适应性"机制。在复杂博弈中，这种根本性的认知鸿沟导致：①误解放大，AI的模糊表达或信息遗漏会被人类视为能力缺陷或恶意；②透明度悖论，即使提供解释，若与情境脱节或过于技术化，反而加剧不信任。
信任被描述为"难以赢得但极易失去"（hard-won but easily lost）。在对抗性环境中，单次失败效应，一个关键错误（如军事AI误伤平民）足以摧毁长期积累的信任；负面偏见，人类对AI错误的敏感度远高于正确表现，这种"负面偏好"在高压博弈中常常被放大。在军事或安全博弈中，对手可能通过电子战、网络攻击或信息欺骗直接破坏人机通信链路。当通信中断或AI被"劫持"时，战术决策者可能未经授权修改算法或无视AI建议，导致指挥体系混乱；信任的"黑箱"特性使人类难以区分AI故障与恶意操控。
信任强调"在不确定性和脆弱性情境下"的态度，但博弈环境引入了双重不确定性：任务不确定性，复杂博弈的非完全信息特性；意图不确定性，无法确定AI是否被对手影响或存在内在偏见。当AI表现出不可预测性或性能波动时，信任会随时间逐渐侵蚀，而在对抗环境中这种波动是常态。有趣的是，过度信任（自动化偏见）与信任不足可能同时存在：人类可能因AI的权威性而接受其建议（自动化偏见），但当AI出现伦理偏差（如为任务成功牺牲平民），信任会瞬间转为强烈不信任，这种信任的极端波动本身就是脆弱性的体现。
复杂博弈通常涉及时间压力、高风险、多域协同。这些环境因素会压缩人类的认知评估时间，导致依赖启发式判断而非理性校准；放大文化差异对信任的影响（如集体主义vs个人主义文化对AI角色的不同期待）。这种脆弱性揭示了人机协作的根本张力：人类试图将人际信任的进化机制投射到AI上，但AI作为"非人类他者"缺乏支撑这种信任的生物学基础。在复杂博弈中，这种张力因信息不完全、对抗干扰、高风险决策而被急剧放大。
人机互信的脆弱性往往并非技术缺陷，而是认知架构不匹配在高压环境下的必然表现。建立韧性信任需要超越"透明度"的技术方案，转向动态校准机制和冗余验证体系的设计。
