人工智能与兵棋推演

夏日冰泉

编者：兵推天下
最近的游戏人工智能表明，只要有足够的人类数据，或者能够通过模拟获得经验，机器就可以在一些最复杂、竞争激烈的游戏中媲美甚至超越最熟练的人类对手。那么，这类人工智能是否做好应用于兵棋中的准备？
伦敦大学玛丽女王学院的詹姆斯·古德曼和西蒙·卢卡斯以及哥本哈根大学信息技术学院的塞巴斯蒂安-里西受英国国防科技实验室委托开展了人工智能和兵棋推演研究。本研究概要如下：
鉴于近年来人工智能技术的重大发展，特别是深度强化学习（Deep RL）在围棋和《星际争霸II》等游戏中成功达到冠军水平，英国国防科技实验室及其国际合作伙伴希望将人工智能技术应用于军事兵棋，以期以更低成本更快速度获得质量更高的结果。
兵棋主要用于为未来部队结构、未来军事能力（装备以及支持性发展路线）提供决策信息，并为未来军事行动做准备。兵棋有多种实施方式--从研讨类兵棋，到手工棋盘兵棋，再到复杂的计算机辅助兵棋（由计算机对交战结果进行裁决）。
本研究具体的目标包括利用人工智能寻找可以利用现有军事能力改善作战结果的战术，或者为正在考虑的新军事能力提出有效的使用概念。


Deep RL的巨大成功往往需要大量的计算和其他成本；粗略估计，AlphaZero国际象棋/围棋/Shogi代理的一次训练运行就需要25万美元以上。而如果将开发团队的成本考虑在内，星际争霸II代理的成本高达几百万美元。
从这个角度来看，考虑将有限的资源集中在能够取得结果但无需为每个单独的兵棋投入同等水平的成本的人工智能上也至关重要的。
本研究报告综述了应用于推演和类似环境的人工智能和机器学习的技术现状，以确定：
1.最近学术进步中有哪些技术适用于兵棋？学术文献的重点是国际象棋或围棋等抽象策略游戏，或太空入侵者、Dota2或星际争霸II等商业游戏。但是这些都不是与真正的兵棋直接相关的游戏。
2.目前的人工智能技术可以解决实际兵棋推演中的哪些问题？
为回答上述问题，本报告首先研究了兵棋和最近人工智能以及机器学习研究使用的一些游戏环境的异同点。
然后，本报告综述了深度强化学习和其他技术的最新发展以及最新的游戏人工智能技术，进而鉴于上述对比分析，提出了与兵棋最相关的方面和技术。最后，本研究就如何将人工智能应用于兵棋推演提出了一些建议。
研究建议
1.本报告的核心建议是开发新的满足兵棋人工智能需求框架。新框架要既支持兵棋人工智能的开发，又支持可用于人工智能的兵棋的设计。该框架包含三个概念性的组成部分，具体参见下图：


2.本报告根据兵棋的类型总结了将先进的人工智能技术融合到兵棋中可能遇到的一些挑战。总体而言使用人工智能来决定与其他代理或人类的沟通是非常具有挑战性的。
对于所有类型的兵棋而言，想定越小，对战略总体计划的要求越低，人工智能就越适合。这对于最初的概念验证来说尤其如此。
3.通过学习单元嵌入将可扩展深度学习方法应用于兵棋推演。
4.使用图形神经网络实现单位信息整合。
5.使用基于统计前向规划算法的高性能代理