视频游戏领域已成为人工智能（AI）系统的重要实验平台。正如现实世界提供了丰富的学习环境一样，游戏以其敏捷的实时互动和不断变化的目标，为AI的学习提供了宝贵的机会。
SIMA，全称“Scalable, Instructable, Multiworld Agent”，意为可扩展、可指导、多世界代理。与传统的游戏AI不同，SIMA并非旨在作为游戏中的NPC，而是设计成能与玩家默契配合、共同游戏的智能队友。它融合了自然语言处理和图像识别技术，使其能够深入理解3D游戏世界，并有望在未来成为玩家的得力助手。
谷歌DeepMind公司在AI与游戏结合的应用上有着丰富的经验。从早期与雅达利游戏的合作，到AlphaStar系统在《星际争霸 II》中达到人类大师级水平的表现，公司一直在推动AI技术的发展。
近日，DeepMind宣布了一个重要的发展里程碑，即将研究重点从专注于单一游戏的AI转向开发通用的、可接受指导的AI游戏助手。在最新发布的技术报告中，公司介绍了SIMA——一种适用于3D虚拟环境的通用AI助手。通过与游戏开发商的合作，SIMA在多种不同的视频游戏中接受了训练。这项研究代表了AI助手首次证明了自己能够理解众多游戏世界，并能够根据自然语言指令在这些世界中执行任务，就像人类玩家一样。
SIMA从视频游戏中学习
这项研究的目的不仅仅是为了在游戏中获得高分。虽然让AI系统掌握一款视频游戏本身就是技术上的巨大成就，但让AI助手能够遵循指令在各种游戏环境中行动，将使其能够在更广泛的领域中发挥作用。DeepMind的研究表明，通过语言界面，可以将高级AI模型的能力转化为现实世界中的实际行动。
为了让SIMA能够接触到更多的环境，DeepMind与多家游戏开发商建立了合作关系。公司与八家游戏工作室合作，在九款不同的视频游戏中训练和测试了SIMA，例如Hello Games的《无人天空》和Tuxedo Labs的《Teardown》。每款游戏都为SIMA提供了一个全新的互动世界，需要学习的技能范围从基础的导航和菜单操作，到复杂的资源采集、飞船驾驶和装备制作等。
此外，研究团队还创建了四个研究环境，包括一个名为“建筑实验室”的新环境，该环境使用Unity构建，助手需要在这个环境中用积木搭建雕塑，以测试其对物体操作和对物理世界的理解。
通过在不同的游戏世界中学习，SIMA学会了语言与游戏行为之间的联系。研究团队采用了两种方法：一种是记录成对的人类玩家，其中一个玩家观察并指导另一个玩家；另一种是让玩家自由游戏，然后分析他们的行为，并记录可能引导游戏行为的指令。
SIMA由预先训练好的视觉模型和一个主模型组成，主模型包括一个存储器，可输出键盘和鼠标操作。
SIMA作为一个多功能的AI助手，能够感知和理解各种环境，并采取行动以实现指令目标。它由两个主要模型组成：一个用于精确的图像语言映射，另一个用于预测屏幕上接下来会发生什么。这些模型根据SIMA在特定3D环境中的训练数据进行了微调。
SIMA不需要访问游戏的源代码，也不需要特定的应用程序接口。它只需要两个输入：屏幕上的图像和用户提供的简单自然语言指令。通过键盘和鼠标输出，SIMA能够控制游戏中的中心角色执行这些指令，就像人类玩家使用的简单界面一样，这意味着SIMA可以与任何虚拟环境进行交互。
研究表明，经过多种游戏训练的AI助手比只专注于一款游戏的助手表现得更好。在评估中，SIMA助手在九款3D游戏中的表现明显优于只在单款游戏中训练的专业代理。更重要的是，除了一款游戏外，接受过多款游戏训练的助手在未见过的游戏中的表现几乎与专门训练的助手相同。这种在新环境中的适应能力突出了SIMA的通用性，这是一个充满希望的初步成果。然而，要让SIMA在已知和未知的游戏中都达到人类水平，还需要进行更多的研究。
SIMA的表现在很大程度上依赖于语言。在没有接受语言培训或指令的对照测试中，助手的行为虽然适当，但缺乏目的性。例如，助手可能会不断收集资源，而不是按照指示行动。
SIMA的诞生意味着什么
SIMA的问世并非旨在追求游戏高分，而是为了探索AI的更广泛应用。尽管对AI系统而言，掌握一款视频游戏的玩法已经是一项技术成就，但更重要的是，AI能够根据指令在不同的游戏场景中灵活应对，这将极大地扩展其适应不同环境的能力。
SIMA已经能够评估并掌握600项基础技能，这些技能覆盖了导航、与物体的互动以及菜单操作等多个方面。目前，它已经能够迅速执行简单的任务，如在10秒内完成特定操作。
DeepMind期望未来的AI助手能够挑战更为复杂的任务，比如需要综合运用战略规划和完成多个子任务的“寻找资源并建造营地”。这一目标对AI领域至关重要，因为尽管现有的大型语言模型已经能够理解和生成关于世界的复杂知识，但它们在实际行动执行方面仍有所欠缺。
跨游戏及更多游戏的通用性
在跨游戏及更广泛的游戏环境中，SIMA代理展现出了卓越的通用性。研究表明，相较于仅在单一游戏中接受训练的代理，那些经过多种游戏训练的代理表现更为出色。尤为值得一提的是，除了一款游戏之外，那些接受了多款游戏训练的代理在面对未见过的新游戏时，其平均表现几乎与专门针对这些游戏训练的代理持平。这种能力不仅凸显了SIMA在多样化训练之外的通用性，也预示着其在未来能够在全新环境中更好地发挥作用。尽管这一结果是充满希望的，但要实现SIMA在已知和未知游戏中达到与人类相当的水平，仍需进行更深入的研究。
DeepMind公司对SIMA助手遵循指令完成近1500项独特游戏任务的能力进行了评估。在这一评估过程中，部分任务是由人类评委来完成的。为了建立一个参照标准，他们将这些专门在单一游戏环境中接受训练并执行指令的SIMA代理的性能，与那些在多个不同环境中接受训练的通用SIMA代理的性能进行了对比。通过这种比较，可以更准确地衡量SIMA代理在多样化环境中的适应性和执行能力。
此外，SIMA的表现在很大程度上依赖于语言的指导。在没有接受任何语言训练或指令的对照测试中，SIMA代理的行为虽然得体，但却缺乏明确的目标。例如，它可能会反复地收集资源，而不是根据指令进行移动。这表明，语言在指导AI助手的行为和提高其任务执行效率方面发挥着至关重要的作用。
