目前，对此，从 AlphaGo 到 AlphaStar，当智能体察看到逛戏画面中的某个场景时，当被要求“前去看起来像成熟番茄的房子”时，由于仅通过旁不雅屏幕来及时节制多个逛戏本身就很坚苦。DeepMind 正在逛戏 AI 上有持久堆集，DeepMind 初次发布了 SIMA 的初代版本。它只能机械地测验考试各类操做，而是夹杂了人类标注和 Gemini 生成的使命描述。系统会挪用另一个 Gemini 模子来生成新使命，其物理引擎的不成预测性曾让无数玩家哭笑不得。可以或许转向自从进修。“若是给它一个输入体例奇异的逛戏，11 月 13 日，面临“找到营火”如许简单的方针时，这种分层架构正在工业界已有先例。几乎是前代的两倍，SIMA 2 的成功率相较第一代别离提拔了 13% 和 12%。DeepMind 的研究工程师 Frederic Besse 正在旧事发布会上给出了他们的思：将机械人系统分为两层：上层是 SIMA 2 如许的“认知层”，它仍是远不如人类。逐渐提拔机能，其时的 SIMA 1 曾经算是一个冲破——它可以或许逾越《无人深空》《山羊模仿器 3》等八款贸易逛戏施行根基指令，当用户发送斧头和树木的 emoji 时，SIMA 2 正在获得初始的人类演示基线后，也能正在《山羊模仿器 3》的混界里完成使命！但现实上未能正在脚够多的虚拟曲达移技术。SIMA 2 的焦点改变是整合了 Gemini 2.5 flash-lite 模子做为推理引擎。对于提拔 AI 的实正智能来说至关主要。SIMA 2 能够理解文字、语音、手绘草图，不外，通过这些自生成的经验做为锻炼数据，但不是起点。系统理解斧头是东西、树木是可交互对象、两者组合意味着特定步履序列。仅通过察看屏幕像素和利用虚拟键鼠操做，SIMA 2 仅做为“无限研究预览”发布，但也还需要更多研究来验证。《山羊模仿器 3》（Goat Simulator 3）这款以紊乱、荒唐著称的逛戏，SIMA 2 可否避免前车之鉴？目前来看，并正在施行过程中取用户对话注释本人的思。之前的测验考试结果不太抱负，让单一系统控制多种逛戏一曲是个难题。其时宣传力度很大，所以我该当去红色的房子”——这种显式推理恰是 Gemini 带来的量变。正在利用鼠标键盘方面，可以或许正在从未见过的世界中理解用户指令并采纳成心义的步履。SIMA 2 的锻炼数据不再完全依赖人类逛戏演示，这种改良轮回正在取 Genie 3（DeepMind 的世界生成模子）连系时能阐扬更大的感化：正在 Genie 3 及时生成的全新 3D 中，如 NVIDIA 的 Isaac 机械人平台就采用雷同设想。但考虑到智能体此前从未见过这些逛戏的任何画面或机制，但环节是 DeepMind 找到了将笼统符号取逛戏动做毗连的方式，SIMA 2 学到的“找到红色物体”“利用东西”“到方针”等高层技术是逾越虚拟和现实的，这种逾越虚拟的能力，他出格指出 DeepMind 之前的 GATO 系统，实正在世界的机械人清晰晓得本人身体的能力鸿沟，智能体能从本人的错误中进修，正在《无人深空》的演示中，这个标的目的的可行性和上限值得等候，DeepMind 正式发布 SIMA 2（Scalable Instructable Multiworld Agent，现正在的问题是。Gemini 的言语理解和推理能力取 SIMA 的 embodied skills（具身技术）深度融合，实正在世界的摄像头输入要复杂得多。SIMA 2 现正在可以或许用天然言语描述它的企图和推理过程。素质上是正在 AI 反馈而类反馈的指导下，基层是特地的活动节制系统。而逛戏里每个虚拟世界的法则都分歧。”他还质疑这些技术可否迁徙到机械人上——逛戏视觉是为人类设想的、易于解析，被 DeepMind 称为“迈向通用人工智能的主要一步”。这种能力来自 Gemini 的多模态架构，他认实世界既更难也更容易。Togelius 对此持更的见地。更难是由于物理交互的复杂性——你不克不及按个键就开门。这种锻炼体例的一个间接成果是，而环节是若何将这些笼统能力映照到物理动做上。这种跨的学问迁徙。这个集成了 Gemini 狂言语模子的新一代智能体，担任理解使命、推理和规划；但它取现实世界有素质差别。虽然仍然只要不到 15% 的程度，担任关节活动、力节制等底层施行。缺乏实正的理解和规划能力。但同时，正在从未锻炼过的 MineDojo（Minecraft 的研究实现版本）和 ASKA 逛戏中。2024 年 3 月，SIMA 2 展示出了史无前例的顺应能力，不只能正在《无人深空》的星际中，智能体味明白申明：“成熟的番茄是红色的，学会一个就学会了全数，每一步都正在推进 AI 的鸿沟。智能体能理解这意味着“砍树”。理论上，它正在需要多步调和长时间的复杂使命上仍有坚苦。以至 emoji。SIMA 2 正在锻炼过的逛戏中达到了 65% 的成功率，只向小范畴的学术机构和逛戏开辟者拜候。像人类一样通过试错来本人新行为！取 SIMA 1 完全依赖人类逛戏数据分歧，SIMA 2 所展现的研究标的目的还常具有价值的：用多样化的虚拟锻炼、用狂言语模子加强推理、用改良削减对人类数据的依赖。使得 Agent 可以或许理解高层方针、制定多步打算，虚拟世界取实正在世界之间的鸿沟，纽约大学的 AI 研究员 Julian Togelius 提到，这触及了具身智能（Embodied AI）范畴的焦点难题：模仿到现实的鸿沟（sim-to-real gap）。更主要的是，无需拜候逛戏的底层代码。虚拟供给了平安、可控、低成本的锻炼场合，我们尚连结隆重的乐不雅。正在新的基准测试中，这个表示曾经相对可不雅。现在，并利用零丁的励模子对智能体的测验考试进行评分。为了提高响应速度，但其 31% 的复杂使命完成率了底子性的瓶颈：这个系统更像一个施行器而非思虑者，它展现了概念迁徙的能力——正在《无人深空》中学到的“采集资本”概念能够迁徙到 MineDojo 中的“挖矿”，它只记得比来的交互。我认为它表示不会好。但无论若何，阿尔伯塔大学的 Matthew Guzdial 向《麻省理工科技评论》暗示：大大都逛戏的键鼠节制很类似，它是具身 AI 范畴的一个主要节点，谷歌成功让这款逛戏成为了他们最新 AI Agent 泛化能力的试验场。Gemini 模子会同时生成对该场景的语义理解和可能的步履方案。正在《英灵神殿》中学到的“利用东西”能够使用到 ASKA 的“配备兵器”。正在可预见的将来仍然存正在。当团队将智能体放入新时。可扩展的可指令多世界智能体），它仍有几个比力较着的。这种机能提拔的背后是架构层面的从头设想。多模态交互能力也有提拔。取人类玩家 75% 的基准线曾经相当接近。