Google DeepMind发布世界模型Genie 4,支持实时音频

Google DeepMind发布世界模型Genie 4,新增实时音频功能。该模型支持自由形式实时编辑,场景一致性延长至两分钟,并与Gemini深度集成,目前向部分用户开放研究预览。

周二,Google DeepMind 发布了最新的世界模型 Genie 4。该模型在研究预览阶段展示了迄今为止最具摄影现实感和交互性的模拟世界,并新增了实时音频生成功能,能够同步输出与场景匹配的音乐、环境噪音及交互式对话。

Gemini规划步骤 Genie执行模拟

Genie 4 的发布正值世界模型领域竞争加剧之际。此前,AI 视频初创公司 Runway 推出了其第二代世界模型 GWM Worlds 2。与此同时,行业整合趋势显现:Fable World Labs 正被 AMD 收购,而 Amazon 也在洽谈收购 DeCart。

作为 Google 应对激烈竞争的举措,Genie 4 相比一年多前发布的 Genie 3 有了显著升级。除了视觉真实度和音频能力的提升外,新模型支持自由形式的实时编辑,用户可随时更改天气、调整摄像机角度或添加新的人物与物体。此外,Genie 4 将一致场景的维持时间延长至两分钟,是前代限制的两倍,并在物理模拟和角色拟人化方面表现更佳。

Genie 4 与 Google 的 AI 模型 Gemini 实现了更紧密的集成。在这一架构中,Gemini 担任“导演”角色,负责规划步骤和执行检查,而 Genie 则专注于创建视觉效果。在一项涉及 Gemini 机器人的研究实验中,Gemini 4 Argon 模型将任务分解为具体步骤,随后由 Genie 4 进行实时模拟。这一流程展示了一种潜在的应用路径:在机器人进入现实世界之前,先在模拟环境中测试各种场景。

未来预计将出现更多此类混合世界模型,结合 Gemini 的代码与文本处理能力以及 Genie 的视觉生成能力。与其他世界模型类似,Genie 4 的商业应用场景涵盖游戏、交互式学习和机器人技术。例如,在交互式学习中,用户可以进入一幅历史绘画的场景,并与画中人物聊天,讨论所描绘的历史事件。

早期接触 Google 尖端产品的“可信测试者”还指出了原型片制作这一新用途。Google DeepMind 工程师 Diego Rivas 在新闻发布会上表示:“在创意空间需要保持流动状态的领域,实时性变得最有价值。”他举例说明,在故事板阶段或任何需要快速创意的环节,这种能力尤为关键。

目前,Google 还提供 Veo,这是一款人工智能视频生成模型,能够从文本、图像或视频提示生成带有同步音频的高清剪辑,该工具在电影制作人中正逐渐流行。长远来看,用户有望依赖多模态大型语言模型 Gemini Omni,尽管 Rivas 指出相关能力尚需时日才能完全成熟。

Rivas 强调,Genie 4 仍处于早期发展阶段。团队承认该模型存在缺陷,例如随着模拟时间的推移,细节和物体可能会出现漂移现象。

Genie 4 目前已向“可信测试者”开放研究预览。在接下来的几周内,该模型将通过 Project Genie 向 Google AI Ultra 用户推出。Project Genie 是 Google 用于从文本或图像提示生成交互式世界的 AI 工具。同时,Gemini API 和 Google AI Studio 的早期访问合作伙伴也将获得该模型的访问权限。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读