Opus 5.5结合OpenComputer实现视频自动生成

Opus 5.5 在生成解释性视频方面展现出显著能力。该项目基于 OpenComputer 平台,通过无服务器代理实现从单个 URL 或提示词到 MP4 视频的自动化生成,全程无需人工编辑。

虚拟时钟确保帧级确定性渲染

技术架构与运行流程

整个产品由一个代理文件、三个工具及前端表单构成。OpenComputer 负责运行代理程序,处理微型虚拟机调度、模型网关调用及会话 API 交互。

核心组件包括:

  • AgentOne:基于 TypeScript 定义的无服务器代理,通过 opencomputer deploy 命令部署。无需额外框架、队列或自建服务器。
  • Model:使用 anthropic/claude-opus-5.5 模型,经由 OpenComputer 的模型网关接入。每部影片消耗约 90k 输入 token 和 15k 输出 token,主要开销来自 HTML 代码本身。
  • Runtime:每个任务在一个全新的微型虚拟机中运行,配置为 Amazon Linux 2023 (arm64)、4 vCPU、8 GB RAM 及 Node 22。首次工具调用时安装 Playwright 的 headless Chromium 和静态 ffmpeg(耗时约一分钟),任务结束后 VM 即被销毁。

工具链与渲染机制

系统包含三个 defineTool 函数:

  • web_fetch:获取页面文本、标题、主要十六进制颜色值及 Google Fonts 信息。
  • check_scene:加载生成的 HTML,报告 JavaScript 错误及采样时间点的可见文本。
  • render_video:执行渲染并将结果上传至存储。

渲染过程不依赖视频生成模型。系统将页面的时钟源(requestAnimationFrame、timers、Date、CSS 及 Web Animations)替换为虚拟时钟,确保每一帧都是确定性的 seek 操作。最终输出为 1920x1080 分辨率、30 fps 的视频,JPEG 帧通过 libx264 编码(crf 18)。

存储与控制平面

代理本身不持有密钥。前端表单生成一个 Vercel Blob 上传令牌,该令牌限定于特定路径且有效期为三小时,并存储在按作业划分的清单中。工具通过作业 ID 获取令牌。生成的 MP4 以公共 Blob URL 形式存在。

控制平面复用 CLI 使用的同一套 API:创建会话、发送单轮指令、轮询事件流(tool.started, tool.completed, turn.completed)以展示进度,并将 Blob 中出现 MP4 视为完成标志。

// opencomputer/agents/director/agent.ts
import { useInput, useModel, useTool } from "@opencomputer/agent";
import { checkScene, renderVideo } from "./tools/scene.js";
import { webFetch } from "./tools/web.js";

export default function Agent() {
  const input = useInput();           // the JOB block from the form
  useModel("anthropic/claude-opus-5.5");
  useTool(webFetch);                  // read the product's site
  useTool(checkScene);                // load the HTML, report errors + visible text
  useTool(renderVideo);               // headless Chromium → ffmpeg → Blob
  return `You are a motion designer who writes code. ...`;
}

部署与应用示例

用户可通过一键点击将代理部署至账户,免费账户即可使用。代理连同工具和提示词直接进入项目环境。仓库复制后,代理、渲染器及 Web 应用程序可快速启动。通过以下命令可在十分钟内完成自定义代理的创建与部署:

$npx opencomputer template deploy https://github.com/diggerhq/shipvideo

该项目的灵感源自 Deedy 关于 Opus 5.5 的帖子及教学视频,核心理念是让模型将电影创作转化为代码编写,从而确保每次渲染结果的一致性。

在 NVIDIA nvidia.com
通过 TypeSafeAI typesafe.ai
打开计算机 opencomputer.dev
线性 linear.app
modern 为一个以推断为基础的现代创业公司制作一段时尚,精致的视频

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读