开发者让PS4运行Qwen3.5-9B模型,速度达39 tokens/s

开发者让破解版PS4运行Qwen3.5-9B模型,生成速度达39 tokens/s。项目通过量化压缩适配8GB内存限制,并集成语音交互功能,支持25种欧洲语言转文本。

开发者 Leonardo Alegría 推出 Garlic LLM,在 PS4 上运行 Qwen3.5-9B 模型

开发者 Leonardo Alegría 发布的开源项目 Garlic LLM,成功让破解版 PlayStation 4(PS4)运行拥有 90 亿参数的 Qwen3.5-9B 人工智能模型。该项目直接调用 PS4 内置的 GPU 进行计算,通过将模型量化压缩至约 4.5GiB 以适应控制台内存限制,实现了每秒 31 至 39 个代币(tokens)的生成速度。

模型压缩至4.5GiB运行

安装要求与兼容性

Garlic LLM 以 GPU 直接读取的存储器命名,其依赖的兄弟存储器类型被称为“洋”。该项目基于运行 GoldHEN 自制固件的 PS4 平台开发。用户可从 Hugging Face 下载免费的单个安装包,大小约为 5.66GB。安装过程需通过 PS4 的包装安装器完成:若直接安装,需要预留约 6GB 空间;若先将包装文件复制至主机内部磁盘,则需约 12GB 空间。开发者已在固件版本为 11.52 的基础版/Slim 版 PS4 上进行了测试验证。

(图片来源:莱昂纳多·阿莱格里亚)

功能特性与语音交互

除了文本聊天,Garlic LLM 还集成了语音对话功能。通过 Chatterbox 语音模型和每秒处理约 22 个代币的聊天模型,系统可实现语音交互。此外,按住控制器特定按键可激活 Nvidia Parakeet TDT 0.6B v3 语音到文本模型,该模型支持 25 种欧洲语言。项目还支持 Meetily 和 Hex 等本地转录及发音应用程序。核心模型采用阿里巴巴开源的 Qwen3.5-9B,官方未提供具体的提示词工程和测试方法细节,但可在控制台上直接使用。

技术架构与底层实现

与 PS5 上运行的 llama.cpp 分叉项目不同,后者通过移植 RADV 驱动程序使 AMD GPU 支持 Vulkan API,而 PS4 原生缺乏类似的驱动层支持。因此,Garlic LLM 并未使用 llama.cpp 或 Vulkan 端口。

该项目的计算内核使用 OpenCL C 编写,并通过 LLVM 编译为适用于 AMD GCN(Graphics Core Next)架构的代码。矩阵乘法等运算采用 4 位权重存储于“大”内存中,CPU 端则使用 C 语言处理代币、接口、文本渲染及音频逻辑。整个流程从提示函数开始,经由 CPU 标记器处理,随后应用程序自行构建 PM4 命令缓冲区和 GCN 内核,而非依赖图形驱动程序生成的低级命令。所有代码均基于开源的 OpenOrbis PS4 工具链构建。

内存优化策略

要在仅配备 8GB 内存的游戏机上运行 90 亿参数模型,通常至少需要 9GB 以上的显存占用。Garlic LLM 通过混合精度量化解决了这一难题:大部分权重采用 4 位(Q4)量化,而在每一层中最大的两个矩阵则采用约 3.5 位的 3 位(Q3)量化。这种组合将模型体积压缩至约 4.5GiB(全 4 位量化则为 4.9GiB)。同时,键值缓存(KV Cache)也采用 4 位量化,使得上下文窗口限制在 16K 代币以内,远低于模型原生的 256K 上限。加上 Parakeet 语音模型(0.33GiB)、Chatterbox 语音模型(0.29GiB)及其他组件(0.09GiB),总占用量约为 5.23GiB,与 5.66GB 的安装包大小相符。

性能表现

Qwen3.5 模型配备了多代币预测(MTP)头,Garlic LLM 利用此特性提前起草多达两个代币并进行完整模型验证。参考阿里巴巴模型卡中 vLLM 指令使用的两个投机代币设置,该项目声称其聊天速度得益于对 2013 年硬件的深度优化。在代码生成任务中,输出速度最高可达每秒 43 个代币。默认温度设置为 0.7,符合阿里巴巴针对一般任务的建议(思考模式建议 0.7,创意模式建议 1.0),尽管演示视频中使用的是 0 以确保可预测性。以每秒 35 个代币的平均性能计算,生成一个 300 代币的回答所需时间不到 9 秒。

作为对比参考,PS5 运行参数量大三倍的 Qwen3.8-27B 模型时,速度约为每秒 20 个代币;而较小的 Gemma 4 E4B 和 Llama 3.2 3B 模型分别可达到每秒 61 和 124 个代币的速度。

注意事项

开发者目前在 GitHub 上收集用户反馈。由于 Garlic LLM 是专为 PS4 的 GPU 架构和系统软件编写的,因此不支持 PS5 平台。虽然应用程序本身未发现漏洞,但安装 GoldHEN 自制固件存在风险,用户需自行承担相关后果。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读