本地运行 Qwen 3.8 27B 验证“权重空间编程”能力：无需工具即可解析模型行为
2026 年 11 月 3 日
近期，由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 撰写的论文《重量空间编程的火花》（Sparks of Weight Space Programming）引发关注。该研究提出，前沿大语言模型（LLM），特别是 GPT-6 Astra，具备原生读取和修改神经网络权重的能力，即通过分析原始权重来理解并调整模型行为，这一概念被称为“重量空间编程”。值得注意的是，尽管作者将其归类为博客文章，但其内容具有学术论文性质。
最新测试显示，在笔记本电脑本地运行的开源模型 Qwen 3.8 27B 同样展现出类似能力，能够在不借助外部工具的情况下解释模型的训练目标。
核心发现：从权重反推训练意图
根据论文描述，GPT-6 Astra 仅通过查看原始权重，即可推断网络被训练执行的任务，且无需环境反馈或从头编写游戏网络代码。例如，当被要求优化 Qwen3.5-0.8B 在无梯度数学推理方面的表现时，Astra 识别出导致推理循环的权重问题（Qwen 官方模型卡中已有警告），并通过直接编辑约 0.016% 的权重解决了该问题。在相同采样设置下，这一操作使 MATH-500 基准测试得分从 7.9% 提升至 48.1%，并在指令遵循评估（IFEval）中将性能提高了 3 倍。整个过程未涉及训练循环的编写，而是依靠模型推理来理解神经网络各部分的计算逻辑并相应调整权重。
学术界对此存在不同观点。spaCy 作者 Matthew Honnibal 认为该论文将“无工具分析”与“带代码执行的更新”两个主题混淆，具有误导性；Sean Goedecke 则指出，Qwen3.5-0.8B 的更新案例实际上复现了人类机器学习研究人员常用的步骤。
本次报道聚焦于更具理论意义的“无工具”场景：LLM 能否仅凭权重数据理解模型行为？为此，研究者训练了四个简化版经典电脑游戏（Breakout、Pong、Pac-Man 和 Freeway）的策略网络，并将这些网络的浮点数权重输入 LLM 进行测试。其中，Freeway 是一款 1981 年的 Atari 2600 游戏。
GitHub 仓库 RikiyaT/lm_understand-logs 提供了相关提示文件，除权重数据外，四个游戏的提示词结构保持一致：
- breakout/prompt.txt
- freeway/prompt.txt
- pacman/prompt.txt
- pong/prompt.txt
实测：Qwen 3.8 27B 在本地设备上的表现
利用支持 URL 传递文本文件的 LLM 工具，可以便捷地运行上述测试。此前有实验使用 OpenRouter 调用 Kimi K3.1 Pro 模型处理 Breakout 提示，耗时 9 分 41 秒，消耗 19,493 个推理代币，成功识别出游戏类型。
相比之下，在配备 17GB 显存的笔记本电脑上运行量化版 Qwen 3.8 27B（通过 LM Studio 加载，需配置长上下文窗口以克服默认 8192 tokens 的限制）也取得了显著成果。通过安装 llm-lmstudio 插件并延长超时时间（LMSTUDIO_TIMEOUT=900），该模型在处理 Pac-Man 提示时，经过 46 分 12 秒的计算和 43,506 个推理代币的处理，给出了如下结论：
游戏：简化的 Pac-Man 风格网格世界。代理人在固定的 8x8 迷宫中移动，避开中央和角落的墙壁块以及移动的物体/幽灵，收集奖励目标/颗粒。置信度：72%
在其他两款游戏中，Qwen 3.8 27B 同样表现出较强的解析能力：
- Pong：耗时 1 小时 4 分 54 秒。模型识别出这是一款垂直球类游戏，代理人控制右侧挡板上下移动以拦截或返回移动的球，左侧为对手或边界，成功拦截得分，失误则受罚。置信度：75%。
- Breakout：耗时 52 分 25 秒。模型判断这是类似 Arkanoid 的打砖块游戏，代理人位于底行左右移动以保持球在比赛内，击碎顶部行的目标块获得奖励，漏球则结束回合。置信度：88%。
然而，在处理 Freeway 提示时，Qwen 3.8 27B 未能给出正确结果。考虑到 Freeway 的游戏机制相对模糊，这一失败并不令人意外。
模型的推理过程显示出对数值模式的细致分析。例如，在尝试定位代理人位置时，模型会检查特定通道（如第 0 号通道）在大值附近的分布情况，通过行列索引计算（如线 436 对应第 8 行第 7 列等）来推断代理人的可能位置及移动逻辑。这种基于纯数值特征的逆向工程，展示了大型语言模型在缺乏语义标签的情况下，通过统计规律理解神经网络结构的潜力。
尽管 Qwen 3.8 27B 在本地设备上实现了部分“权重空间编程”的能力，但这并不意味着源代码时代的终结或不可理解的机器自我编辑已成为现实。目前的研究更多揭示了模型在静态权重分析上的推理上限，而非完整的自动化模型优化流程。
