Astra 声称通过读写权重提升 Qwen 性能，实际实验过程被指误导
近期关于 AI 模型 Astra 能够仅通过读取和写入原始权重来显著改善 Qwen 模型性能的报道引发了关注。然而，深入分析其背后的实验细节后发现，相关摘要存在误导性，所谓的“直接读写权重”并非所有实验的核心机制。
文章最初的摘要声称：“仅仅通过查看原始权重，GPT-6 Astra 可以告诉一个网络被训练做什么。没有任何环境的反馈，它不难从头开始编写小游戏网络。”此外，摘要还指出：“当被要求让 Qwen3.5-0.8B 在没有梯度的数学方面变得更好时，Astra 发现其权重存在一个问题，导致推理循环……并通过本地编辑 0.016% 的权重来解决这个问题。在相同的采样设置下，这种重量校正将 MATH-500 从 7.9% 提高到 48.1%，并将其从盒子外推广到指令后，将 IFEval 提高 3 倍。”
尽管上述数据看似表明 Astra 具备强大的底层权重操控能力，但实际情况更为复杂。虽然确实有实验涉及对原始权重的研究、游戏网络的改进以及 Qwen 数学能力的提升，但后两项关键成果并非单纯依赖读取原始权重实现，而是结合了 Python 编程手段。
下表详细列出了各项实验的具体配置与结果，揭示了不同任务中技术手段的差异：
| # | 实验 | Size | 可以读取重量？ | 写重量吗？ | Python? | 运行网络？ | Result |
|---|---|---|---|---|---|---|---|
| 1 | 一个 PPO MLP 被训练的游戏的名字 | 17K | Yes | No | No | No | 4/4 是正确的 |
| 2 | 描述扩散 MLP 产生的形状 | 24K | Yes | No | No | No | 三分之三正确 |
| 3 | 命名一个 char 变压器的语言和复制头 | 7.2M | No | No | Yes | No | 三分之三正确 |
| 4 | 修复一个卡住的 Kinetix 汽车保险 | 172K | Yes | Yes | No | No¹ | 0% → 100%² 其他 |
| 5 | 从头开始编写 MinAtar 游戏的 MLPs | 20K | No³ | Yes | No | No | 超过 PPO-100M⁴ |
| 6 | 编写一个 9×9 Go 网络 | 1.5M | No | Yes | Yes | 是（0–50 次通过） | 这比 PPO 更好 |
| 7a | 发现了 3 女杰玛 3 | 270M | No | No | Yes | No | Failed |
| 7b | 同样，看到注意力模式 | 270M | No | No | Yes | Yes⁵ | 三分之三正确 |
| 8 | 修复 Qwen3.5 的数学 | 800M | No | Yes | Yes | 是的 (50 次通过) | 7. 9% → 48. 1% |
| 8b | 在 Gemma3 上也是如此。 | 270M | No | Yes | Yes | 是的 (50 次通过) | Failed |
数据显示，“仅查看原始权重”这一严格设定（即上下文中的原始浮点数，不使用工具，也不运行网络）仅出现在实验 1、2 和 4 中，且涉及的模型参数量较小，仅在 17K–172K 之间。相比之下，所有涉及真实语言模型的实验均使用了 Python 代码辅助，而作为重点结果的 Qwen 实验（实验 8）不仅使用了 Python，还允许模型在最多 50 批练习题上进行运行测试。
Qwen 实验的结果实际上表明，Astra 能够被引导去执行类似人类机器学习工程师的任务，例如编写代码片段来分析甚至直接修改网络权重。这种能力并非一两年前的人工智能模型所能具备，当时这些模型在上述任务上通常会失败。
然而，将使用 Python 的实验结果与纯粹读取权重的实验混为一谈是不准确的。单一技术同时实现从零开始编写权重以优化小型游戏网络，以及提升大型模型在特定样本任务上的性能，暗示了一种深层的统一能力。但如果分别测试这些不同的技术手段，并不能证明存在一种通用的权重“格式塔”（gestalt）能力，因为事实上并不存在这样一个单一的技术基础。
