神经网络通常被视为黑盒，其输出源于神经元、权重及训练与推理过程的复杂交互。然而，这一局面正在改变。Anthropic 安全研究员 Joshua Fonseca Rivera 近期的研究揭示了特定神经元与模型人格之间的关联，而麻省理工学院计算机科学与人工智能实验室（CSAIL）的一项新发现则表明，前沿大语言模型可以直接修改其他模型的权重。
CSAIL 的研究团队证实，像 OpenAI 的 GPT-6 Astra 这样的模型，能够绕过传统的梯度下降训练过程，直接重写另一个模型的参数以调整其行为。博士生 Rikiya Takehi 在社交媒体上指出：“我们发现了早期迹象，表明前沿 LLM 在本地阅读、编写和推理神经网络权重方面表现出色。”这意味着模型可以将原始权重视为可读写的代码，通过诊断故障并直接修复来优化性能，而非依赖间接的训练机制。
为了验证这一概念，Takehi 与同事 Jayden Teoh、Alex Zhang 和 Omar Khattab 让 GPT-6 Astra 对 Qwen3.5-0.8B 模型的权重进行修改，旨在提升其数学能力。结果显示，Astra 仅改动了该模型 0.016% 的权重，便实现了显著的性能飞跃：在 MATH-500 基准测试中，数学性能提升了 6 倍；在 IFEval 基准测试中，指令遵循得分提高了约 3 倍。值得注意的是，这一过程完全未使用梯度下降训练，而是由 Astra 直接修改了构成 Qwen 权重的数值。
研究人员将这种技术命名为“权重空间编程”（Weight Space Programming）。他们在博客中解释称，即便不允许 Astra 编写训练循环，这一目标依然可以实现。模型利用其推理能力确定神经网络的各个部分正在计算或应当计算的内容，并据此调整权重。回顾深度学习历史，简单的归纳偏置曾被编码进 Adam 或 Muon 等符号优化器中，但如今，神经网络权重正逐渐被那些能原生推理并优化自身权重的 LLM 所接管。
Astra 展现出的权重编程能力甚至延伸至从零开始构建神经网络。当研究人员要求它“从头开始编写一个策略网络的权重”时，模型成功完成了任务。Takehi 认为，这项技术有望在不引发灾难性遗忘的情况下改善模型表现——即在注入新知识时避免原有能力的丧失。
从更宏观的角度来看，作者预计权重空间编程将为理解和大模型优化开辟新路径，包括实现递归自我改进。此外，该技术还有助于减少模型的幻觉现象，提升可解释性与对齐度。目前，研究团队的下一步计划是建立标准化基准，以评估 LLM 进行权重空间编程的能力，从而推动该领域的技术进步。
