研究人员利用人工智能模型解读并修改其他神经网络的内部运作机制，为探索 AI“黑箱”提供了一种全新路径。
传统上，计算机科学家通过微小增量训练或从头构建来优化模型。麻省理工学院（MIT）剑桥校区的一组研究人员展示了一款名为 GPT-6 Astra 的 AI 模型，该模型能够充分解析其他模型的原始内部数值，从而预测系统各部分的行为表现。随后，Astra 可对目标模型进行编辑以提升性能，包括增强其数学能力。相关发现已于 11 月 2 日在预印本平台发布。
机器学习研究员 Rikiya Takehi 指出：“前沿人工智能模型正初步展现出类似人类处理文档的能力——即阅读、推理并修改神经网络。”
尽管这些结果并不意味着由旧金山 OpenAI 开发的 Astra 能完全解释或理解特定 AI 网络的工作原理，但研究表明，通用人工智能模型（如 ChatGPT 或 Claude）可能具备以实用方式修改神经网络的能力。
人工智能的可解释性
此前，研究人员一直试图阐明神经网络不同组件如何产生输出。牛津大学人工智能安全研究员 Fazl Barez 表示，这项预印本研究展示了自动化“可解释性”方法的可能性。
研究人员期望，这种对模型的深入理解有助于构建更安全的 AI 系统，但 Barez 警告称这一假设“基本未经测试”。
目前尚不清楚 Astra 是否超越了其在训练中习得的信息与技术范畴。哈佛大学计算机科学家兼生物信息学家马林卡·齐特尼克（Marinka Zitnik）对此表示关注，她认为若 Astra 能读取并解释超出人类认知能力的模型，将令人惊讶。齐特尼克举例说明，此类技术可在现实世界测试前帮助发现模型错误。
神经元编辑技术
现代 AI 系统基于大规模神经网络构建，其架构灵感源自大脑，由数十亿个“权重”连接的处理单元（神经元）组成。这些权重代表模型内部连接的强度，并在训练过程中逐步调整，以优化模型对蛋白质结构或句子下一词的预测能力。
由于模型特征与输出之间的关联极其复杂，神经网络常被形容为“黑箱”。可解释性研究人员通过实验确定特定条件下哪些权重被激活。此外，此前已有研究开发出能够学习编辑其他模型的自定义模型。
