Astra通过编辑权重提升Qwen3.5数学能力

Astra通过编辑权重提升Qwen3.5数学能力。该方案无需梯度下降,仅用Python处理权重并结合练习数据,在MATH-500等基准测试中验证了效果。

  • 目标模型:Qwen3.5-0.8B,架构包含 24 层,拥有 80 亿参数。
  • 优化方式:通过直接编辑模型权重提升数学能力,全程不涉及梯度下降或传统训练流程。
  • Astra 输入配置:使用 Python 内核处理权重(无需 GPU),结合练习数据集(GSM8K 中的 7,469 题与 MATH 中的 7,275 题,均非测试集),以及 10、25 或 50 次前向传递操作。其中,一次前向传递定义为模型回答最多 512 个问题或阅读最多 1,024 个文本片段。
  • 评测基准:在 MATH-500、GSM8K 及其他六个基准测试中进行评估,开启思考模式,最大生成长度设为 32,768 tokens。Astra 未接触过上述任何评测数据集。

  • 采样与评分设置:温度设为 0.6,top-p 为 0.95,top-k 为 20,存在惩罚系数为 1.5。鉴于 Qwen 官方模型卡指出该模型易陷入思考循环,各项得分均为多次采样的平均值:AMC23 取 16 个样本均值;MATH-500、Minerva Math、OlympiadBench 和 GPQA Diamond 各取 4 个样本均值;GSM8K 和 IFEval 各取 2 个样本均值;MMLU-Pro 基于固定抽取的 1,000 道题目取 1 个样本结果。
Astra无需梯度下降即可优化权重

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读