在将 Qwen、Gemma 等通用开源模型微调为特定领域应用（如论文评分器）时，开发者往往继承了原本为多语言、多场景设计的庞大词汇表。这种“一刀切”的词汇配置在实际推理中会导致显著的成本浪费。
Dharma-AI 团队在其即将发布的 VocabX 论文预览中指出，通过根据每个 Token 的实际推理成本而非单纯频率来重构词汇表，可以在保持模型性能甚至提升精度的前提下，大幅降低推理开销。在一项基于 Qwen3-4B 的葡萄牙语作文自动评分系统中，该方法实现了 77% 的推理成本降低。
分词器（Tokenizer）通常被视为基础模型的固定属性，独立于训练过程存在。然而，对于单一领域的专用模型而言，分词器可能是最大的成本杠杆之一。
通用词汇在垂直场景中的双重浪费
以 Dharma-AI 在生产环境中运行的系统为例：一个基于 Qwen3-4B 的葡萄牙语作文自动评分器。该模型接收论文、提示及配套文本，输出包含各项能力等级和评论的 JSON 评估结果。尽管模型本身仅拥有 40 亿参数且已针对特定任务微调，但其仍沿用 Qwen3-4B 原始的分词器——一个旨在处理多种语言和文本类型（从源代码到合同再到中文）的通用工具。
在这种高度受限的使用场景下，通用词汇表带来了两项主要开销：
- 碎片化（Fragmentation）：评分器生成的文本具有高度重复的结构特征（如固定的 JSON 信封、相同的能力名称、标准的评估短语）。通用分词器将这些高频出现的领域特定片段切割成多个 Token，导致每次请求都需生成更多 Token，从而增加计算负担。
- 冗余性（Overhead）：原始词汇表包含 151,669 个条目，其中绝大多数在该任务中从未被使用。但在生成每一个 Token 时，模型仍需对整个词汇表进行打分，这造成了巨大的无效计算。
VocabX 方法在保持基础模型、训练数据和配方不变的情况下，重建了词汇表。实验数据显示，同一句话在使用基础分词器时需 14 个 Token，而使用 VocabX 仅需 4 个；评分器中常见的重复跨度从 12 个 Token 压缩至 1 个；词汇表大小从 151,669 缩减至 64,767。
推理机制分析：读取便宜，写作昂贵
要理解为何减少 Token 数量能带来不成比例的成本节省，需深入分析大语言模型的推理阶段：
- 预填充（Prefill）阶段：模型一次性处理整个输入序列。此时瓶颈在于计算能力，因为 GPU 内存中的权重会被复用多次。
- 解码（Decode）阶段：模型逐个生成响应 Token。每生成一个 Token 都需要一次完整的前向传播，且需读取 KV 缓存。此时瓶颈在于内存带宽，GPU 大部分时间在等待数据加载。
在小模型中等批量供应的场景下，Dharma-AI 测量发现：生成一个 Token 的成本是读取一个 Token 成本的 7.4 倍。这意味着，单纯压缩输入长度带来的收益有限，而优化输出端的 Token 效率才是关键。
此外，词汇表本身的大小直接影响 LM Head（语言模型头）的计算量。LM Head 将内部状态映射为所有可能 Token 的概率得分，其参数量与词汇表大小成正比。在 Qwen3-4B 这类小模型中，这一矩阵占据了近 10% 的参数总量。由于解码阶段的内存瓶颈特性，词汇表中每一行未被使用的条目都会在每个步骤中产生额外的数据移动开销。VocabX 通过两步策略控制词汇规模：子词合并（Sub-word Merging）替换基础词汇为更小的领域特定词汇，以及宏标记（Macro Tokens）在固定预算下进一步压缩高频跨度。
现有方案的局限性
调整模型词汇并非全新概念，参考方法包括快速词汇传输（FVT）、多字编码（MWT）及 Liquid AI 的在线 BPE 扩展。这些方法虽能减少碎片化，但存在两个核心缺陷：
- 基于频率而非成本的选择标准：它们倾向于保留在输入中高频出现的表达式，即便某些在输出中较少出现但生成成本极高的表达式更具优化价值。
- 单层操作局限：它们要么仅调整单词切分方式，要么仅合并整个短语，无法同时应对短片段和长跨度的重复模式。例如，评分器中最大的浪费来自长时间的重复跨度（如 JSON 结构），传统方法难以有效处理。
VocabX 的技术实现
VocabX 针对上述限制进行了三项改进：
1. 成本加权选择
不再询问候选 Token 节省了多少数量，而是计算其节省了多少成本和时间。每个被移除的 Token 乘以其所在字段的价格系数（系统提示、用户消息或模型响应）。鉴于生成 Token 成本远高于读取，优先优化输出端的高成本片段。
2. 双层并行处理
VocabX 同时在两个层级工作：
- 子词层：重建领域词汇的切分方式。
- 多字层：识别重复的完整跨度（从简短表达式到整行代码或 JSON 信封），将其合并为单一的“宏标记”。
两层均依据相同的成本标准进行选择，并各自拥有独立的预算。为了找到这些跨度，团队使用了五个挖掘器（Miners），分别针对长单词、整行、表达式和完整句子进行搜索。其中，最后一个挖掘器贡献最大，仅在代码场景下就减少了 17.5 个百分点的 Token 消耗。
3. 统计估计弥补样本盲区
基于成本选择 Token 需要评估候选人在已选 Token 之后的剩余收益。直接对全量文档重新处理计算量过大，常用方法是抽样测量。然而，低频高价值的表达式可能在样本中缺失，导致其收益被误估为零。
例如，一个在 50,000 份文档中出现 37 次的表达式，在 400 份文档的样本中仅约 26% 的概率会出现。在合同语料库中，仅有 16.6% 的候选项出现在样本中，其余部分未被评估。
VocabX 引入统计估计方法，利用可见候选人的行为模式来推断不可见候选人的潜在收益，而非简单置零。这一改进使得在相同样本和预算下，合同语料库的 Token 削减率从 44.7% 提升至 52.8%。
实际效果验证
为了量化 VocabX 的实际影响，团队训练了七个版本的评分器，除 Tokenizer 外，基础模型、数据、配方和种子完全一致。测试环境为 RTX 5090 GPU 配合 vLLM 推理服务器，运行 500 个请求。
结果显示：
- 成本降低：模型响应价格从 350 美元降至 101 美元，降幅达 77.0%。
- 精度提升：结合评分准确度和违规文章识别能力的基准分数从 0.703 上升至 0.810。
值得注意的是，过度压缩可能损害质量。早期版本将每个能力的等级与周围 JSON 合并为单一宏图标，虽然最紧凑，但基准分数降至 0.689。最终方案赋予等级独立 Token，虽每次响应增加 2 个 Token，但将分数提升至 0.810，且在测量中比合并版本更便宜（成本降低 77.0% vs 73.3%）。这表明目标应是“最具成本效益的词汇”，而非绝对最小的词汇。
跨领域与跨模型泛化能力
为验证方法的普适性，VocabX 在五个公共领域（合同、医学论文、科学论文、新闻、Python 代码）和三个模型家族（Qwen3, Llama-3.1, Gemma-3）中与三种参考方法进行了对比。所有方法使用相同的挖掘和测试文件及词汇上限。
在所有 15 种组合中，VocabX 的压缩率均高于最强参考方法 1.2 至 9.3 个百分点。在预估推理成本方面，VocabX 修剪版在所有项目中领先，平均优势分别为：Qwen3 (+10.2)、Llama-3.1 (+7.5)、Gemma-3 (+13.6)。特别是在合同领域，VocabX 实现了 62.6% 的 Token 减少，词汇量为 113,426，而最佳 BPE 配置需 207,803 个词汇，比例为 61.8%。
结论
VocabX 并未使模型变得更聪明，而是消除了为不必要文本付费的浪费，并剔除了永不使用的词汇条目。在 Dharma-AI 的评分器案例中，该方法在不改变基础模型和训练方法的前提下，实现了 77% 的推理成本降低。
专业化通常始于数据和权重的调整，但 VocabX 证明，在词汇层面进行前置优化同样能带来显著收益。完整的 VocabX 方法及实验细节将在后续发表的论文中披露。
参考文献
- Dharma-AI. "VocabX: Cost-weighted Vocabulary Adaptation for Domain-specific Language Models". In preparation (2026).
- Leonidas et al. "Fast Vocabulary Transfer for Language Model Compression". EMNLP Industry Track (2022).
- Leonidas et al. "Multi-Word Tokenization for Sequence Compression". EMNLP Industry Track (2023).
- Smith, Jimmy T.H. "Online Token Expansion for Pre-trained LLMs". arXiv:2607.15232 (2026).
