开源工具 Jevstiller 提供了一种将云端 AI 服务“蒸馏”至本地运行的方案。该项目旨在通过提炼 Jev 模型的输出，在用户硬件上构建一个小型、快速的本地模型，从而降低对远程服务器的依赖。
Jev 以其低廉的成本和快速响应著称，但 Jevstiller 试图进一步优化这一体验。根据开发者描述，该工具能够处理熟悉的请求，无需支付每 10 亿输入代币 42 美元的费用，也不必等待约 300 毫秒的网络往返延迟。由于答案直接来自设备 CPU，本地运行意味着完全零 Token 消耗。
混合路由与一致性机制
Jevstiller 的核心逻辑在于智能路由：当本地模型自信能准确回答时，它直接生成结果；若置信度不足，则自动拒绝回答并将整个请求转发至实际的 Jev 服务器。这种机制使得系统在与 Jev 的总体协议一致率上达到了 98%。
与传统大语言模型不同，Jev 的设计范式避免了自由形式的文本生成和对人类语言结构的复杂推理，这使其具备极高的速度和低成本优势。Jevstiller 利用这一特性，通过持续监控本地模型的回答质量来维持与云端的一致性。
训练流程与审计策略
创建一个新的 Jevstiller 实例本质上是在构建一个初始状态下对 Jev 响应一无所知的模型。其文档解释称：“一旦每个类别收集到足够的样本，后台工作进程就会拟合一个学生模型和一个路由策略。”
随着使用时间的推移，例如处理特定团队的邮件或任务优先级查询，Jevstiller 会积累足够多的示例，从而能够自信地以相同方式复现 Jev 的回答。为了确保本地模型不偏离云端标准，团队引入了定期审计机制：
- 随机评估：通过随机选择查询并不断评估 Jevstiller 的反应，开发人员认为这是获得无偏见路由数据的唯一方法，因为模型会自动回避难以回答的问题。
- 动态调整：目标协议率可在本地层面配置。如果审计显示 Jevstiller 与 Jev 的一致率低于设定目标，审计频率将自动上升。
- 故障回退：在最坏情况下，如果 Jevstiller 判定其与 Jev 达成协议的能力已崩溃，所有请求将重新路由回 Jev，训练过程随即重新开始。
此外，每一个被本地模型成功回答的问题都会成为一条新的训练数据行，而未被本地处理的请求则保持原样发送至 Jev，确保回复的完整性。据开发者透露，在一个 24 小时的浸泡测试中，一个静默运行的 Jevstiller 能够在十二点钟改变每一个答案，展示了其强大的自适应能力。
