VocabX重构词汇表，Qwen3推理成本降77%
Dharma-AI发布VocabX，重构词汇表降推理成本。针对Qwen3-4B微调场景，该方法将词汇表从15万缩至6.4万，使葡萄牙语作文评分系统推理开销降低77%，同时保持模型性能。
# Qwen3
共 4 篇相关文章
PS5LM分叉版实现GPU加速运行大模型
Reddit用户发布PS5LM分叉版，在破解PS5上实现GPU加速运行大模型。Qwen3.8-27B生成速度达每秒20代币，内存上限提升至11.4GiB，支持WebUI远程交互。
受限解码构建校准概率决策模型
受限解码可构建校准概率决策模型。通过掩码将输出锁定在预设选项，单次前向传播即可选出最高概率答案，避免多次传输。但原始置信度分数未必反映真实正确率，需额外处理以确保概率校准。
浏览器本地LLM实验：直接读取概率比生成JSON快
一项完全在浏览器内运行的本地实验显示，大语言模型在处理选择题时，直接读取选项概率分布无需完整文本解码。该实验支持MiniCPM5等模型在用户GPU上运行，对比了直接读取logits与逐token生成JSON两种路径的耗时差异，且数据不离开页面。