Ai2发布StateBench：揭示Transformer长文本状态跟踪局限
Ai2推出StateBench基准测试。该研究将状态跟踪划分为四个难度层级，对比Transformer与Gated DeltaNet等架构表现，揭示前者在复杂依赖链处理上的局限，量化不同模型在各复杂度下的具体能力差异。
# Transformer
共 12 篇相关文章
Transformer层记忆机制解析：从线性到自注意力
Transformer每层本质是记忆单元。从线性映射到自注意力，64维键下容量由64条跃升至百万级。解析MLP与自注意力的干扰比率，揭示模型如何突破存储上限并实现海量信息的精准检索。
Dust零阶优化法：大模型训练中超越反向传播
研究人员提出Dust零阶优化法，在大模型训练中表现超越反向传播。该方法通过扰动激活值实现并行评估，效率比传统进化策略高出数千至数万倍，且大模型对种群规模利用更高效。
诺维格：AI辅助编程成趋势，软件工程需重构
前谷歌研究主任诺维格称AI辅助编程成趋势。他以Codex生成6000个临时文件为例，指出开发者需重构软件工程流程，重新审视安全、隐私及代码审查等良好实践的定义。
NVIDIA开源Kumo Tabular表格基础模型
NVIDIA开源表格基础模型Kumo Tabular。该模型支持单次前向传播预测，无需训练或特征工程即可处理分类回归任务。提供28M至215M参数版本，在四个基准测试中均位列第一，允许商业用途。
AI算力突破推动金融反欺诈技术迭代
AI算力突破推动金融反欺诈技术迭代。每年超8750万美国成年人遭遇诈骗，高性能计算助力专用生成式AI模型落地，实现实时检测并显著降低误报率，为不同细分领域提供精准风险视图。
AstroForge开发Solo自主系统，拟2027年发射全自主航天器
初创公司AstroForge推出基于Transformer模型的Solo自主控制堆栈。计划2027年搭乘火箭发射首艘完全自主航天器，摆脱对地面人工控制的依赖，实现太空自我诊断与修复。
GPT-2架构详解：从嵌入到注意力机制
GPT-2架构详解：从嵌入到注意力机制。解析Transformer三大核心组件，涵盖分词、位置编码及自注意力机制。借助1.24亿参数模型，拆解文本生成原理，展示如何捕捉长距离依赖并预测下一个Token。
Multiverse用伊辛模型优化LLM深度剪枝
Multiverse将LLM深度剪枝转化为伊辛模型优化问题。该方法利用自旋系统能量预测性能，无需运行基准测试即可排名候选配置。在Llama-3.3-70B上实现50%压缩时，MMLU得分提升近23个百分点。
OpenAI前研究员创办TypeSafe，发布非LLM模型Jev
OpenAI前研究员阿尔梅达创办的TypeSafe AI发布新型Transformer模型Jev。该模型不输出文本而是直接产生概率，被称为“校准决策”。相比传统LLM，Jev在软件自动化场景中速度提升5至18倍，成本大幅降低，可用于替代分类器或作为智能检查层防止LLM越狱。
AI安全争论升温：实验室与先驱呼吁监管
AI安全争论升温，主要AI实验室研究人员接连警告灾难性风险，本吉奥、辛顿、戈麦斯就模型能力、监管和部署安全发表判断，美国国会推动监管而特朗普政府抵触。
Hugging Face发布NeoMME多模态编码器
Hugging Face推出NeoMME系列多语言多模态编码器，包含260M和800M两种规格。该模型采用单一双向Transformer同时处理文本与图像，无需预训练视觉塔或因果解码器。其衍生的NeoMME-Retriever在视觉文档检索任务中表现优异，显著降低存储占用并提升吞吐量。