Mistral发布Timestral时间序列模型

Mistral AI 近日发布了名为 Timestral 的时间序列基础模型系列。这是该公司首个专注于时间序列预测的基础模型产品。其最大规模的模型参数量为 209 万，在 GIFT-Eval、TIME 和 fev-bench 三个主要公开基准测试中均位列第一。

Timestral 支持概率性多变量预测，并能够处理仅包含过去信息的共变量以及已知未来的共变量。该模型家族旨在提供预测准确性与模型规模之间的最佳平衡（帕累托前沿），即在同等参数规模下实现领先的性能表现。相关结果已提交至 GIFT-Eval 和 TIME 排行榜。

时间序列基础模型 (TSFM) 的应用背景

时间序列数据是企业中最常见的数据类型之一，涵盖从传感器遥测到可观测度量等多个领域。基于此类数据的预测对于产能规划、能源管理、供应链优化、风险控制及设备维护至关重要。

在工业场景中，工厂利用生产时间表对工艺传感器数据进行预测，以便在设备故障前捕捉漂移迹象，并为数千个资产规划容量和备件。财务团队则通过预测流量、交易量和波动性，为数以千计的账户提供资金调度、对冲策略及财务信息支持。

传统的 ARIMA 和线性回归等模型虽成熟可靠，但通常仅适用于单一系列，且只能从该系列的历史数据中学习。深度学习模型如 PatchTST 虽然增加了在多相关系列中学习非线性模式的能力，但仍需针对每个数据集从头训练，导致知识无法迁移至新领域。时间序列基础模型通过预训练方法解决了这一问题，使模型能够从大量多样化数据中学习跨系列的通用模式。

基准测试结果

在 GIFT-Eval、TIME 和 fev-bench 三个主要公共预测基准上，Timestral 在零样本（zero-shot）预训练模型类别中，于所有五个指标均排名第一。这些成绩源自单一检查点，未使用模型集成技术。

在 83 个类似的预训练和零样本项目中，Timestral 进入前十名（分数越低越好）。在 35 个排行榜中同样位居前十。此外，在基于 SQL 技能得分的 37 个排名中也进入了前十名（分数越高越好）。

多规格模型家族与推理效率

Timestral 包含四个不同参数规模的模型：5M、28M、123M 和 209M。较大的模型提供更优的预测性能，较小的模型则具备更快的推理速度和更低的成本。这四个模型共享相同的架构和训练方法，且在各自尺寸级别上均处于准确性与模型大小的帕累托前沿。

数据显示，Timestral 的 28M 模型在 GIFT-Eval 和 TIME 基准上的表现优于参数量为其四倍的 Chronos-2。而 209M 模型则以更少的参数量击败了 TimesFM-3 和 Lag-Llama-2。

该模型系列无需 GPU 即可进行推理。在配备 8 线程的标准服务器 CPU 上，针对具有 15 分钟历史数据、预测未来三天时间步长的任务，5M 模型耗时约 10ms，209M 模型耗时约 140ms。较小模型以牺牲少量准确性换取速度：28M 模型比 209M 模型快五倍；123M 模型在三分之二的延迟时间内即可达到 209M 模型 99.8% 的得分水平。

工业场景应用示例

以拥有成千上万个传感器的工厂为例，Timestral 可通过以下方式提升预测能力：

• 多变量预测：振动、温度和压力等传感器数据并非独立存在，往往相互关联。Timestral 利用这些依赖关系进行联合预测，而非单独处理每个传感器。
• 不确定性量化：模型提供概率预测，帮助团队评估预测的不确定性范围，从而设置反映风险水平的警报阈值，并制定基于风险的维护计划。
• 分类共变量处理：对于星期几或机器状态（运行、闲置、维护）等非连续数值型共变量，Timestral 将其作为分类输入直接处理，避免了强行编码为数字所引入的错误顺序或尺度假设。
• 已知未来共变量调节：生产时间表、计划停机、天气预报等预先已知的驱动因素可作为已知未来共变量输入模型，从而提高预测质量，使预期内的负载变化不被误判为异常惊喜。

在实际部署中，Timestral 可嵌入现有监控管道，或与 Mistral 的语言模型结合构建多模态代理工作流。例如，当模型检测到传感器异常时，代理可将信号嵌入并与历史故障数据比对，随后启动子代理进行根本原因分析，结合维护记录、班次日志、操作手册等设备上下文信息，最终向工厂经理提供由数据支持的诊断建议及后续措施，而非仅仅发出警报。

关键技术贡献

Timestral 的性能优势源于以下几项核心技术改进：

1. 去地平线预测 (DHF)：不同于 Toto 2.0 和 TimesFM-3 中通过掩码将待预测值视为缺失值的方法，DHF 将完整历史保留在序列中，同时让学习的预测令牌读取前面的历史。这使得观察到的值既作为目标也作为上下文，真实间隙被标记为缺失，允许独立调整训练地平线长度和缺失数据增强。
2. 角色感知注意力机制：每个输入序列被赋予特定角色（目标变量、仅过去共变量或已知未来共变量）。已知未来共变量在整个窗口内可见，而目标变量保持因果性，信息仅从共变量流向目标。这确保了模型可以利用假日日历或天气预报等信息，而不会泄露目标的未来信息。
3. 合成数据优先策略：大部分训练数据为合成生成。首先创建具有趋势、季节性和各种噪声模式的连贯单变量过程，然后通过引入非线性依赖关系构建多变量序列。
4. 两阶段训练流程：首先在纯合成数据上进行大规模预训练（背景大小 8192），随后在真实与合成数据混合集上进行后训练（背景大小扩大 4 倍）。损失函数设计旨在超越 21 个量级的飞球损失，离散形式接近 CRPS。

定制化与部署选项

尽管公共基准衡量了通用性能，但生产数据往往具有独特的行为和结构特征，且随市场变化、设备退化等因素动态演变。因此，模型适应域内数据的能力至关重要。

对于需要深度定制的企业，Timestral 可通过 Mistral Forge 提供服务，支持以下功能：

• 简单推理接口。
• 架构扩展，如添加域特定的共变量。
• 在专有数据上进行微调，聚焦特定领域同时保持整体性能。
• 完全控制训练数据，包括调整训练组合、重复预训练数据以及生成反映目标领域的合成数据样本。确保预训练期间未接触任何测试数据。

完整的部署管道可在客户硬件上运行，支持空气隔离环境。

发布信息与规格表

Mistral 已在 GitHub 发布代码库，允许用户在自有数据上运行 Timestral。详细的技术报告将于随后发布。目前尚不清楚具体的商业合作细节，但对于专业预测问题或研究合作，用户可直接联系官方。