Uni2TS 模型选型：三代 Moirai 的取舍逻辑与核对清单

Uni2TS 模型选型三代 Moirai 的取舍逻辑与核对清单【免费下载链接】uni2tsUnified Training of Universal Time Series Forecasting Transformers项目地址: https://gitcode.com/gh_mirrors/un/uni2tsUni2TS 是一个面向时间序列预测的统一训练框架其中的 Moirai 系列目前已分出三代Moirai、Moirai-MoE 与 Moirai2。这篇文章讲清三者机制、参数规模与评测数据的差异最后给出一张可逐条打勾的决策表。读完后你可以直接回答三个问题该用哪个模型、从哪个入口文件开始、落地前去哪里自行核验。一、先把两个问题问清楚序列形态频率、量级、协变量频率与上下文长度高频秒级数据点数大低频月级数据可能只有几百点直接决定 patch 与 context 的选法是否带协变量纯目标序列还是带动态协变量 feat_dynamic_real取值形态连续、稀疏计数还是重尾决定哪类输出头更匹配资源预算显存与延迟显存三代模型总参数量从 14m 到 935m 不等先确认你的卡装得下哪个档位延迟MoE 只激活部分参数推理成本低于同总参数的稠密模型是否允许微调zero-shot 够用就直接加载权重否则要准备微调流程二、三代模型三个答案Moirai 1.0多尺度 patch 打底的通用基线定位第一代模型解决“一套权重覆盖所有频率”的问题任意频率的数据都可以直接喂给它预测。关键机制多尺度 patchpatch_sizes 取 [8, 16, 32, 64, 128] 五档训练时自选择高频数据用大 patch低频用小 patch混合分布输出MixtureOutput 同时挂 StudentT、Normal、NegativeBinomial、LogNormal 四个头一个头覆盖连续、计数与重尾数据逐样本标准化加可学习 mask 填补预测窗口依据base 档 d_model768、12 层、max_seq_len512见 cli/conf/pretrain/model/moirai_base.yaml三档参数量为 14m / 91m / 311m。适配信号数据源单一、频率同质、资源有限先跑通一条可用的预测基线。多特征输入目标序列与动态协变量一并送入模型三代模型均支持。Moirai-MoEtoken 级门控专家接管多样性定位解决 Moirai 把频率逻辑写死在多套投影层里的问题。Moirai 靠人工定义的多启发式投影层处理不同频率Moirai-MoE 改用单一投影层专化能力在 token 级别由数据驱动地学出来。关键机制稀疏 MoE每个 token 由门控路由到不同专家专家各自学习不同形态的序列模式单一输入/输出投影去掉多尺寸 patch 投影结构更简单QK 归一化与 GLU 激活训练更稳定依据Base 档总参数 935m、每 token 仅激活 86mSmall 为 11m / 117m见 project/moirai-moe-1/README.md编码器在 src/uni2ts/model/moirai_moe/module.py 中以 use_moeTrue 开启。适配信号多数据源、多频率、不同分布混在一起且精度是主要目标。架构差异左图 Moirai 用多尺寸投影右图 Moirai-MoE 把专化交给门控专家。Moirai2放弃参数化分布直接出分位数定位解决“已知分布假设未必贴合业务”的问题不再把输出约束成四种已知分布的混合而是直接预测 0.1 到 0.9 共九档分位数。关键机制分位数输出默认 9 档 quantile_levels0.1~0.9推理阶段由 QuantileForecastGenerator 组装单一 patch_size放弃五档多尺度 patch粒度固定observed_mask 拼入输入ResidualBlock 承担输入输出投影依据分位数输出与单 patch 结构见 src/uni2ts/model/moirai2/module.py目前放出 Moirai-2.0-R-small。适配信号需要分位数监控、不想做分布假设或做前瞻储备。 三、用数据核对分布内基准核对Monash 29 个数据集结论在 Monash 基准的 29 个数据集上Moirai-MoE 的聚合 MAE 为最低压过现有基础模型。分布内评测29 个 Monash 数据集上的聚合 MAE 对比。解读Moirai-MoE 在多数数据集上柱形最低且长序列大规模数据上的差距更明显。零样本基准核对10 个数据集结论10 个数据集的零样本评测中Moirai-MoE-Base 聚合 CRPS 约 0.478位列第一MASE 同样居首。零样本评测10 个数据集上的聚合 CRPS 与 MASE。解读CRPS 与 MASE 同时占优说明优势不只体现在分布指标上。四、选型决策表你的情况推荐模型理由入口文件单一频率、资源受限、首次接入Moirai-1.0-R Small14m 参数部署成本最低example/moirai_forecast.ipynb多源多频率混合、精度优先Moirai-MoE Base激活 86mMonash 聚合 MAE 最低project/moirai-moe-1/README.md延迟敏感、小卡推理Moirai-MoE Small激活 11m / 总 117mproject/moirai-moe-1/README.md需要长序列或微调流程Moirai-1.0-RETTh/ETTm 微调脚本最完整project/moirai-1/finetune_lsf/README.md分位数监控、不愿做分布假设Moirai2直接输出 9 档分位数src/uni2ts/model/moirai2/边界提醒如果你的情况落不进任何一行比如想改分布头、专家数或上下文上限先读 src/uni2ts/model/ 下对应目录的 module.py 确认结构再动 cli/conf/ 里的配置。五、落地前容易被忽略的三件事滚动评估是默认口径。单次评估会低估线上误差Uni2TS 用滑动窗口持续更新上下文对齐生产环境的滚动预测场景评估实现在 src/uni2ts/eval_util/。滚动评估上下文窗口与预测窗口同步前移模拟线上滚动场景。协变量要喂对字段。动态协变量对应 feat_dynamic_real 与 past_feat_dynamic_real维度必须在构造模型参数时声明否则模型只看到目标序列。配置是拼装的。cli/conf/ 下 model、data、val_data 三部分是独立 yaml 文件复现基准只需换文件名不用动代码。下一步按 example/moirai_forecast.ipynb 跑通一次推理拿到指标后再对照第四节的决策表核验选型结论。【免费下载链接】uni2tsUnified Training of Universal Time Series Forecasting Transformers项目地址: https://gitcode.com/gh_mirrors/un/uni2ts创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考