Fast Training of Mixture-of-Experts for Time Series Forecasting via Expert Loss Integration
通过专家损失整合实现时间序列预测的专家混合快速训练AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要主题为时间序列预测方法，涉及预测模型与即时预测性能比较，故归入时间序列与预测方向。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
通过专家损失整合实现时间序列预测的专家混合快速训练
- 研究问题
- 摘要称，研究如何解决专家混合（MoE）模型中门控权重过小导致专家难以获得有效学习信号、从而影响时间序列预测优化的问题。
- 方法与思路
- 作者提出 EliMoE 框架，在基础预测损失之外加入各专家专属损失，使每个专家的预测误差可直接参与参数更新，不依赖门控分配权重；并让不同专家学习不同时间片段，结合部分在线学习实现参数的增量更新。
- 材料陈述的贡献
- 摘要称该框架在保留计算效率的同时提升预测表现，在五个不同领域、不同采样频率的基准数据集上总体优于 PatchTST 等有监督神经预测模型及 TimeMoE 等零样本基础模型，消融研究支持专家专属损失整合策略的有效性。
- 阅读关注点
- 应核对专家专属损失的具体形式与权重设定、门控与专家损失如何联合优化、部分在线学习的更新范围与触发条件、五个数据集的构成与评价指标，以及对比模型是否经过同等调参。
- 阅读边界
- 仅凭摘要无法判断识别假设、理论保证、统计显著性、计算开销细节与可复现性；所引对比结果均为作者自述，未经独立验证。该文为 arXiv 预印本，尚未确认同行评审或期刊接收。
原文摘要
We propose a novel Mixture-of-Experts framework, referred to as Expert Loss Integration MoE (EliMoE), for time series forecasting. EliMoE addresses the optimization problem arising from small gating weights by incorporating expert-specific losses, which provide each expert with a direct learning signal independent of the gate-assigned weight. Specifically, the overall objective comprises the base forecasting loss and expert-specific losses, allowing individual expert prediction errors to directly influence parameter updates alongside the aggregate forecasting error. The framework also encourages different experts to learn from different temporal segments of the data. The proposed framework is further combined with a partial online learning strategy that enables efficient incremental updates of model parameters. By integrating expert-level loss information with partial online learning, EliMoE improves forecasting performance while retaining computational efficiency. Empirical results across five benchmark datasets from diverse application domains with different sampling frequencies show that the proposed approach generally outperforms state-of-the-art supervised neural forecasting models, including Transformer-based architectures such as PatchTST, as well as zero-shot time-series foundation models such as TimeMoE. Furthermore, ablation studies confirm the effectiveness of the expert-specific loss integration strategy, highlighting its contribution to enhancing predictive performance.