【报告内容】

汇报人：张子牧

汇报单位：河海大学

主题：Aurora: Towards Universal Generative Multimodal Time Series Forecasting

1、Introduction

2、Method

3、Experiment

4、Conclusion

【报告总结】

1.待解决的问题描述

在时间序列预测领域，跨领域泛化（Cross-domain Generalization）一直是一个巨大的挑战。

1）同形不同果（领域偏移）： 在不同的领域（如金融、电力、气象）中，即使两段历史时间序列的波形非常相似，受限于各自领域特定的背景因素，它们的未来走势也可能截然不同。纯粹的数值序列缺乏足够的上下文来区分这些差异。

2）现有基础模型的局限： 现有的时间序列基础模型（如基于 Transformer 或 CNN 的单模态模型）无法显式利用文本、图像等蕴含丰富领域知识的模态。

3）多模态模型的缺陷： 现存的多模态时间序列模型大多是针对特定任务的端到端（End-to-end）监督架构，不支持在未见过的新领域进行零样本（Zero-shot）跨领域推理。

2. 相关创新方案

为了打破上述瓶颈，论文提出了 Aurora——首个支持多模态输入和零样本推理的生成式多模态时间序列基础模型。其核心创新方案分为编码和解码两大部分：

1）Aurora 编码器 (Encoder)：知识蒸馏与模态引导融合

a.特征蒸馏 (Token Distillation)： 针对文本和图像信息冗余的问题，利用预训练模型（Bert/ViT）提取特征后，通过交叉注意力蒸馏器（VisionDistiller / TextDistiller）中可学习的聚类中心（R 向量），将海量特征压缩提炼为高浓度的领域知识 Token。

b.模态引导自注意力 (Modality-Guided MSA)： 不采用简单的拼接，而是计算时间序列与视觉、文本特征的相关性矩阵，生成全局指导矩阵 Corr。将 Corr 作为偏置注入到时间序列的自注意力计算中，让领域知识精准“引导”时序特征的提取。

2）Aurora 解码器 (Decoder)：原型引导的流匹配引擎

a.多模态原型检索 (Prototype Retriever)： 利用文本和图像语义，通过 Transformer 网络对预设的原型库（包含周期、趋势等基础函数）进行打分和加权组合，生成一个粗略的未来走势雏形（P）。

b.基于流匹配的生成 (Flow Matching)： 摒弃传统的点预测（均值回归），采用生成式流匹配技术。以“雏形+噪声”为起点，在融合了多模态约束条件Xcond）的控制下，网络（vtθ）预测通向真实未来的“速度场”。推理时通过常微分方程（ODE）求解步进，输出极其稳定的概率分布和置信区间。

3. 实验总结

通过在构建的跨领域多模态时间序列语料库上进行预训练，Aurora 展现出了卓越的性能：

1）零样本推理能力 (Zero-shot Performance)： 在未参与训练的目标领域测试中，Aurora 的跨领域泛化能力显著优于现有的单模态基础模型（如 PatchTST, TimesNet, Informer 等）。它证明了外部知识的引入能有效对抗领域偏移。

2）概率预测的优越性 (Probabilistic Forecasting)： 相比于直接预测点数值（优化 MSE），Aurora 的流匹配引擎不仅提高了复杂波动下的预测精度（点预测指标更优），还能生成高质量的连续预测轨迹，提供精准的置信区间评估，完美应对未来的不确定性。

3）消融实验验证 (Ablation Study)： 实验充分证明了每一个创新模块的必要性。移除图像/文本蒸馏器，或替换掉流匹配模块改用直接预测，都会导致模型在跨领域任务中的性能出现显著下降。

4. 未来工作

基于 Aurora 建立的生成式多模态框架，未来的研究工作可以向以下几个维度拓展：

1）模态与知识源的扩充： 除了现有的简短文本和内生视觉图像，未来可引入大规模知识图谱（Knowledge Graphs）或利用大语言模型（LLM）生成更长上下文的深度分析报告作为输入，进一步强化“导航”约束。

2）采样效率与轻量化： 流匹配模型在推理时需要经过多次迭代（ODE Solver）来生成置信区间，计算成本较高。未来可研究针对时间序列流匹配的加速采样算法，以适应高频交易或边缘设备的实时预测需求。

3）统一更多下游任务： 将 Aurora 的“条件生成”能力泛化，从纯粹的未来预测（Forecasting）推广到时间序列的异常检测（通过重构误差）、缺失值填补（Imputation）等其他核心任务，打造真正的大一统时序基础模型。

报告时间：2026年05月29日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)