【报告内容】

汇报人： 江健章

汇报单位：福建理工大学

主题：DashFusion Dual-Stream Alignment With Hierarchical Bottleneck Fusion for Multimodal Sentiment Analysis

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

1.待解决的问题描述

(1)在MSA中同时处理时间对齐和语义对齐。

(2)在保证性能的同时，设计一种计算更高效、冗余更少的融合方式。

2.相关创新方案

(1)双流对齐（Dual-stream alignment）：把时间对齐与语义对齐（对比学习）一起做，并用“以文本为中心”的策略把两者连起来。

(2)分层瓶颈融合（HBF, Hierarchical Bottleneck Fusion）：引入瓶颈Token作为跨模态通信枢纽，并在层间逐层压缩瓶颈Token数量，减少冗余、兼顾效率与性能。

3.实验总结

(1)其双流对齐模块通过解决不同模态间的时间错位与模态异质性问题，实现跨模态的综合对齐。

(2)SCL监督对比学习机制使模态特征更具区分度与鲁棒性。

(3)设计了一种渐进高效的多模态融合方法——瓶颈层信息压缩法（HBF），通过瓶颈层逐层压缩信息实现模态特征整合。

在三个基准数据集上的广泛实验验证了DashFusion的有效性，其在英语和中文情感分析任务中均展现出显著性能提升。消融实验验证了各组件的贡献，对比结果表明我们的HBF方法优于现有融合方案。这些发现共同确立了DashFusion作为提升多模态情感分析性能的有效解决方案。

4.未来工作

除多模态情感分析外，还将利用DashFusion处理其他类型的情感理解与情感计算任务。此外，我们还致力于将DashFusion适应缺失模态场景与噪声模态场景，以提升其在现实应用中的鲁棒性——在实际应用中，不完整数据与噪声数据是常见的挑战。

报告时间：2026年03月06日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)