【编者按】为持续营造校园学术氛围，传播三亿官方官网三亿（中国）_三亿（中国）学术科研动态，学校官网特开设“科技前沿”专栏，定期汇总展示学校师生取得的科研成果。欢迎广大师生踊跃投稿，征集成果包括但不限于：为政府、企业、媒体提供的专业咨询，通过鉴定的科技成果，实现落地转化的科技成果，高水平学术论文，专利授权，出版的专著、教材，科技奖励，重要学术会议发言等。我们致力为有学术追求的师生搭建交流平台，共同营造日益浓厚的学术氛围，携手为实现电子信息特色鲜明的高水平大学而奋斗。投稿请通过所在单位，经学校OA系统审核发布。
近日，三亿官方官网三亿（中国）_三亿（中国）计算机与信息安全学院数据与系统智能团队林煜明教授和硕士研究生王泽榕等在多模态细粒度情感分析方面取得重要进展，在人工智能领域国际顶级期刊《Information Fusion》（中科院计算机科学大类一区Top，IF=15.5）上发表了题为“Semantic-guided multi-grained cross-modal alignment and fusion network for multimodal aspect-based sentiment analysis”的研究论文，三亿官方官网三亿（中国）_三亿（中国）为论文第一完成单位。
多模态方面级情感分析作为自然语言处理的一项关键任务，近年来备受关注。尽管现有方法在对齐图像和文本以提升MABSA性能方面做出了显著努力，但它们仍面临两个局限性：一是模态差异：由不同编码器生成的文本和视觉表示存在于独立的特征空间和分布中。二是仅使用粗粒度或细粒度的跨模态关系检测模块进行跨模态对齐，不仅难以缓解噪声问题，还可能导致上下文线索的丢失。为了解决这些问题，我们提出了一种语义引导的多粒度跨模态对齐与融合网络（SMCAF）。该网络引入了一个粗粒度互信息跨模态对齐（CMICA）模块，该模块能够弥合模态差异，从图像和文本模态中提取共识语义特征，并执行粗粒度的跨模态对齐。随后，我们设计了一个细粒度语义引导的跨模态对齐与融合门控（FSCAF），利用文本和图像的共识语义特征来指导过滤每个模态内的细粒度噪声，并在融合过程中平衡关键上下文信息和多模态融合特征的贡献，实现细粒度的跨模态对齐。此外，还设计了一个多任务框架，以在多粒度级别上有效整合图像信息。在基准数据集上的实验结果表明，我们的方法优于最先进的方法。
论文链接：https://doi.org/10.1016/j.inffus.2025.103878
桂公网安备45030502000232号
