题目一：多模态情感理解、生成、分析关键技术研究

内容简介：多模态情感分析指从一段视频中抽取语言、音频、视觉等模态信息，以综合判断说话的情感极性、情绪状态、观点倾向等。多模态情感分析数据集收集难度和标注难度较大，标注数据量往往较少，难以学习到鲁棒的深度网络。此外，之前算法忽略了样本间和类别间模态关系的探索。本报告主要介绍利用自监督和弱监督学习算法的多模态情感分析技术，以充分挖掘多模数据潜力，建模样本间和类别间的模态交互关系，训练鲁棒的模型。

多模态情感理解指从以说话人为中心的视频中抽取语言、音频、视觉模态信息，综合分析出说话人的情感极性、情绪状态、观点倾向等。由于模态之间巨大的异构性和信息不平衡，多模态情感理解模型难以做到充分挖掘模态内特有知识和模态间共有特征，从而实现有效的多模态融合过程。同时，由于训练过程需要多模态数据成对出现，预训练好的多模态模型在面对缺失模态的下游场景时存在性能急剧下降的问题，如何结合生成模型对缺失模态进行信息补充，使多模态理解模型成功到迁移到复杂多变的推理场景中，也是目前亟待解决的关键问题。本报告聚焦于多模态情感理解和生成框架的构建和应用，探索更有效的融合方法和更鲁棒的泛化策略，为多模态领域的研究提供新视角。

报告人：胡海峰

报告人简介：教授，博士生导师，美国卡内基梅隆大学访问教授。从事计算机视觉、模式识别、人工智能、机器学习等方面研究，开发应用涉及智能驾驶、智能交通、主动安防以及智慧医疗等领域。在IEEE/ACM汇刊, Pattern Recognition等国际权威期刊以及AAAI, ACL, CVPR, EMNLP等国际知名会议发表250余篇论文。主持四项国家级和两项省级重点课题，参与多个国家级重大科技项目。

题目二：跨模态检索和生成

内容简介：跨模态检索是智能安防、多模态检索和多媒体分析等领域挑战性和紧迫性课题。目前，开放复杂环境下跨模态表征学习问题，以及无监督跨模态检索所面临的伪标签学习问题，仍然是该领域重点研究难题。汇报人在鲁棒的表征对抗学习、模态解耦合、伪标签学习等方面进行广泛研究，取得系列的跨模态检索研究成果。同时，汇报人对跨模态生成领域进行深入研究，该研究是内容创作、数字媒体、虚拟现实等领域挑战性课题。汇报人对交互式局部语义控制、长视距语义信息学习、多层级粒度表征学习等进行广泛研究，取得系列跨模态生成研究成果。

报告人：胡伟鹏

报告人简介：2022年至今年担任南洋理工大学的电气与电子工程学院CARTIN实验室的博士后研究员，合作导师为Yap-Peng Tan教授和Xudong Jiang教授。2022年7月获得中山大学博士，师从胡海峰教授，专业为信息与通信工程专业。研究兴趣包括计算机视觉，深度学习，图像和视频生成，人机交互，异构人脸识别，行人重识别等。目前已经发表21篇国际期刊会议论文，其中14篇为第一作者，包括8篇一作已录用中科院一区TOP期刊论文IEEE TIP, TIFS, TMM, TCSVT，以及通信作者发表CVPR计算机顶会论文。目前是多个顶刊审稿人，包括TIP, TIFS, TII, TMM, TCSVT, PR等期刊的审稿人。

时  间：2024年4月25日（周四）上午11：00开始

地  点：暨南大学石牌校区南海楼338

热烈欢迎广大师生参加!

信息科学技术学院

2024年4月24日