本站讯(通讯员 李玉洁 韩笑旭)9月29日,天津师范大学研究生学术前沿讲座在京津冀教育发展协同创新中心举行。中国科学院自动化研究所研究员徐常胜应邀作题为《开放世界的多模态大模型研究与应用》的学术报告。计算机与信息工程学院院长赵子平出席活动,副院长朱远平主持报告会,学院百余名师生到场参会学习。

报告围绕开放世界环境下多模态大模型发展的关键科学问题展开。徐常胜谈道,多模态大模型能够从视觉、语言等不同模态数据中学习共性知识与关联关系,在提升人工智能系统通用能力、推动智能技术向复杂场景拓展方面具有重要潜力。随着多模态大模型不断走向真实开放环境,如何在保留不同模态数据自身特性的基础上有效建模模态关联,以及如何在保证模型泛化能力的同时实现面向下游任务的跨域迁移和小样本迁移,成为当前领域亟待解决的重要问题。
围绕上述挑战,徐常胜系统介绍了团队在多模态数据关联建模与模型迁移方面的研究进展。在多模态视觉系统研究方面,他分析了理想视觉系统所应具备的关键能力,并介绍了基于解耦视觉系统构建的多模态大模型Libra,探讨如何在保留视觉信息独立建模能力的基础上,实现视觉与语言信息的有效交互。在模型迁移研究方面,他进一步介绍了团队针对多模态大模型开展的跨域迁移和小样本迁移研究,分享了在保持模型泛化能力基础上的相关方法探索。

报告结束后,徐常胜与现场师生围绕多模态表征学习、跨模态信息交互、视觉系统设计、大模型泛化能力以及未来发展趋势等问题展开深入交流。参会师生结合自身科研方向积极提问,徐常胜结合研究实践进行了细致解答,现场交流充分,学术氛围浓厚。
本次研究生学术前沿讲座聚焦人工智能领域前沿方向,为研究生提供了与高水平专家面对面交流的平台,有助于拓展研究生学术视野,把握人工智能领域最新发展趋势,提升科研创新意识与学术探索能力,对进一步提高研究生培养质量具有积极促进作用。
徐常胜,中国科学院自动化研究所研究员,国家杰出青年基金获得者、国家级领军人才、国家百千万人才工程入选者、首都科技创新领军人才、科技部重点领域创新团队负责人,IEEE/IAPR/CCF/CSIG Fellow、ACM杰出科学家,现任ACM多媒体专委会中国区(ACM SIGMM China Chapter)主席。他累计发表IEEE/ACM会刊论文200余篇、CCF-A类会议论文150余篇,在多媒体领域国际顶级会议和期刊斩获十余次最佳论文奖;以第一完成人荣获中国电子学会自然科学一等奖、技术发明一等奖及吴文俊人工智能技术发明一等奖,7次获评中国科学院优秀导师奖。
照片由计算机与信息工程学院提供
编辑:夏然