学术论坛
视觉-语音-文字多模态智能感知与交互论坛

论坛简介

       当前,人工智能正从单模态感知向多模态认知加速演进,视觉、语音与文字等多源信息的深度融合已成为构建通用人工智能(AGI)及新一代自然人机交互系统的核心驱动力。本论坛聚焦“多模态交互”这一前沿方向,旨在系统探讨语音、视觉与文字识别在统一空间中的协同建模与耦合机制。论坛将邀请多位在多模态大模型、视听协同感知以及跨模态对齐等领域具有突出学术影响力的专家学者,围绕文档图像的数字化修复、多媒体音频计算技术、视听场景理解等研究方向,分享最新的进展与技术成果。通过深入研讨视觉、听觉与文字等异构模态在感知、理解与生成过程中的融合机理与关键挑战,为多模态感知与交互领域的学科交叉与创新提供理论基础与技术支撑。


论坛主席

2fa57506bc53e75e9a16d13728fbc896.png

殷绪成 

北京科技大学  教授

个人简介:殷绪成,教授、博导,国家杰出青年科学基金项目获得者、科技创新2030-“新一代人工智能”重大项目首席科学家,北京科技大学计算机与通信工程学院院长、模式识别与人工智能技术创新实验室主任,中国图象图形学学会文档图像分析与识别专委会主任。主要研究领域包括模式识别、文字识别、计算机视觉、人工智能芯片、工业智能与工业软件技术及应用,在中国计算机学会推荐国际期刊和会议上发表论文一百多篇,曾获北京市科技进步一等奖、中国电子学会科技进步一等奖、吴文俊人工智能奖技术发明一等奖。


62c4e7663e9a4a54556fdbec91d32ef8.png

钱馨园

北京科技大学  副教授

个人简介:钱馨园,女,北京科技大学计算机与通信工程学院副教授,英国伦敦玛丽女王大学计算机博士。曾在英国爱丁堡大学、意大利FBK研究所、新加坡国立大学、香港中文大学(深圳)从事研究工作、她的研究方向为智能语音技术,多模态(视听觉)感知与交互。已发表论文70余篇,包括TASLP, TMM, CVPR, AAAI等。担任多个国际会议/期刊的程序委员/客座编辑(如ICASSP, IROS, TCE等)。主持/参与国家自然科学基金、北京市自然科学基金、科技创新2030项目、新加坡HRI人机交互等项目。获评ACM新星奖(北京),北京市“高创计划”青年托举人才。


论坛讲者信息

4e8ba88e492c165c20a01dcb01739d92.png

金连文

华南理工大学  教授

报告题目:AIGC时代的文档图像安全:从像素找茬到可解释语义侦查


报告摘要:近年来,随着生成式人工智能的快速发展,图像和文本篡改变得越来越逼真,对信息安全构成了严重威胁。面对文档图像篡改检测挑战问题,本报告从像素级视觉特征到高级语义理解两个方面,从数据集建设、篡改检测技术和大模型可解释性方法三个维度介绍一些近期研究进展,包括大规模文档图像篡改数据集构建方法、基于视觉与频域联合感知的文本篡改检测技术、基于视觉和语义线索的多模态大模型文本篡改检测方法、基于强化推理的可解释性大模型方法等。最后将对AGI时代相关技术的发展趋势进行简要讨论。


个人简介:金连文,华南理工大学二级教授,兼任中国图像图形学会副理事长、广东省图象图形学会理事长等职。在重要学术期刊及国际会议上发表论文300余篇(其中SCI JCR Q1区+CCF A类论文150+篇),Google Scholar论文被引用数20000余次,H-Index 76。2006年入选教育部“新世纪优秀人才”计划,多次入选斯坦福大学&爱思唯尔“全球前2%顶尖科学家榜单”、爱思唯尔“中国高被引学者”,2024年入选IAPR Fellow。获省部级科技奖5项(其中一等奖2项),获国际学术会议最佳论文奖4次。


2420a58748631a142e89c62aa28566dd.png

郭丰俊

上海合合信息科技股份有限公司  

图像算法研发总监

报告题目:应对复杂真实场景的AIGC鉴伪:图像、视频与文本的伪造检测


报告摘要:随着AIGC快速发展,图像、视频与文本的高质量伪造内容给身份认证、金融安全和平台治理带来安全威胁。本报告聚焦AIGC鉴伪,讨论deepfake图像/视频检测、生成式文本真实性判断及多模态内容一致性核验,重点关注实际业务中面临的压缩、模糊、噪声等复杂退化问题,并探讨兼具泛化性、可解释性与落地能力的鉴伪解决方案


个人简介:郭丰俊,毕业于上海交通大学,模式识别与智能系统博士,CSIG文档图像分析与识别专委会常务委员,上海市图像图形学学会理事。长期从事文字识别,图像处理、计算机视觉及内容安全方向研究。近年来,郭丰俊带领团队获得过ICDAR19大会表格检测竞赛冠军,中国图像图形学会2021年度科技进步二等奖等奖项,获CSIG2022中英文购物小票信息理解大赛冠军、第三届CSIG图像图形技术挑战赛决赛总冠军、ICDAR2023文档图像篡改检测竞赛冠军、2024全球AI攻防挑战赛篡改检测赛道冠军。现任合合信息图像算法研发总监。


b07730b7f42c3f78fbc5a6c5f19d9111.png

叶 龙

中国传媒大学  教授

报告题目:多媒体智能中的音频计算技术


报告摘要:本报告围绕多媒体智能领域中的音频计算技术展开汇报,重点阐述基于视觉理解的音频生成与增强、音频伪造检测两大核心方向的研究与应用现状。从模型架构、应用场景等方面进行技术梳理与介绍。总结技术突破与现存瓶颈,展望其在多模态交互、内容安全领域的发展趋势,为相关研究与应用提供参考。


个人简介:叶龙,中国传媒大学数据科学与智能媒体学院院长、教授、博士生导师。媒体融合与传播国家重点实验室研究员,媒介音视频教育部重点实验室(中国传媒大学)副主任,中国人工智能学会智能传媒专业委员会秘书长,中国网络视听协会人工智能工作委员会副理事长,中国中文信息学会开源情报技术专委会委员,北京市青年人才计划入选者。主要研究领域为智能媒体分析与计算。主持或合作主持国家重点研发计划课题1项、国家自然科学基金重点项目2项、面上项目3项、青年项目1项,科技支撑计划1项。在IEEE汇刊、CCF A类等期刊或会议上发表论文100余篇,申请国内外发明专利20余项。获北京市科技奖技术发明二等奖、中国电影电视技术学会青年科技奖、IFTC Best Paper Award与PCM Best Paper Finalist。


0614722569771d783721226be3674086.png

张 超

清华大学  副教授

报告题目:音视频大语言模型


报告摘要:多模态大语言模型带来了通用场景音视频理解技术的快速进步。以文本大语言模型为基座,通过对齐音视频编码器的输出空间与基座模型的输入空间,可实现端到端的视听觉感知。在此基础上,通过集成强化学习等后训练方法,可大幅降低音视频大模型的幻觉问题,并赋予其多步推理能力。进一步的,将大模型与流式语音编码器和合成器融合,并以固定时间步长进行持续解码,可以实现边说边听的全双工语音对话,提升大模型对物理世界的感知、认知和交互能力。本报告聚焦音视频大语言模型,介绍首个能理解所有音频元素(语音、音频事件、音乐)的听觉大语言模型SALMONN,以及 SALMONN 在低端听觉感知、语音质量评估、副语言信息标注和推理等方面的内容。还将汇报video-SALMONN、video-SALMONN 2、video-SALMONN-o1、WAVE、D-ORCA等音视频理解大模型,以及全双工语音对话模型SALMONN-omni。


个人简介:张超,清华大学电子工程系副教授、博士生导师,上海人工智能实验室双聘青年科学家,伦敦大学学院(UCL)脑科学部荣誉副教授。主要研究方向为多模态大模型与脑信号解码。张超于清华大学计算机系获学士和硕士学位,于剑桥大学工程系获博士学位。曾任剑桥大学 Research Associate、京东 AI 语音组联合负责人、Google 高级研究科学家等职务。在语音语言处理、机器学习、人工智能等领域的国际顶级期刊会议累计发表论文 110 余篇,6 次获得最佳学生论文奖。


939e3fe3045b56dca8610ab655973976.png

王 伟

北京交通大学  教授

报告题目:面向多模态模型的鲁棒位置编码与精准图像反演


报告摘要:本报告从位置编码的泛化性、安全性与生成模型的可控性三方面介绍近期进展。针对隐私安全,Masked Jigsaw Puzzle统一框架通过随机打乱token顺序,并用可学习未知位置嵌入遮盖原有位置编码,破坏局部空间信息依赖,防御联邦学习中位置嵌入梯度泄露输入数据的问题,提升分类与情感分析任务性能。针对分辨率泛化,Compass-RoPE将视觉Transformer中的轴向旋转位置编码替换为极坐标参数化,通过均匀初始化角度向量实现各向同性方向覆盖,并引入离散傅里叶变换混合角度,显著提升高分辨率推理时的外推能力。针对生成模型属性操控,All-in-One Slider将文本嵌入空间分解为稀疏语义属性方向,替代传统的“一对一”训练模式,实现轻量化、可扩展的多属性连续控制,支持未见属性操控与真实图像反演。三项工作共同推动了Transformer与扩散模型在泛化能力、隐私鲁棒性与细粒度可控性上的发展。


个人简介:王伟,北京交通大学计算机科学与技术学院教授,国家高层次青年人才基金获得者。作为负责人承担国家自然科学基金面上项目、北京市自然科学基金重点项目等。主要研究方向为人脸图像视频的生成与编辑,以及序列模型架构研究。在 IEEE Trans.和 CCF A 类会议和期刊上发表论文50余篇,担任 ICIP、ICMR等国际会议的Area Chiar,曾获ACM MultiMeida最佳论文提名奖,ICCV 优博奖,和意大利计算机视觉模式识别和机器学习协会优博奖等。


79c5e2de92dfb0362aa1d6ffbc7a12af.png

胡 迪

中国人民大学  副教授

报告题目:面向视音场景理解的统一基础模型


报告摘要:自然场景内容通常被视觉与声音等不同模态信息所捕获和表示。这些源自不同模态的信息在时间和空间维度上形成了多层次、多样化的关联关系,进而形成了实现复杂场景精细化理解与推理的重要基础。本报告将围绕面向视音场景理解的统一基础模型这一主题,介绍我们的系列代表性工作。具体而言,报告首先从时间、空间与时空三个尺度展开:在时间尺度上,关注跨模态时序关联的学习以及长时事件的定位与理解;在空间尺度上,关注视听对应关系的挖掘、定位与建模;在时空联合尺度上,进一步研究音视频模态之间的协同理解与推理机制。随后,报告将进一步着重介绍面向视音理解的统一基础模型Crab及Crab+,说明如何将不同时空尺度上的关联学习任务纳入统一学习框架,通过显式协作机制实现多任务之间的关联互助与统一学习,大量实验结果表明Crab系列能够显著超越任务专家模型表现。


个人简介:胡迪,现任中国人民大学高瓴人工智能学院副教授,博导。主要研究方向为机器多模态感知、交互与学习,以主要作者在TPAMI/ICML/CVPR/CoRL等人工智能顶级期刊及会议发表论文60余篇,代表性工作如视音感知一统模型Crab;平衡多模态学习理论,机制与方法;多模态大模型微调新范式MokA;面向物体操纵的视听触多模态交互等。作为副主编出版本科教材一部。曾入选 CVPR Doctoral Consortium;荣获2020中国人工智能学会优博奖;荣获2022年度吴文俊人工智能优秀青年奖;入选第七届中国科协青托计划、微软铸星学者、智源学者等。主持多项国家自然科学基金和北京市自然科学基金项目。所指导学生获百度奖学金(全球10人)。担任ICML、ICLR、AAAI等会议AC/SPC等,主办/协办多场国际顶级会议的多模态学习讲习班(Tutorial)。


论坛联系人

姓名:钱馨园  

单位和职称:北京科技大学副教授

邮箱:qianxy@ustb.edu.cn



参会注册

你知道你的Internet Explorer是过时了吗?

为了得到我们网站最好的体验效果,我们建议您升级到最新版本的Internet Explorer或选择另一个web浏览器.一个列表最流行的web浏览器在下面可以找到.