学术论坛
视觉大模型高效感知与轻量化论坛

论坛简介

       近年来,大模型为视觉感知与推理领域注入创新动力,当前视觉大模型在相关任务中取得突破性进展,由于但高算力高存储的固有局限,成为其在资源受限场景落地的关键瓶颈,轻量化技术作为破局之策已成为学术与产业界的研究热点。本论坛聚焦面向视觉大模型高效感知与轻量化这一核心议题,围绕大小模型协同知识推理、多模态大模型量化与高效推理系统、多模态大模型在超分辨率的高效应用、视觉大模型高效感知与结构设计等方面的关键技术展开深度研讨,以突破传统技术局限,实现大模型推理性能与效率的平衡,推动视觉大模型在实际场景中的落地应用,为智能视觉感知理解领域的前沿探索与产业化升级提供新思路。

论坛日程

82691cb4e5e201979db6b4a13c74007e.jpg

论坛主席

ed2f6c3e3c090efa22513cdb9e3625e8.jpg

卢湖川

CSIG常务理事

大连理工大学 教授

个人简介:卢湖川,大连理工大学教授,IEEE Fellow,国家杰出青年科学基金获得者,大连理工大学未来技术学院执行院长。研究方向为计算机视觉、机器学习与模式识别。发表领域顶级期刊会议论文200余篇,谷歌学术引用 6.6万余次。以第一完成人获辽宁省科技进步一等奖、中国图像图形学会自然科学一等奖、教育部自然科学二等奖2项等科技奖励,并获包括CVPR 2020 Best Paper Award Nominee, ICCV2011 Most Remembered Poster 等多项国际学术奖。团队于2017-2023 年在国际目标跟踪权威评测VOT竞赛连续在多个赛道获冠军10次。


c7de1f815374869b2c17c0127d062046.jpg

王一帆

大连理工大学 副教授

个人简介:王一帆,大连理工大学长聘副教授,辽宁省智能感知与理解人工智能重点实验室骨干。研究方向为多模态视觉理解,发表包括TIP/CVPR/ICCV等顶会顶刊论文40余篇,主持国自然面上、青年、省部级重点项目、企业横向等。获辽宁省科技进步一等奖、CSIG自然科学二等奖、中国图象图形学报优秀论文、省级优秀指导教师称号。成果落地华为摄像头、OPPO手机、美图秀秀软件等多项产品。担任Neural Networks期刊编委、CSIG-MV/CCF-CV专委会委员、CSIG女工委委员、VALSE执行领域主席委员会委员。


论坛讲者信息

9edc3e190eb5c445cb1221a0fe0e0c4a.jpg

刘新旺

国防科技大学 教授

报告题目:大小模型协同知识推理

报告摘要:如何基于现有背景知识、所处环境和过往行为推理出全新的、有价值的知识,对搜索推荐、金融、医学及军事等领域有着关键性影响。随着大语言模型兴起,利用LLM的推理能力分析已有背景信息,进而精准预测新知识成为近期研究热点。然而,由于LLM海量的参数,使得其在资源受限的环境下难以使用与推广。为解决上述问题,课题组提出了基于大小模型协同策略的知识推理系列算法,包括基于自适应思考的轻量化语言模型推理、基于跳跃思考的高效语言模型推理以及思维链引导的结构化知识推理等方法。这些方法不仅减少计算开销,还全面提升了推理准确性。此外,课题组探索了大小模型协同的推荐算法,也取得了不错的效果。

个人简介:刘新旺,国防科技大学教授、博导。研究方向为机器学习、数据挖掘等。国家杰青(2023)、国家优青(2019)获得者。国自然重点项目、科技创新2030重大项目负责人,基金委创新群体A类核心成员。发表CCF-A类期刊/会议论文150余篇, ESI高被引论文20篇, 谷歌学术引用2.7万余次, 连续4年入选全球2%顶尖科学奖榜单。担任IEEE T-KDE, IEEE T-NNLS, IEEE T-CYB等国际顶刊AE,ICML, NeurIPS等国际顶会AC。获CCF自然科学一等奖、CAAI吴文俊自然科学一等奖、北京市科技进步一等奖、湖南省自然科学一等奖2项、CSIG自然科学二等奖2项等。


bfc01d33b71985ec064be7419a736900.jpg

刘祥龙

北京航空航天大学 教授

报告题目:多模态大模型量化及其高效推理系统

报告摘要:近年来多模态大模型技术快速发展并获得广泛应用。但多模态大模型推理阶段算力需求巨大,限制了其在资源受限的场景下的深度应用。低比特量化可以显著压缩模型存储、降低算力消耗,是实现多模态大模型压缩和高效推理的关键技术,获得了学术界和工业界广泛关注研究。本报告将围绕多模态大模型低比特量化,介绍团队在低比特线性量化和1比特二值量化的研究脉络、提出的主要方法,以及推理部署开源工具和应用实践。

个人简介:刘祥龙,北京航空航天大学教授,博士生导师,计算机学院党委书记、复杂关键软件环境全国重点实验室副主任,国家级高层次人才,国家重点研发计划项目首席科学家。长期从事安全可信人工智能的教学和科研,负责《人工智能安全导论》、《数据结构与程序设计》等本科和研究生国家级课程,发表人工智能领域国际顶级期刊/会议论文160余篇,主持国家自然科学基金青年A类和B类项目、科技创新2030重大项目、国家重点研发计划项目等国家级项目。担任IEEE TNNLS等期刊编委,ACL、AAAI等国际会议领域主席。连续入选爱思唯尔中国高被引学者,获中国仿真学会科学技术一等奖、陕西省自然科学一等奖、中国电子学会青年科学家奖等。


87aa2e47d558799fd0cfb8cf298fb11f.jpg

邓富城

极视角 算法专家

报告题目:视觉语言大模型在产业领域的实践之路

报告摘要:从单一任务小模型到多模态视觉大模型,已成为产业领域 CV 应用的必然趋势。极视角以产业应用为导向,选择解决细粒度的图像/视频感知理解问题,研发面向产业真实场景应用的星际视觉语言大模型;把重点放在后训练阶段,通过构建高质量多模态数据引擎,保持基础通用能力的同时,强化大模型在产业领域细粒度定位感知和理解能力。

个人简介:浙江大学电子信息技术与仪器专业博士学位、哈尔滨工业大学控制科学与工程专业博士后,深圳高层次人才,CCF-CV计算机视觉专委会执行委员、山东省杰出软件工程师。发表国际期刊论文9篇,获授权专利5项。主要研究方向为传感器,移动机器人,计算机视觉,深度学习等。在移动机器人,人工智能,计算机视觉等领域有着10余年的科研和工作经历,带领团队在智慧安防、智慧城市、智慧交通、智慧工厂等多个行业完成算法开发和应用,推动人工智能和计算机视觉应用大规模落地。


ea4a346bfee034d75b0d243014ee19b2.jpg

刘家瑛

北京大学 教授

报告题目:大模型时代的多模态超分辨率感知:从信号增强到关系重建

报告摘要:超分辨率重建历经模型驱动的解析复原、数据驱动的映射学习,到基础模型引导的重建阶段。当大模型的通用语义引入超分辨率后,分辨率不再仅是尺度放大或频域补偿,而是对象与关系结构的重构,重建关键由像素一致性转为关系一致性。多模态超分辨率大模型的本质为以跨模态语义约束关系重建,将分辨率转换理解为结构保持映射。借助范畴论形式化刻画,像素、区域与图像间的关联被抽象为结构态射,大模型构建跨尺度、跨模态关系整合统一语义空间,多模态信息成为关系补充与约束建模核心来源。围绕语义空间适配,引入多模态融合风险度量界定跨模态协同边界,据此构建关系驱动的多模态超分辨率大模型,在结构一致性与语义合理性上展现更强解释力与泛化性。

个人简介:刘家瑛,北京大学王选计算机研究所教授,IEEE Fellow,教育部“长江学者奖励计划”特聘教授,电子出版新技术国家工程研究中心副主任。研究领域为智能媒体计算,发表IEEE/ACM汇刊与CCF A类论文100余篇,谷歌学术引用2.5万余次。担任IEEE TIP/TCSVT/MM等期刊编委,IEEE ICME/ACM ICMR指导委员会委员,ACM MM Asia24大会主席,ACM MM Asia25/23,ACM ICMR21/IEEE ICME21大会程序主席,CVPR/ICCV/ECCV/ACM MM会议领域主席等。获省部级奖励3项、CSIG石青云女科学家奖、北京大学教学卓越奖等。


81a1fb53b869df73af56498df4c34076.jpg

李冠彬

中山大学 教授

报告题目:面向流式场景的视觉大模型高效感知与结构设计

报告摘要:近年来,视觉大模型在开放世界理解与长时序视频推理等任务中取得显著进展,但其计算复杂度高、上下文冗余严重以及长时记忆管理困难等问题,逐渐成为实际部署与规模化应用的关键瓶颈。如何在保证模型表达能力与泛化性能的同时,实现结构级高效感知与轻量化推理,成为当前的重要研究方向。本次报告将围绕流式视觉场景下的大模型高效建模问题,介绍研究组在细粒度开放词汇检测、视频多上下文复用推理、层级事件记忆建模以及实时检索增强机制等方面的探索工作。相关研究可为构建可扩展、可部署的视觉大模型提供思路。

个人简介:李冠彬,中山大学教授,博导,国家优秀青年基金获得者。研究图像视频内容理解与生成。发表CCF A/中国科学院一区论文200余篇,谷歌学术引用19000余次。获CSIG青年科学家奖、吴文俊人工智能优秀青年奖、ACM中国新星提名奖、CSIG科学技术一等奖、ICCV19最佳论文提名奖、CVPR2024最佳论文候选等。主持国自然优青、面上、青年、重点研发课题、广东省杰青等20多项项目。担任广东省大数据分析与处理重点实验室副主任、广东省图象图形学会计算机视觉专委会主任、CSIG青工委副秘书长。担任人工智能领域顶会领域主席,获10余项国际顶会竞赛冠军,成果应用于智能交通分析、医疗诊断、数字人驱动的智慧教育等。


论坛联系人 

姓名:王一帆   

单位和职称:大连理工大学副教授

邮箱:wyfan@dlut.edu.cn


参会注册

你知道你的Internet Explorer是过时了吗?

为了得到我们网站最好的体验效果,我们建议您升级到最新版本的Internet Explorer或选择另一个web浏览器.一个列表最流行的web浏览器在下面可以找到.