学术论坛
大模型泛化的边界:长尾挑战与持续学习论坛

论坛简介

  本次会议论坛以“大模型泛化的边界:长尾挑战与持续学习”为主题,旨在探讨大模型在实际落地中面临的核心瓶颈。当前,模型过度依赖主流评测集,导致在长尾场景与非头部任务中表现受限。同时,大模型在静态数据集训练后难以适应动态环境,持续学习技术面临灾难性遗忘与计算资源约束等挑战。

  论坛将聚焦图像图形等多模态领域,系统梳理持续学习的技术路线,深入分析模态融合、知识迁移以及长尾数据下的性能优化与评测方法,推动学术界与产业界交流合作。通过促进理论创新与工程实践结合,本论坛致力于提升大模型在自动驾驶、医疗健康等垂直领域的终身学习能力与广泛适用性,加速AI技术在千行百业的深入应用。

论坛日程

2012b4ad207c77fc870dc5ca72a3daf0.png

论坛主席

f75b406a27022b1ae126b654f225d782.png

胡世哲

郑州大学  研究员

个人简介:胡世哲,郑州大学直聘研究员,博士生导师,河南省优青。主要研究具身多模态感知、多视图学习、可信多模态学习、信息瓶颈 (Information Bottleneck,IB) 理论、连续学习、聚类分析等。以第一/通讯作者在TPAMI、TIP、TKDE、计算机学报等领域重要期刊及ICLR、NeurIPS、ICML等重要国际会议发表论文30余篇,得到国内外广泛关注和积极评价。IB理论综述“A Survey on Information Bottleneck”被顶级国际期刊TPAMI评选为 “最受欢迎文章”之一。担任期刊IEEE TIP 和 PR 的副编辑,及会议ICLR 和ICML的领域主席。主持国自然面上/青年项目、河南省优秀青年科学基金、河南省重大科技专项子课题等。获得ACM郑州分会优博奖与新星奖、省教育厅科技成果一等奖等。主讲《高级语言程序设计》、《数据库系统原理》等课程,培养硕博生10余人。


d5359db709679043cd85040a70e4522a.png


李梦柯

深圳大学  助理教授

个人简介:李梦柯,现任深圳大学计算机与软件学院助理教授。2022年获得香港浸会大学计算机科学博士学位。近年来,在TPAMI、CVPR、NeurIPS、ICML等国际顶级期刊与会议(JCR-1区/CCF-A类)发表多篇高水平学术论文。主持国家自然科学基金青年项目、广东省自然科学基金面上项目以及深圳市优秀科技创新人才培养项目等。入选深圳市高层次人才。现任中国电子学会计算机分会专委会委员。研究方向聚焦深度学习优化以及实际任务应用,包括长尾学习、持续学习、多模态学习等。


论坛讲者信息

85a904e7d2075901fae9d474bde468ad.png

吴建鑫

南京大学  教授

报告题目:长尾学习的一些研究进展和思考

报告摘要:长尾学习(不均衡学习)一直以来都是机器学习中的重要研究课题。从数十年前的不均衡学习到现在深度学习中长尾数据带来的困难,研究人员对此给出了很多不同的方案,但困难远未解决,仍有许多值得研究的问题,而进展则相对有限。本报告将介绍我们在这方面的两个工作,分别针对分类和检测问题,技术上则采用了模型融合与从一个全新视角来处理长尾数据,而不局限于数据的长尾特性本身。基于这两个工作,将简要讨论对此的一些思考,即:长尾数据的处理是否可以跳出长尾本身,而结合所研究的问题目标(例如分类、检测)自身的特性来整体化处理。

个人简介:吴建鑫于南京大学获计算机科学与技术学士与硕士学位,于佐治亚理工学院获计算机科学博士学位,现任南京大学人工智能学院/计算机软件新技术全国重点实验室教授。曾任CVPR、ICCV、ECCV、AAAI、IJCAI等会议的资深领域主席或领域主席,IEEE TPAMI编委,担任CVPR 2024程序主席。研究兴趣为计算机视觉与机器学习,在相关领域的重要学术期刊、会议发表了100多篇论文。目前的研究兴趣为计算、数据资源受限情况下的深度学习与计算机视觉。


ef01c2e7af5e40bc4cf2d41834a53332.png

张煦尧

中国科学院自动化研究所  研究员

报告题目:开放环境模式识别

报告摘要:模式识别面临着从静态封闭环境走向动态开放环境的挑战。针对开放环境的动态性、不确定性和演化性等特点,开放环境模式识别旨在通过置信度估计、新类别自动发现以及类别增量学习来实现模式识别能力的自主进化。置信度估计赋予模型区分已知和未知的能力,新类别自动发现促使模型从数据中自动发现新知识,类别增量学习让模型的能力得以不断进化。通过边界评估-知识发现-能力进化的闭环学习,将推动模式识别从被动识别向主动认知转变。

个人简介:张煦尧,中国科学院自动化研究所研究员,中国科学院大学人工智能学院岗位教授,国家优青,科技创新2030新一代人工智能重大项目青年科学家。主要研究兴趣包括模式识别与机器学习,在顶级期刊和会议上发表论文100余篇,包括PIEEE, IEEE TPAMI, CVPR, ICCV, NeurIPS, ICLR等。担任国际期刊IEEE Trans. Image Processing的Senior Area Editor,以及国际期刊Pattern Recognition和Neural Networks的Associate Editor。入选中国科学院稳定支持基础研究领域青年团队、中国科协青年人才托举工程、中国科学院青年创新促进会优秀会员。荣获中国人工智能学会优秀青年奖、中国科学院优秀教师奖等荣誉。


37980dbb3fdf6c9596cc31d71f49ccb4.png

周大蔚

南京大学  副研究员

报告题目:持续学习:过去,现在与未来

报告摘要:持续学习关注模型在数据、任务与环境持续变化过程中,如何不断吸收新知识、扩展新能力,并尽可能避免对已有能力的破坏。本报告将围绕持续学习的发展脉络,系统介绍本课题组在该方向的一系列研究进展:从早期面向小模型的从零开始持续训练,探索知识保持与遗忘缓解机制;到当前面向预训练基础模型的高效复用,研究如何通过轻量更新与模块适配实现能力演进;再到以多模态大模型为核心的能力扩充,讨论模型在多模态输入与复杂任务需求下的持续升级。最后,报告将进一步展望面向开放环境的智能体持续学习,探讨模型如何在长期交互、自主探索与环境反馈中实现持续成长。

个人简介:周大蔚现任南京大学人工智能学院特任副研究员,在南京大学机器学习与数据挖掘研究所(LAMDA)从事学术研究工作。主要研究方向包括持续学习、模型复用等领域。他在TPAMI、IJCV、ICML、NeurIPS、ICLR等机器学习领域顶级会议期刊发表学术论文40余篇,以第一作者发表CCF-A类论文13篇,含一作《IEEE Trans. PAMI》论文3篇。据Google Scholar统计,累计被引用4600余次,相关论文被顶级国际期刊TPAMI评选为 “最受欢迎文章”之一。担任ICLR、IJCAI等多个顶级国际会议领域主席/高级程序委员,在AAAI、IJCAI多次组织持续学习的相关Tutorial;被评为斯坦福大学“全球前2%顶尖科学家”、IJCV、CVPR、NeurIPS、ICML等重要刊物的杰出审稿人。带领团队开源PyCIL、PILOT等多个标志性的持续学习算法库。


a49abf9e59d4d4890104fa658b70fdcb.png

魏 通

东南大学  副教授

报告题目:从长尾学习到持续学习:参数不平衡视角

报告摘要:本报告围绕不平衡学习问题,从长尾图像分类出发,探讨其在参数空间中的延伸及对持续学习的启示。首先介绍我们提出的轻量微调方法 LIFT。该方法兼顾效率与性能,能够有效缓解类别分布不平衡带来的性能退化,已成为该方向的重要基线之一。进一步研究发现,轻量微调方法学习到的参数更新呈现显著的奇异值谱不平衡特性,即主要能量集中于少数更新方向;实验表明,裁剪谱尾方向通常不会对模型泛化性能造成明显影响。基于这一观察,报告进一步介绍两种面向持续学习的方法:KeepLoRA 通过将新任务更新约束在与预训练主子空间及历史任务主导方向正交的残差子空间中,实现旧知识保持与新知识学习之间的有效平衡;EBLoRA 则通过显式约束低秩更新的谱结构平衡,缓解主导分量过强带来的干扰,从而提升模型在多任务场景下的泛化能力。实验结果表明,所提出的方法在持续学习任务中均优于现有方法。

个人简介:魏通,东南大学计算机科学与工程学院副教授、博士生导师、紫金青年学者。2021年博士毕业于南京大学LAMDA研究所,主要研究方向为鲁棒机器学习,研究成果发表CCF-A类论文30余篇,主持国家自然科学基金面上和青年项目、国家重点研发计划项目子课题,获亚太数据挖掘大会PAKDD最佳论文奖、江苏省人工智能学会优秀博士论文奖、美团科研合作卓越实践奖,入选江苏省科协青年科技人才托举工程,任国际期刊Frontiers of Computer Science青年编委、顶级国际会议ICML/NeurIPS/ICLR领域主席。


论坛联系人

姓名:胡世哲    

单位和职称:郑州大学研究员

邮箱:ieshizhehu@zzu.edu.cn

姓名:李梦柯    

单位和职称:深圳大学助理教授

邮箱:mengkeli@szu.edu.cn


参会注册

你知道你的Internet Explorer是过时了吗?

为了得到我们网站最好的体验效果,我们建议您升级到最新版本的Internet Explorer或选择另一个web浏览器.一个列表最流行的web浏览器在下面可以找到.