陈科海

哈尔滨工业大学（深圳） 教授

报告题目：多模态大模型的可信决策与一致性校验

报告摘要：本次报告聚焦多模态大模型的可信决策与一致性校验，揭示多模态大模型普遍存在模态偏好及单模态快捷路径偏见现象。通过表示工程如何在不微调的情况下，引导多模态大模型的模态倾向特定模态，从而提升下游任务性能。然后从信息流视角介绍指令特征是模态仲裁的关键锚点的发现，如何识别出少数关键注意力头即可控制模态遵循比例。最后，以端到端定位命名实体识别任务为例，介绍所提出的模态感知一致性推理框架，注入多样式推理与可验证奖励，强制跨模态校验，有效纠正偏见并提升识别与定位精准度。

个人简介：陈科海，哈尔滨工业大学（深圳）信息学部计算机学院/计算与智能研究院教授，博导，国家级青年人才。获2025年度“吴文俊人工智能科学技术奖”科技进步特等奖、2024年度“钱伟长中文信息处理”科技进步一等奖、2022年度北京市科技进步二等奖和2020年度中国中文信息学会“优博”论文奖，主要研究方向为自然语言处理、大模型智能体、多模态可信推理等，在ACL、NeurIPS、ICLR、AAAI等国际会议和期刊发表论文100余篇。多次担任自然语言处理国际会议ACL、EMNLP、NAACL等(高级)领域主席、人工智能国际会议AAAI、IJCAI资深程序委员和IJCNLP-AACL-2023研讨会主席。担任Neural Networks期刊编委。

马   刚

联想 CTOO 资深工程师

报告题目：从“会做”到“稳定做对”：多模态Agent 的可靠性工程

报告摘要：随着多模态大模型逐渐具备视觉理解、工具调用和复杂任务执行能力，Agent 系统正在从“能不能完成任务”进入到“能不能稳定、可靠地完成任务”的新阶段。在 OSWorld 等真实计算机使用基准中，我们观察到一个典型现象：许多任务并不是模型完全不会做，而是模型有能力完成，但在多次运行中表现不稳定，呈现出明显的行为方差。本报告将结合 HIPPO Agent 在 OSWorld 上取得SOTA成绩的实践，分享我们对可信多模态 Agent 的系统性思考。报告重点讨论长程任务执行中的记忆遗忘、认知负荷、推理噪声和渐进漂移问题，并介绍我们采用的三类可靠性工程方法：外化记忆、减少推理噪声、隔离认知空间。通过这些方法，我们希望说明：可信 Agent 的建设不能只依赖更强的模型能力，也需要在系统架构层面对执行过程进行约束、管理和工程化控制。

个人简介：马刚，联想 CTOO Human-centered Innovation Intelligence and Insights 资深工程师，主要从事 AI 应用开发、多模态 Agent 与智能体可靠性工程相关工作。近期聚焦可信多模态 Agent 的系统架构设计，并参与 HIPPO Agent 在 OSWorld 基准上的实践探索。