模态缺失、噪声干扰怎么办?天津大学张长青:给多模态融合加上「可信度量尺」| CNCC 2026
事件
10月21日,在中国计算机大会2026首日教程环节,天津大学人工智能学院教授张长青报告《广义多模态融合技术》,介绍团队在多模态表征、动态可信融合和通用预测基座上的研究,目标是让模型在真实场景中处理模态缺失、噪声干扰和任务变化。
报告指出,多模态融合不能只追求不同模态对齐,还要保留各模态特有信息。团队尝试通过重构不同模态观测学习潜在表征,使模型在部分检查缺失时仍可利用现有数据;同时把不确定性估计引入融合,让模型根据样本动态判断哪些来源更可靠,而不是依赖预设质量指标。
这些工作对具身智能、自动驾驶和智慧医疗等场景有直接价值:数据不完整、来源质量不一,模型仍需稳定决策。下一步值得关注的是,通用预测基座能否适应不同模态组合与任务,降低每遇新任务就重训专用模型的成本。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:雷锋网*