华中师大提出CoReFuse-Med:先净化再融合,让低质模态不再拖后腿
事件
华中师范大学、华中科技大学、广州中医药大学及北卡罗来纳大学教堂山分校的研究团队提出多模态医学图像分割方法CoReFuse-Med,论文被ACM MM 2026收录。研究指出,多模态并非越多越好:在脑部MRI中,T1、T2、FLAIR等序列虽已空间对齐,但采样质量差异明显,低质量模态会把重采样伪影带入融合网络。实验显示,高分辨率T1单模态DSC为0.703,融合三个模态后反而降至约0.695。
作者从浅层污染和深层模态偏置两方面定位问题。特征对比噪声比显示,T1的F-CNR为1.0283,约为FLAIR的3.4倍;梯度贡献上T1占77.4%、FLAIR仅13.1%,但遮挡FLAIR会使DSC下降70.2%,与遮挡T1影响相当,说明优化与推理存在不一致。此外,U型网络的跳跃连接会把重采样结构伪影一并传入解码器。
CoReFuse-Med将融合拆为三部分:LACE用条带卷积构建各向异性编码,IMSH通过平均池化分离结构基底与高频残差以过滤伪影,MBCF在深层共享语义空间中重新校准各模态贡献。该工作为多模态医学影像融合提供了可解释的修复思路,代码已开源。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:雷锋网*