无锚点的忠实性:关于可解释AI忠实性度量在特征重要性上结构性错位的立场论文
事件
可解释人工智能(XAI)工具常被宣传为通过让算法更易被人类理解来提升对机器学习模型的信任,但过去十年的证据表明这一目标整体上并未实现,反而助长了对错误预测的过度依赖,进而可能引发算法厌恶。XAI 目前更像是一种调试工具,用于获取关于模型所学特征的零散洞见。
造成这一局限的核心问题之一,是 XAI 方法往往过度简化模型内部运作,使解释与模型本身之间出现错位,即所谓的不忠实或失真。忠实性可理解为解释与模型之间的近似程度,若能严格计算,就能量化解释可信度的一个要素。然而现有度量存在明显限制,使这种量化要么不可行,要么计算代价高昂。
这篇立场论文系统梳理了当前忠实性度量的五大缺陷,并提出四条可能的研究方向以增强其可靠性。对 XAI 研究者与依赖解释做模型审查的从业者而言,该文提示:在缺乏可靠忠实性度量的情况下,解释结果不宜被直接当作模型行为的可信依据。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:arXiv cs.AI*