理据传递了什么？角色分工问答中的消息干预研究

事件

角色分工的问答流水线中，推理器会把理据传给验证器，但这条消息究竟带来什么并不清楚。研究者提出一种消息干预诊断方法：固定证据与候选答案，只改变跨推理器到验证器边界传递的理据。实验在 MuSiQue、HotpotQA 和 2WikiMultiHopQA 的 400 个样本上进行，生成器与验证器均使用 DeepSeek。

结果显示，忠实理据相比不提供理据几乎不增加答案准确率，而被篡改的理据会强烈改变支持判断。在盲测验证提示下，无害改写只让支持判断变动 0% 至 2.5%，被篡改的理据则变动 10% 至 22%；若加入显式理据检查提示，同一模式被放大到 34% 至 55%。最终答案变动较小，仅 2% 至 30%，且被篡改支持判断翻转中只有 2.9% 至 35.3% 伴随答案改变。

人工审计揭示了问题所在：42 个有效篡改中有 16 个属于“篡改过度信任”案例，盲测人类对模型接受的 10 个被篡改理据中的 9 个予以拒绝或标记为不清楚。跨模型与任务边界检查还表明，该通道可能活跃、被放大、失效或并入任务标签。理据共享应被当作一种验证消息机制来评估，而不只是通往更高答案准确率的路径。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：arXiv cs.AI*