音频大语言模型多模态语音情感识别中的不一致性感知评估
事件
语音交互大模型既要理解说话人说了什么，也要理解其怎么说，但文本与音频两条通道并不总是一致。研究将文本和音频映射到共享的效价—唤醒—支配情感空间，用双组分高斯混合模型把两者之间的距离转换为连续、无需设定阈值的不一致分数，并用人类判断对该分数进行验证。
研究在三个具备音频能力的大模型上，针对表演式、对话式和自发性语音三类语料开展评测。在控制真实情感标签和特征空间距离之后，只要音频存在，不一致性都会提高出错几率，且在所有语料中一致成立。与之形成对比的是，用相同特征训练的监督分类器表现相反，说明困难源于这些模型组合原始证据的方式，而非信号本身。仅涉及文本的效应并不可靠，只更换读取转录文本的模型，其符号就会在某个语料上反转。
研究还去掉情感词典重建分数，核心结论依然成立；在六种更简单的替代方案中，它是唯一能在全部三个语料上预测错误的无标签指标。这一结果对语音助手、客服机器人和情感计算系统具有直接价值：多模态线索冲突时应降低置信度或触发复核，而不能默认模型能自行化解矛盾。相关代码、数据表和提示词已公开。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*