锚点散度:对比学习中的语义几何
事件
对比学习学到的向量表示通常用余弦相似度衡量相似性,但这只提供单一固定的几何结构。实际上语义相似是依赖上下文的:两张图片可能因同一物体、相同风格或对应同一临床发现而相似。研究者提出,对比表示天然包含一族几何结构,可针对特定语义结构进行特化。
核心思路是利用对比学习、指数族与信息几何之间的相互作用,在“锚点”上的概率分布与表示空间上的Bregman几何之间建立对应关系。基于这一对应,作者定义了“锚点散度”,一种在固定表示上指定上下文相关语义几何的方法。在该框架下,对锚点分布建模就等价于对几何本身建模。
检索实验表明,锚点散度能有效且高效地指定上下文相关的语义相似度。这意味着无需重新训练模型,就能让同一套表示适配不同任务或领域的相似性判断,对检索、推荐和医疗影像等需要多义相似度的场景有实用价值。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:arXiv cs.AI*