面向资源受限边缘设备的神经符号路由可靠推理方法
事件
在边缘设备上本地运行语言模型可以带来隐私保护和低延迟推理，但能塞进这类硬件的小模型在算术、代数和形式逻辑等任务上并不可靠。研究者认为这种不可靠在很大程度上是可以避免的：许多看似需要推理的查询其实是结构确定性的，存在快速且精确的符号解，强行让概率模型去逼近它们只会牺牲精度和能耗。
为此，团队提出一种神经符号路由器，对每个输入查询进行分类，并分派给代价最低的正确求解器：结构化任务交给确定性引擎，开放式应用题才留给小语言模型。路由逻辑并非手工编写，而是用L*语法推断算法学习一个确定性有限自动机，以小模型作为成员查询的判定器、以标注数据作为等价判定器。
在树莓派4B（8GB内存、无GPU）上，用DeepMind Mathematics、GSM8K和RuleTaker中100条未测试提示进行评估，学习式路由在512 token推理预算下取得100%的路由准确率和98.3%的整体准确率（应用题93.3%），而最强的智能体基线Program-of-Thought仅为72.0%，同等求解器条件下的工具调用智能体为58.7%。由于格式化查询根本不会进入模型，路由器可在1至11毫秒内作答；在30 token配置下，其速度是Program-of-Thought的8.8倍，能效高2.8倍。这一结果表明，边缘端推理不必在准确率与资源之间二选一，混合符号与神经方法是一条可行路径。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*