AI问答
✕

AI咨询

每日早报 投融资 最新技术 行业应用 大模型进展

AI知识

AI工具库 AI智能体 AI编程 Hermes 使用 Codex 使用 Claude Code 学习路径 Prompt模板库

AI应用

最佳实践 企业落地 AI赚钱 OPC 一人公司 落地SOP AI成熟度诊断 咨询预约

其他

AI 问答 关于本站
首页 / 搜索

搜索

站内内容与 AI 工具一站式检索。

全部 只搜内容 只搜工具

内容 · 1 条

最新技术 2026-10-01

Token 边界的代价：压缩证书与预测

研究量化了预分词边界规则带来的压缩成本：在英文维基百科上，边界使最优 token 数增加 28.3%–36.8%，且压缩与预测偏好不同词表，为分词器设计提供新依据。