确定性 AI：为什么大模型本身做不到，以及如何照样构建出确定性的产品

事件

Hacker News 上出现一篇题为《确定性 AI：为什么大模型做不到，以及如何照样构建出确定性的产品》的技术讨论文章。帖子热度极低，仅获得 1 分、0 条评论，尚未形成社区讨论，但议题本身切中当前大模型落地的一个核心痛点：同一个提示词反复调用，为什么结果会不一样。

文章的核心论点大致分两层。一是解释非确定性的来源：即便把温度设为 0，采样策略、浮点运算顺序、GPU 并行归约、批处理组合、服务端的模型版本与推理框架更新，都会让输出发生漂移；大模型本质上是概率系统，不存在真正意义上的“同输入同输出”。二是给出工程侧的应对思路：用结构化输出与约束解码收窄输出空间，用缓存与幂等重试降低抖动，把模型输出当作不可信输入，在外层加规则校验、schema 校验与人工兜底，并把模型调用与业务逻辑解耦，使不确定的部分被限制在可以容错的边界内。

对正在把大模型接入生产系统的团队来说，这类经验比模型跑分更有参考价值：产品要的并不是模型本身确定，而是端到端行为可预期、可测试、可回滚。该文目前几乎无人讨论，值得关注后续是否会有更多工程实践细节补充。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：Hacker News*