站内内容与 AI 工具一站式检索。
FluidPD 提出预填充-解码分离式 LLM 服务的原地弹性机制，通过 FluidToken 与 FluidRole 应对负载波动，在 Azure 生产负载上把 SLO 达成率较静态 SGLang 最高提升 94.6 个百分点，且无需新增 GPU。