范式智能与睿思智联联合发布开源一站式生产级AI部署平台“模域ModelSphere”,面向企业提供模型部署、推理与服务管理能力,降低大模型落地门槛。
一份面向工程团队的大模型平台落地指南,梳理从模型接入、推理部署到监控运维的全链路实践,帮助团队把大模型从演示推进到生产环境。
蚂蚁百灵开源 560B 参数大模型 Ling-3.0-flash,主打低成本复杂工作流,单次调用成本约 0.19 美元,面向智能体与多步骤任务场景。
FluidPD 提出预填充-解码分离式 LLM 服务的原地弹性机制,通过 FluidToken 与 FluidRole 应对负载波动,在 Azure 生产负载上把 SLO 达成率较静态 SGLang 最高提升 94.6 个百分点,且无需新增 GPU。
据消息人士透露,AI 推理基础设施初创公司 Modal Labs 正接近完成 7.5 亿美元新一轮融资,估值约 157.5 亿美元,较四个月前增长逾两倍,显示资本对 AI 推理算力赛道的持续看好。
阿里CEO吴泳铭面临将20GW算力资源有效利用的挑战,AI竞争焦点正从算力规模转向算力利用率,如何为庞大算力找到落地场景成为关键。
OpenAI首代自研芯片Jalapeño从设计到流片仅9个月,AI参与RTL生成与验证,使部分验证效率提升80%、节省超100天。但芯片全链路仍需以年计,与模型迭代速度存在鸿沟,软件适配或成下一竞速关键。
IDC发布全球托管边缘服务评估,腾讯云凭EdgeOne首次入选领导者类别,为唯一中国及亚太厂商。EdgeOne融合加速、安全、边缘计算与AI,推出边缘AI推理平台Booster和智能体托管平台Makers,服务超50万用户。