中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场
事件
当模型开始参与研发下一代模型,大模型研发方式正在发生变化。OpenAI 已成立 RSI(递归式自我改进)团队,目标在 2028 年 3 月前实现完全自动化的 AI 研究员;Anthropic 披露内部 80% 以上可运行代码由 Claude 独立编写,工程师产出效率提升 8 倍,其核心研发平台上有 3 万个 AI Agent 同时协作跑测与实验;Google 推出自进化编码智能体 AlphaEvolve 加速 Gemini 迭代,Jeff Dean 离职创办 Discovery Loop 专攻自动化机器学习,估值数周内被推到 500 亿美元。国内面壁、智谱等团队也分别从预训练框架、国产芯片推理基础设施切入。
模型研发分为预训练、中训练与后训练。预训练投入大、周期长,一次完整实验以月计;中训练与后训练则在已有基座上用数百亿到数万亿 tokens 高质量数据长出能力,由大量消融实验、参数调优和工程优化构成,实验多、周期短、结果可快速评估,因此成为 AI 最先能大规模承担研发工作的环节。DeepSeek、Qwen 等高质量开源基座陆续发布,让团队能站在巨人肩膀上启动研发,模型差距越来越多来自基座之后的那几步。
AI for AI 已从概念走向工程落地:AI 从只能帮工程师写单个 PyTorch 函数,进化到可独立阅读顶会论文、编写完整训练脚本、调度 GPU 集群、分析日志报错、完成一键微调。Devin、Aider、OpenHands 等研发智能体逐渐成熟,机器学习工程成为递归式自我改进的核心试验场。值得关注的是,中训练与后训练只是起点而非边界,随着 AI 接手的研发环节一段段被打通,智能迭代速度的重构或将成为通往 AGI 的第二增长曲线。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:雷锋网*