ZGCM-1：面向数学与智能体搜索的全开放高效基础模型
事件
研究团队推出ZGCM-1，一个完全开放的70亿参数稠密基础模型，从零开始训练，强调数据、系统与算法三个层面的极致效率。其核心思路是：小模型无法被动记忆整个开放网络，但可以通过内部思考与外部工具调用的结合，突破参数容量限制。模型支持256K上下文，并配套一套端到端高效开放训练方案。
技术要点包括：架构与系统协同设计，采用交错的门控滑动窗口与全注意力机制，以及稳定的FP8 Muon优化器；渐进式课程与MDP中期训练，将上下文从16K扩展到64K再到256K，并把交互轨迹重构为马尔可夫决策过程。团队还建立了AI原生研发流程，由智能体集群自主管理集群运维、数据整理与快速诊断评估。
评测显示，ZGCM-1-7B在通用基准上与同规模7B模型家族相当，在多个高难度数学推理和智能体搜索套件上，可与参数量大数十倍的前沿模型（如Qwen3-235B-A22B、GLM-5.1）保持竞争力。预训练设计在16K上下文下将时间到损失效率提升约4.2倍。团队还总结了八条可操作经验，覆盖架构扩展、SFT质量剪枝与长上下文训练等方向。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*