Pika 基于 MiniMax H3 开源 H3 Flex，六步实现音视频联合生成
事件
近日，Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex，并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音，支持文本、首尾帧和多模态参考输入，供创作者进行镜头设计、参考生成和视频编辑。 本次发布包含两套 LoRA 适配器，分别用于文本及首尾帧条件生成、多模态参考生成，同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P、768P 输出，可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式，方便开发者将其加入现有创作工具。 在本地生成之外，Pika 可通过 API 提供 1080P、2K 和 4K 视频增强，以及音频分轨功能。创作者可以先以较低分辨率生成和筛选草稿，再对选定版本进行高分辨率处理；同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨，方便在后期分别调整。高分辨率的增强视频和音频分轨则由 Pika API 服务提供。 Pika 在技术博客中介绍，团队先在内部音视频数据集上对 MiniMax H3 进行监督微调，再采用投影分布匹配蒸馏（PDMD），将教师模型的 50 步去噪压缩至 6 步。随后，团队通过奖励反馈学习和直接偏好优化训练 LoRA 适配器，改善美学质量、清晰度和指令遵循。适配器合并用于推理后，无须增加生成步数。 Pika 还对托管推理服务做了加速。在保持模型权重和六步采样方案不变的测试中，使用 8 张 NVIDIA B300 GPU 生成一段 5 秒、768P 音视频，条件编码、去噪和解码的合计耗时从 3.409 秒缩短至 2.129 秒，处理速度约为原来的 1.6 倍。 在视觉与音频表现上，Pika 公布的对比评测结果显示，H3 Flex 在五项视觉和音频质量指标上均在参评模型中取得最高得分，并在 DesignArena 文生视频榜单上取得第八名成绩，是该榜单下排名最高的开源视频模型。 今年 8 月，MiniMax H3 开源后，MiniMax 与合作企业围绕不同的使用场景，继续训练和优化模型，并在社区中开放，包括与 Running Hub 打造 MiniMax H3 480P；与 fal 选择面向实时生成做后训练和推理优化，推出了 H3 Max 768P、H3 Max 480P；以及 FastVideo 通过稀疏化和硬件适配推出的 FastH3、英伟达与 MIT 联合围绕 H3 的开发 StreamRender-H3、Open-H3-Regenerate-2K 等多款模型等，海外开发者围绕 H3衍生模型搭出了 Twitch 直播、24 小时“AI 电视台”和 AI 短视频直播软件等创新玩法。 H3 开源一个月内下载量已经超过 2400 万次，产生超过 300 个公开
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：雷锋网*