全球首发 | 深圳市大数据研究院助力国产算力集群完成DeepSeek-V4-Pro全参数后训练

DeepSeek-V4-Pro，一款1.6万亿参数级MoE开源旗舰模型，采用了CSA+HCA混合稀疏注意力、mHC连接等新机制。相比于上一代DeepSeek-V3/R1，它对国产训练框架提出了全方位的“极限挑战”。

经过联合攻关，项目已基于千卡级昇腾 910C 国产算力集群，成功实现DeepSeek-V4-Pro在国产算力集群上的全参数后训练稳定运行。

与此同时，DeepSeek-V4-Flash的全参数续训练与SFT链路也已同步打通。

DeepSeek-V4-Pro@昇腾超节点训练，MFU最终稳定在34.9%

一组数据足以说明差距：在同等参数量下，业界公开的国产算力全参数后训练案例几乎为零。而我们将一个1.6T MoE模型，在千卡集群上以27秒/步的稳定节奏，连续奔跑1500余步——这不是实验室的“单次演示”，而是可复现、可工程化交付的稳定能力。

更重要的是，该平台已快速验证了垂直领域价值。团队围绕工业级自动化运筹建模场景，在数周内完成了从数据生产、样本筛选、训练链路打通到效果评测的闭环验证。这意味着：国产算力平台不仅能够“训大模型”，更能“训好行业模型”——以短周期、低成本构建面向专业任务的增强能力。

本次攻关面向DeepSeek-V4-Pro全参数后训练，而非LoRA等少量参数微调。联合团队在以下三个层面实现了系统性突破：

为了检验DeepSeek-V4在昇腾集群上进行全参数后训练的真实价值，项目设计了一项“硬核”实验：增强大模型的数学建模能力。

团队搭建了一条SFT建模数据生产workflow，产出3000条高质量数学建模任务SFT样本，覆盖4类目标任务和3种问题形态。随后，对DeepSeek-V4进行后训练。

优化建模SFT数据飞轮流程

训练曲线给出了清晰的信号：

3K SFT训练过程概览

更直观的结果来自Benchmark对比：

四项关键指标均显著超越原模型，其中ORGEval WL提升超过5个百分点。这意味着：在国产算力上完成的全参数后训练，不仅能“跑稳”，更能“训强”——模型在复杂推理任务上的能力得到了真实增益。

下一阶段，深圳市大数据研究院将继续联合深圳河套学院、哈尔滨工业大学（深圳）、华为GTS(全球技术服务)、计算产品线、2012实验室、深智城等合作伙伴，在现有全参数续训练/SFT链路基础上，重点推进三项任务：

同时，项目将坚定推进技术开源与人才培养沉淀：

在此基础上，项目还将依托这一训练场，开展新一代通用人工智能的基础理论、新范式和新架构的研究——包括符号、连接与行为主义有机融合，从单一智能体到群体智能再到人机融合的建模探索。

DeepSeek-V4-Pro在国产算力上的全参数后训练，不是一次孤立的工程突破。

它验证了一条道路：国产开源旗舰模型 + 国产AI算力 + 高水平训练团队 + 国产厂商技术支持——这个四角闭环，是可持续的、可复制的、可信任的。

它发出了一声宣告：国产AI基础设施，从今天起，不再只是“能推理”，而是真正“能训练、能训稳、能训优”。

更重要的是，它点燃了一个希望：在下一代通用人工智能的征途上，中国的高校、科研机构和年轻学子，可以站在自己的算力土壤上，开展人工智能的研究，亲手训练属于自己的万亿模型。

这不是终点，而是发令枪。

🔗项目后续将逐步开源技术报告、训练配置与评测脚本，敬请关注深圳市大数据研究院官方发布。