重大突破!深圳河套学院依托国产芯片,成功训练万亿级AI大模型

深圳河套学院

联合多家单位开展技术攻关

依托昇腾910C国产AI算力集群

完成1.6万亿参数大模型

DeepSeek-V4-Pro全参数后训练

此次技术攻关

为全球第三方机构

在国产算力平台上

完成该级别模型训练的相关探索

积累了重要经验

也印证了国产AI芯片

可支撑世界级超大参数模型训练工作

优化建模SFT数据飞轮流程

万亿参数大模型是人工智能领域的主流前沿模型，在逻辑推理、数理计算、代码编写、长文本理解等方面表现突出。这类模型的全参数训练，对硬件算力、集群稳定性、算法适配优化均有严苛要求。

长期以来，全球范围内万亿级大模型训练多采用海外高端算力产品，国内国产算力此前主要用于模型推理、小幅微调，难以完成全参数深度训练，这也是行业发展中普遍面临的技术难题。

如果把训练一个万亿级参数的AI大模型比作解一道超级复杂的数学题，那么每一张计算卡就像一名解题员。他们不仅要分工明确、日夜不停地连轴转，还不能有人偷懒、不能有人出错，更不能有人掉队。

这次训练的DeepSeek-V4-Pro采用的是混合专家模型（MoE）架构，可以把它想象成一个庞大的“专家团”：平时回答问题只激活少数几位专家，看似高效，但后训练时，“专家们”之间的沟通量却是普通模型的几十倍。再加上动态切换的注意力机制，这对芯片算力的调度和显存资源的管理提出了极其苛刻的要求。

简单来说，以前的国产算力更多是让大模型“能用”（即推理部署），就像给模型修了一条单行道，输入一个问题，输出一个答案。而这次的“全参数后训练”，则是要让模型学会自我反思和调整，相当于在单行道的基础上，又增加了复杂的立交桥和多条反馈回路，计算量和通信量瞬间翻了好几倍。

面对如此极限的挑战

科研团队在国产AI算力集群上

实现了三大硬核突破

▼

项目团队开展技术复盘与学生实战培养

本次探索是国产算力适配超大参数大模型过程中的一次重要进展，有助于提升国内AI产业链自主化水平，降低行业应用成本，为人工智能技术落地应用提供更多支撑。目前，项目已实现模型算力利用率（MFU）超过30%，关键训练算子效率提升14%，各项指标均达到工业级运行标准。

从技术应用角度来看，调用已有模型开展业务推理，与从零完成模型全参数训练分属不同技术环节，二者在技术难度、硬件要求上存在明显区别。本次试验结果表明，国产AI算力已可承担顶级大模型训练任务，相关技术路径具备可行性。

项目团队开展技术复盘与学生实战培养

深圳河套学院将万亿级模型训练攻关作为“练兵场”，学生直接嵌入国产算力真实训练场景。截至目前，项目已培养学生42名，形成了由青年教师指导、博士生核心攻坚、工程团队支撑的协同培养机制，持续为行业发展补充人才力量。

下一阶段，深圳河套学院将继续联合哈尔滨工业大学（深圳）、深圳市大数据研究院、华为GTS(全球技术服务)、计算产品线、2012实验室、深智城等合作伙伴，在现有全参数续训练/SFT链路基础上，重点推进三项任务：

同时，项目将坚定推进技术开源与人才培养沉淀：

在此基础上，项目还将依托这一训练场，开展新一代通用人工智能的基础理论、新范式和新架构的研究——包括符号、连接与行为主义有机融合，从单一智能体到群体智能再到人机融合的建模探索。

项目团队开展技术复盘与学生实战培养

DeepSeek-V4-Pro在国产算力上的全参数后训练，不是一次孤立的工程突破。

它验证了一条道路：国产开源旗舰模型+国产AI算力+高水平训练团队+国产厂商技术支持——这个四角闭环，是可持续的、可复制的、可信任的。

它发出了一声宣告：国产AI基础设施，从现在起，不再只是“能推理”，而是真正“能训练、能训稳、能训优”。

更重要的是，它点燃了一个希望：在下一代通用人工智能的征途上，中国的高校、科研机构和年轻学子，可以站在自己的算力土壤上，开展人工智能的研究，亲手训练属于自己的万亿模型。

这不是终点，而是发令枪。