中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型

快科技9月20日消息，中国电(diàn)信宣布，天翼云自研的国内首个单集(jí)群万卡国产化全功能预训练云服务平台，已经正式发布上线，基于(yú)华为昇腾芯片，并完成(chéng)了万卡规模Llama3.1-405B大模型训练。

Llama3.1-405B作为(wèi)4000亿参数规模的大模型(xíng)，在息壤训(xùn)推服务平台的支(zhī)持下，经过多轮优化(huà)，MFU(算力利用率)达到国内领先水(shuǐ)平。

另外，700亿参数(shù)大模型Llama2-70B在万卡规模下(xià)完成训练(liàn)，MFU也处于业界领先水(shuǐ)平(píng)。

据悉，天翼云的这套平台具备万卡纳(nà)管和(hé)并行训练能力，基于HPFS PB级并行文件系统、CTCCL RDMA高速卡间互(hù)联技术、Gang策略(lüè)与拓扑感知的智算容器调(diào)度，以及慧聚自研(yán)分布式训练框架TeleFormers和平台，实现万卡(kǎ)资源纳管、万卡规模并行训练。

其中(zhōng)，天翼云自研(yán)了AI框架Teleformers，对(duì)算子、通信、数(shù)据处理进行优化，还有并行策略的自(zì)适应(yīng)调整，显著提升了大模型训练的训练效率。

在目(mù)前业内最大参(cān)数规模开源单(dān)体(tǐ)稠密模型(xíng)Llama3.1-405B大模型训练测试中，性能表现达到国际同等水平。

算子优化方面，针(zhēn)对昇腾芯片的特性(xìng)，在网络结构层面对诸多高频算子进行了定制化改造，构(gòu)建了(le)高性能算子集。

比如matmul算子，利用昇(shēng)腾芯片的计算亲(qīn)和性，将(jiāng)算子输(shū)入padding到特(tè)定的维度，大幅提(tí)升执行效率，从(cóng)而明显缩短了训练时间。

数据(jù中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型)处理和流水线方面(miàn)，通过设置合理的数据分片(piàn)策略和HPFS条带(dài)化优(yōu)化，结合数据预取与数据下(xià)沉技术，大幅提(tí)升数据流的处理效率和稳定性；对预处理后的数(shù)据集进行(xíng)了二次分(fēn)片并提供就近缓存能力，减少GPU空闲时间。

自适(shì)应并行策略方面，基于对3D并(bìng)行中各类计算单元的分析，天翼云设计了多种自(zì)适应的3D并行策略，依(yī)据模型规模(mó)和硬件资源的不同可以(yǐ)自动(dòng)选择合适的并(bìng)行策略，充分(fēn)利用计算资源和显存资源，缩短(duǎn)模型训练中每轮的(de)迭代(dài)时间。

天翼云国产化万卡智算中心还有多(duō)项技术突(tū)破——

天翼云息壤训练服务平台基于软硬件协同设计，提(tí)供全链路故障监控(kòng)、基于主动(dòng)感知的(de)全链路故障监控和定位、CheckPoint秒级多级高速存储系(xì)统、容(róng)错优雅调度和模型(xíng)编译缓存(cún)等系统，将万卡规模故障发(fā)现(xiàn)和解决问题缩短到业内前沿的分(fēn)钟级，大幅提升有效训练时间。

自动(dòng)断(duàn)点续训系(xì)统：

建设丰富的(de)故障库，基于此构建(jiàn)了多维故障感(gǎn)知(zhī)系统，能够快速主动感知(zhī)相关故障事件和潜在的故障风险；

通过精准的故障隔(gé)离和调度手段，快(kuài)速隔离处理故障节点并重(zhòng)新调度新节点接手任(rèn)务(wù)继续训练，实现无人(rén)干(gàn)预式断点续训，有效减少GPU闲置时间。

高速多级CheckPoint系统：

天翼云设计基于多级存储的高速CheckPoint系统，通过(guò)两阶段异步存储，实现高速写入内存，并最终异步写入远端系统；

中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型ms-style="font-L">针对断点恢复场景，提供进程级(jí)故(gù)障原地(dì)快恢和远(yuǎn)端快速恢复能力，最终实(shí)现对(duì)CheckPoint的秒级读(dú)写能力，大(dà)幅降低断(duàn)点恢复时间、提升训(xùn)练效率。

全链路(lù)检测工具链：

天(tiān)翼云开发了全链路故障监(jiān)控工具链，能够基于主动(dòng)感知实现全链(liàn)路的故障(zhàng)监控和(hé)定位。

该工具链可以主动发现设备故障，并降低训练中断的频次，确保训练过程的连(lián)续(xù)性和稳定性。

【本文结束】如(rú)需转载请务必注明(míng)出处：快科(kē)技

责任编辑：上(shàng)方文Q

未经允许不得转载：橘子百科-橘子都知道中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型