摩尔线程升级夸娥智算集群解决方案 具备万P级浮点运算能力

【环球网科技报道 记者 李文瑶】7月3日,摩尔线程宣布其AI旗舰产品夸娥(KUAE)智算集群解决方案实现重大升级,从当前的千卡级别大幅扩展至万卡规模。

据了解,夸娥(KUAE)是摩尔线程智算中心全栈解决方案,是以全功能GPU为底座,软硬一体化、完整的系统级算力解决方案,包括以夸娥计算集群为核心的基础设施、夸娥集群管理平台(KUAE Platform)以及夸娥大模型服务平台(KUAE ModelStudio),旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。

此次升级后的夸娥万卡智算解决方案具备多个核心特性,包括全新一代夸娥智算集群实现单集群规模超万卡,浮点运算能力达到10Exa-Flops,大幅提升单集群计算性能,能够为万亿参数级别大模型训练提供坚实算力基础。

在集群稳定性方面,摩尔线程夸娥万卡集群平均无故障运行时间超过15天,最长可实现大模型稳定训练30天以上,周均训练有效率在99%以上。

夸娥万卡集群在系统软件、框架、算法等层面一系列优化,实现大模型的高效率训练,MFU最高可达到60%。其中,在系统软件层面,基于极致的计算和通讯效率优化等技术手段,大幅提升集群的执行效率和性能表现。在框架和算法层面,夸娥万卡集群支持多种自适应混合并行策略与高效显存优化等,可以根据应用负载选择并自动配置最优的并行策略,大幅提升训练效率和显存利用。同时,针对超长序列大模型,夸娥万卡集群通过CP并行、RingAttention等优化技术,有效缩减计算时间和显存占用,大幅提升集群训练效率。

此外,夸娥万卡集群是一个通用加速计算平台,计算能力为通用场景设计,可加速LLM、MoE、多模态、Mamba等不同架构、不同模态的大模型。同时,基于高效易用的MUSA编程语言、完整兼容CUDA能力和自动化迁移工具Musify,加速新模型“Day0”级迁移,实现生态适配“Instant On”,助力客户业务快速上线。

摩尔线程创始人兼CEO张建中认为,多元趋势下,AI模型训练的主战场,万卡已是标配。随着计算量不断攀升,大模型训练亟需超级工厂,即一个“大且通用”的加速计算平台,以缩短训练时间,实现模型能力的快速迭代。当前,国际科技巨头都在通过积极部署千卡乃至超万卡规模的计算集群,以确保大模型产品的竞争力。随着模型参数量从千亿迈向万亿,模型能力更加泛化,大模型对底层算力的诉求进一步升级,万卡甚至超万卡集群成为这一轮大模型竞赛的入场券。

热门相关:超能老豆粤语   隐婚365天:江少,高调宠!   嫡女谋:逆天三小姐   伏天剑尊   绝天武帝