中海油
当前位置: 苏讯网 >热点 >

霸榜GitHub热门第一多日后,Colossal-AI正式版发布

时间:2022-04-13 17:10  阅读量:7970  

大规模并行AI训练系统Colossal—AI,旨在作为深度学习框架的内核,帮助用户便捷实现最大化提升AI部署效率,同时最小化部署成本。

Colossal—AI一经开源便受到广泛关注,连续多日登顶GitHub热榜Python方向世界第一,与众多已有数万star的明星开源项目一起受到海内外关注!

经过开发者们的不断努力,Colossal—AI在数月的密集测试后迎来正式版!此版本由300多次commits组成。

本次正式版更新重点优化了分布式训练性能及开发者的易用性,主要亮点包括:

重构ZeRO以改善性能和易用性,添加细粒度Profiler TensorBoard监控插件,监测训练过程中内存,网络等状态,更灵活的checkpoint策略,可扩展的pipeline模块,开源蛋白质预测FastFold等丰富行业解决方案,添加中文教程,MOE,BERT等实例,开放用户社群及论坛。专业助力大模型训练

最近几年来,伴随着深度学习的兴起及大模型横扫各大性能榜单,前沿AI模型的大小在短短几年内便已增大万倍,远超硬件数倍的缓慢增长前沿AI大模型不仅远超单个GPU的容纳能力,所需算力也往往需要单个GPU运行数百甚至上千年

因此,如何提升单个GPU的容纳能力,如何高效利用分布式技术,联合多个GPU低成本实现并行训练加速已成为AI大模型的关键痛点。

针对现有方案并行维度有限,效率不高,通用性差,部署困难,缺乏维护等痛点,Colossal—AI通过高效多维并行,显存优化,大规模优化库,细粒度监测等方式,让用户仅需极少量修改,即可高效快速部署AI大模型训练。

多维并行

相比现有方案中并行维度仅包括数据并行,一维张量并行,流水并行三种方案,Colossal—AI进一步提供2/2.5/3维张量并行和序列并行,以及便捷的多维混合并行解决方案。

ViT张量并行为64时,可提升14倍批大小和5倍训练速度

其中,高维张量并行能极大减轻显存消耗,提升通信效率,使得计算资源利用更加高效。

序列并行帮助BERT提升2倍训练速度,或1.5倍序列长度

显存优化

Colossal—AI综合了多重显存优化技术,包含多维并行,ZeRO冗余内存消除,CPU offload,Gradient Checkpoint,自动混合精度等前沿技术,最大限度帮助用户避免显存瓶颈,降低训练的硬件需求。

GPT—2使用Colossal—AI,同样硬件下提升24倍可训练模型大小,或3倍训练速度

灵活易用

Colossal—AI接口设计与PyTorch风格保持一致,降低学习和使用成本,仅需极少量修改,便可将已有项目与Colossal—AI结合,便捷扩展至大规模并行此外,该系统还保持了优秀的扩展性,便于根据需求添加新功能,与已有功能模块兼容

细粒度监测:细粒度Profiler TensorBoard插件,相较于PyTorch仅能以iteration为单位进行记录训练过程,Colossal—AI能够监测iteration内的网络,通信,内存等状态,方便开发者进行精确分析和调试,提高开发效率。

大规模优化库:Colossal—AI提供大规模并行优化器LAMB,LARS等,首次将训练batch size扩展到65536Colossal—AI还与PyTorch自带各类optimizer兼容,并不断探索添加最新前沿优化技术,满足各类模型需求

丰富的行业解决方案

Colossal—AI目前已与自动驾驶,云计算,零售,医药,芯片等行业知名厂商达成合作,与AI领域顶级开源组织Hugging Face等建立合作。

蛋白质结构预测加速方案:FastFold

AlphaFold因强大的AI预测蛋白质结构能力被Science和Nature评选为2021年十大科学突破之首,但存在训练时间长,成本高等问题。

基于Colossal—AI的加速方案FastFold,将GPU优化和大模型训练技术引入AlphaFold的训练和推理,成功超越谷歌和哥伦比亚大学的方案,将AlphaFold训练时间从11天减少到67小时,且总成本更低,在长序列推理中也实现9.3~11.6倍的速度提升。

长序列推理性能对比

半数GPU训练GPT—3

对于超大AI模型,如GPT—3,相比英伟达方案,Colossal—AI仅需一半的计算资源,即可启动训练,若使用相同计算资源,则能提速11%,可降低GPT—3训练成本超百万美元。

Colossal—AI注重开源社区建设,提供中文教程,开放用户社群及论坛,对于用户反馈进行高效交流与迭代更新,不断添加MoE等前沿应用。

项目团队

潞晨技术团队的核心成员均来自美国加州大学伯克利分校,斯坦福大学,清华大学,北京大学,新加坡国立大学,新加坡南洋理工大学等国内外知名高校,拥有Google Brain,IBM,Intel, Microsoft,NVIDIA等知名厂商工作经历公司成立即获得创新工场,真格基金等多家顶尖VC机构种子轮投资

潞晨科技创始人尤洋教授:加州大学伯克利分校博士,IPDPS/ICPP最佳论文,ACM/IEEE George Michael HPC Fellowship,福布斯30岁以下精英,IEEE—CS超算杰出新人奖,UC伯克利EECS Lotfi A. Zadeh优秀毕业生奖

潞晨CSO Prof. James Demmel:加州大学伯克利分校杰出教授,ACM/IEEE Fellow,美国科学院,工程院,艺术与科学院三院院士

传送门

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

来源: TechWeb 编辑: 樊华
  • 江苏
  • 财经
  • 资讯
  • 旅游
  • 文化
周庄 今晚亮灯“灯”你,共度佳节
周庄 今晚亮灯“灯”你,共度佳节
第十四届全国运动会开幕 目前已决出多枚金牌
第十四届全国运动会开幕 目前已决
华为鲁鸿驹:携手共进,合力打造自动驾驶网络
华为鲁鸿驹:携手共进,合力打造自
苏锡常南部高速公路太湖隧道工程南泉段主体完工
苏锡常南部高速公路太湖隧道工程南
“鹭岛”为家:苍鹭的东北安家之旅
“鹭岛”为家:苍鹭的东北安家之旅
国家大剧院周末音乐会迎来600场
国家大剧院周末音乐会迎来600场