首页 公司动态

字节跳动开源大模型训练框架veGiantModel ,性能最高提升6.9倍

近日,字节跳动应用机器学习团队开源了一款名为 veGiantModel的大模型训练框架,该训练框架主要应用于自然语言处理领域的大模型训练,最高可将大模型训练的性能提升6.9倍,大幅降低训练系统的压力。目前,字节跳动旗下的企业级技术服务平台火山引擎已在其机器学习平台上原生支持了 veGiantModel,该平台正在公测中 。

自然语言处理是人工智能研究的一个重要领域,旨在帮助计算机理解、解释和运用人类语言,可应用于机器翻译、个性化推荐和信息提取等领域。近些年,自然语言处理在应用方面取得了较为显著的突破,主要归功于深度学习以及相关技术的发展,尤其是Bert、GPT、GPT-3等大规模预训练语言模型的普及。

大规模训练模型可以包含更多数据,表示更多信息,算法表现更加出众。然而,由于大模型参数量过于庞大,模型设计非常复杂,训练耗时长,对现有的训练系统带来了不小的挑战,主要体现为显存压力、计算压力和通信压力。

针对现有训练系统在大模型训练场景下的上述挑战, 字节跳动应用机器学习团队提出了大模型训练框架veGiantModel。

与主流开源训练框架的对比测试显示,veGiantModel 的性能表现最好、受网络带宽影响最小,在Tesla V100上较上述两者有1.2 倍到3.5倍的提升,在Ampere A100上最高可提升6.9倍,能大幅降低训练系统的压力。

图说:veGiantModel与Megatron、DeepSpeed两大主流开源框架分别在不同GPU类型和网络环境下的性能对比

近年来,字节跳动持续推动技术开源。2021年,字节跳动技术团队陆续开源了微服务中间件CloudWeGo、LightSeq训练加速引擎等30余个重要项目。

字节跳动相关技术负责人表示,推广科技创新成果的应用并推行技术开源一直是公司所倡导的,技术团队将持续通过科技创新为行业发展提供更多动力,助力科技更好地造福社会。

veGiantModel开源地址:

https://github.com/volcengine/veGiantModel

火山引擎机器学习平台公测地址:

https://www.volcengine.com/product/ml-platform

您可能也感兴趣:

官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

↑扫描二维码

想在手机上看科技资讯和科技八卦吗?

想第一时间看独家爆料和深度报道吗?

请关注TechWeb官方微信公众帐号:

1.用手机扫左侧二维码;

2.在添加朋友里,搜索关注TechWeb。

手机游戏更多