4000 多个芯片串联而成,谷歌称其超级计算机比英伟达的更快、更节能
IT之家 4 月 5 日消息,Alphabet Inc.旗下谷歌公司周二公布了其用于训练人工智能模型的超级计算机的新细节,称这些系统比英伟达的同类系统更快更省电。
谷歌自主设计了一种名为张量处理单元(Tensor Processing Unit,简称 TPU)的芯片,用于训练人工智能模型,该公司 90% 以上的人工智能训练工作都使用这些芯片,这些模型可以用于诸如用人类语言回答问题或生成图像等任务。
据IT之家了解,谷歌的 TPU 现在已经是第四代了。谷歌周二发表了一篇科学论文,详细介绍了他们如何使用自己定制开发的光学开关将 4000 多个芯片串联成一台超级计算机。
改善这些连接已经成为建造人工智能超级计算机的公司之间竞争的关键点,因为为谷歌的 Bard 或 OpenAI 的 ChatGPT 等技术提供动力的所谓大型语言模型的规模已经爆炸性增长,这意味着它们太大,无法存储在单个芯片上。
这些模型必须被分割到数以千计的芯片中,然后这些芯片必须协同工作数周或更长时间来训练模型。谷歌的 PaLM 模型 —— 迄今为止其公开披露的最大的语言模型 —— 是通过将其分散到 4,000 个芯片的两台超级计算机上,历时 50 天进行训练的。
谷歌表示,其超级计算机可以轻松地实时重新配置芯片之间的连接,有助于避免问题并提高性能。
谷歌研究员 Norm Jouppi 和谷歌杰出工程师 David Patterson 在一篇关于该系统的博文中写道:“电路切换使我们很容易绕过故障部件。这种灵活性甚至允许我们改变超级计算机互连的拓扑结构,以加速 ML(机器学习)模型的性能。”
虽然谷歌现在才公布其超级计算机的细节,但它已经于 2020 年在内部上线,在美国俄克拉荷马州梅斯县(Mayes County)的一个数据中心运行。谷歌表示,初创公司 Midjourney 使用了该系统来训练其模型,该模型可以在输入文字后生成图像。
谷歌在论文中说,对于同等规模的系统,其超级计算机比基于 Nvidia A100 芯片的系统快 1.7 倍,节能 1.9 倍。谷歌表示,之所以没有将其第四代产品与 Nvidia 目前的旗舰产品 H100 芯片进行比较,因为 H100 是在谷歌的芯片之后上市的,而且是用更新的技术制造的。谷歌暗示他们可能正在开发一种新的 TPU,与 Nvidia H100 竞争。
您可能也感兴趣:
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。
想在手机上看科技资讯和科技八卦吗?
想第一时间看独家爆料和深度报道吗?
请关注TechWeb官方微信公众帐号:
1.用手机扫左侧二维码;
2.在添加朋友里,搜索关注TechWeb。
为您推荐
蚂蚁可信智能荣获“吴文俊人工智能科技进步一等奖”
阅文去年净利增三成 AI和出海有望成为增长新动力
小米卢伟冰驾驶SU7 Max现身高通发布会 现场引媒体围观
盒马CEO侯毅将退休 CFO严筱磊将兼任CEO
卖完即止!特斯拉Model Y HW3.0现车优惠最高超1万元
央视315晚会曝光六大互联网消费黑幕 你中招了吗?
借4万多元、到手2万多元?央视315晚会曝光同程金融APP礼品卡套路
央视315晚会曝光婚恋平台乱象 世纪佳缘、珍爱网等被点名
央视315曝光AI伪造变脸变声诈骗
更多
- 消息称苹果供应商5月份开始生产第四代AirPods 但要秋季才发布
- 特斯拉希望印度降低电动汽车进口关税已如愿 但有数量限制和投资要求
- 苹果有望在下周宣布WWDC 24时间 可能在6月3日至7日举行
- 苹果OLED屏iPad Pro可能要4月份才能发货 面板与操作系统均遇到挑战
- OpenAI CEO透露GPT-5发布时间尚未确定 终极目标是开发AGI
- 苹果iPad Air也有望转向OLED屏 但要等2028年
- 消息称20多年的Apple ID将成历史 在今年被Apple Account取代
- XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周
- 特斯拉高管看好东南亚市场潜力 电动汽车和储能电池都有发展潜力
- 宝马集团去年交付超过37万辆纯电动汽车 PHEV也交付超过19万辆