马斯克:下一代大模型Grok 3将需要10万块英伟达H100

阻止AI发展的最大阻力除了GPU就是电力!马斯克预计下一代大模型Grok 3将需要10万块英伟达H100 GPU,潜在电力消耗相当于一个小城市的用电量。

特斯拉首席执行官埃隆·马斯克最近在接受采访时,做出了关于通用人工智能(AGI)发展的大胆预言。

他认为:

AGI有可能在未来2年实现超越人类智能的突破,但这一进程需要大量的GPU以及电力消耗。

据马斯克透露,旗下的人工智能公司xAI目前正在对第二代大语言模型Grok 2进行训练,预计将在5月完成下一训练阶段。Grok 2的训练已经耗费了约2万块英伟达H100 GPU。未来进阶版本Grok 3的开发可能需要高达10万块英伟达H100 GPU。

马斯克指出:

当前AI技术的发展面临两大难题:一是高端GPU,如英伟达H100的供应短缺,要快速获得10万块GPU并非易事;二是巨大的电力需求。一台英伟达H100 GPU在全负荷工作时约消耗700瓦电力,因此10万块这样的GPU将消耗高达70兆瓦的电力。若考虑到服务器和冷却系统的需求,一个配备有10万块英伟达H100处理器的数据中心的电力消耗大概会达到100兆瓦,相当于一个小城市的用电量。

这两大限制因素凸显了扩展AI技术以满足不断增长的计算需求所面临的挑战。

尽管如此,计算和存储技术的进步将使得未来几年能够训练更为庞大的大型语言模型成为可能。英伟达在科技盛会GTC 2024上展示的Blackwell B200 GPU平台,旨在支持可扩展至数万亿参数的大语言模型,预示着AGI发展的关键一步。

马斯克预计:

一种比最聪明的人类还智能的人工智能,在未来一至两年内就会诞生。如果将AGI定义为智能超过最聪明的人类,我认为它很可能在明年,或两年内实现。

©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经

(0)
打赏 微信扫码打赏 微信扫码打赏 支付宝扫码打赏 支付宝扫码打赏
清一色的头像清一色管理团队
上一篇 2024年4月10日 10:02
下一篇 2024年4月10日 10:03

相关推荐

发表评论

登录后才能评论

联系我们

在线咨询:1643011589-QQbutton

手机:13798586780

QQ/微信:1074760229

QQ群:551893940

工作时间:工作日9:00-18:00,节假日休息

关注微信