首页 >> 综合精选 >

通过购买我们的GPU将CPU培训LLM的成本从1000万美元降至仅400,000美元

2023-05-30 10:24:23 来源: 用户: 

NVIDIA在2023年Computex上对整个CPU行业进行了多次抨击。Jensen在4年后的首次现场表演中登台,大胆(而且非常正确)宣布生成AI和加速计算是计算的未来。在阅读对摩尔定律传统智慧的颂词时,他宣称,在保持功率和成本不变的情况下,您可以在5年内获得10倍速度的时代已经结束。未来,大部分加速将来自生成人工智能和基于加速计算的方法。他还与观众分享了一个绝对可爱的TCO:

NVIDIA在Comptuex上展示了大型语言模型(LLM)TCO分析:

让我们先从基线开始。需要一台基于960CPU的价值1000万美元的服务器来训练1个LLM(大型语言模型)。明确地说,NVIDIA计算了训练单个大型语言模型所需的服务器集群的完整成本(包括网络、外壳、互连——一切),发现训练一个语言模型大约需要1000万美元和11GWh的功耗。单一的大型语言模型。

另一方面,如果保持成本不变并购买价值1000万美元的GPU集群,则可以用相同的成本和一小部分电力成本(3.2GWh)训练44个大型语言模型。这种情况在TCO分析中称为ISO成本(保持沉没成本不变)。

如果您改用ISO电源或保持功耗不变,那么您实际上可以通过以3400万美元的成本在11GWh的相同功耗下训练150个LLM来实现150倍的加速。该集群的占用空间仍然明显小于CPU集群。

最后,如果你想保持工作负载完全相同,那么你只需要一个耗费0.13GWh的400,000美元GPU服务器来训练一个LLM。本质上,NVIDIA所说的是,您可以仅用4%的成本和1.2%的功耗来训练LLM——与基于CPU的服务器相比,这是一个巨大的降低。

  免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!

 
分享:
最新文章