英伟达发布新人工智能芯片,黄仁勋:大模型运行成本将大幅降低

日期:2023-08-09 05:53:31 来源:腾讯网

腾讯科技讯 8月9日,英伟达宣布推出一款新芯片,旨在在人工智能硬件领域抵御竞争对手,包括AMD、谷歌和亚马逊。

据估计,目前英伟达在AI芯片市场占据了超过80%的市场份额。该公司的专长是图形处理单元(GPU),已成为支撑生成式人工智能软件(如谷歌的Bard和OpenAI的ChatGPT)的大型AI模型的首选芯片。但由于科技巨头、云服务提供商和初创企业争夺GPU容量来开发自己的AI模型,英伟达的芯片供应短缺。


(资料图)

英伟达最新发布的芯片GH200,与该公司目前最高端的AI芯片H100采用相同的GPU。但GH200还配备了141GB的尖端内存和一个72核的ARM中央处理器。

英伟达CEO黄仁勋在周二的演讲中表示:“我们给这个处理器加了一些提升。”他补充说:“这个处理器是为全球数据中心的规模而设计的。”

据黄仁勋透露,这款新芯片将于明年第二季度在英伟达的经销商处上市,并计划在年底前提供样品。英伟达的代表拒绝透露价格。

通常,处理AI模型的过程至少分为两个部分:训练和推理。

首先,使用大量数据对模型进行训练,这个过程可能需要数月时间,有时需要数千个GPU,例如英伟达的H100和A100芯片。

然后,该模型将在软件中用于进行预测或生成内容,这个过程称为推理。与训练类似,推理需要大量的计算资源,并且每次软件运行时都需要大量的处理能力,例如生成文本或图像时。但与训练不同,推理是几乎持续进行的,而训练只在需要更新模型时才需要进行。

黄仁勋表示:“你可以将几乎任何大型语言模型放入其中,它将进行疯狂的推理。大型语言模型的推理成本将大幅降低。”

英伟达的新芯片GH200专为推理而设计,因为它具有更大的内存容量,可以容纳更大的AI模型在单个系统中。英伟达副总裁伊恩·巴克在与分析师和记者的电话会议上表示,英伟达的H100具有80GB的内存,而新的GH200则有141GB的内存。英伟达还宣布推出了一种将两个GH200芯片组合到一台计算机中的系统,以支持更大的模型。

巴克表示:“更大的内存使得模型可以常驻在单个GPU上,而不需要多个系统或多个GPU来运行。”

此次宣布正值英伟达的主要GPU竞争对手AMD推出面向AI的芯片MI300X,该芯片支持192GB的内存,并被市场推广为适用于AI推理。谷歌和亚马逊等公司也正在设计自己的定制AI芯片用于推理。

审校:小北

标签:

品牌展会
全国巡演