11月28日消息，谷歌在AI大模型訓(xùn)練/推理上，實(shí)測(cè)NVIDIA的對(duì)比顯卡無(wú)疑是目前使用最多的，AMD、倍性Intel及谷歌等公司份額沒法比，價(jià)比問(wèn)題來(lái)了，優(yōu)勢(shì)NVIDIA到底強(qiáng)在哪里？谷歌

這里不用提什么CUDA生態(tài)優(yōu)勢(shì)，也不用說(shuō)AI算子等參數(shù)，實(shí)測(cè)Artificial Analysis直接對(duì)比了當(dāng)前的對(duì)比三大推理方案的實(shí)際表現(xiàn)，分別使用谷歌TPU v6e、倍性AMD MI300X 及NVIDIA H100/B200來(lái)對(duì)比。價(jià)比

測(cè)試的優(yōu)勢(shì)內(nèi)容比較多，不過(guò)我們只看一個(gè)綜合性的谷歌就夠了，在30Token/s速度下每百萬(wàn)輸入輸出的實(shí)測(cè)成本，跑的對(duì)比模型是Llama 3.3 70B。

在這方面，H100的成本是1.06美元，H200也只有1.17美元，B200 TensorRT是1.23美元，B200是1.45美元，AMD的MI300X是2.24美元，而谷歌的TPU v6e是5.13美元。

對(duì)比下來(lái)，N卡相對(duì)AMD是至少2倍的性價(jià)比優(yōu)勢(shì)，對(duì)比谷歌則是5倍左右的優(yōu)勢(shì)，差距非常明顯。

哪怕是用NVIDIA最新最貴的B200顯卡，成本提升也不算太明顯，畢竟性能是大增的，比AMD及谷歌的依然有很大優(yōu)勢(shì)。

現(xiàn)在可以說(shuō)，AMD及谷歌當(dāng)前的AI卡還是差不少的，但兩家下一代產(chǎn)品提升很猛，AMD的MI400X系列最多432GB HBM4顯存，谷歌的TPU v7據(jù)說(shuō)也是幾倍的性能提升，屆時(shí)可能改寫這個(gè)評(píng)測(cè)結(jié)果。

當(dāng)然，NVIDIA也不會(huì)坐以待斃，下一代的Rubin顯卡也發(fā)布了，明年也會(huì)陸續(xù)上市，有望進(jìn)一步擴(kuò)大差距。