人工智能的行業(yè)競爭,不僅是OpenAI與谷歌等各大互聯(lián)網(wǎng)巨頭的大模型之爭,支撐運算的芯片賽道也暗流涌動,大模型“制造機”們也加入了賽道。
OpenAI計劃從CEO Sam Altman投資的一家初創(chuàng)公司Rain AI訂購更高效的NPU芯片;微軟也推出兩款自研芯片Azure Maia 100和Azure Cobalt 100;谷歌剛推出的新模型Gemini 1.0?采用的就是自己設(shè)計的芯片TPUs v4?和v5e。
在這之前,英偉達(dá)構(gòu)筑的AI芯片帝國是這些大模型公司的強大輸出方,如今,大模型公司試圖要自給自足一部分。而正式向英偉達(dá)發(fā)起挑戰(zhàn),還是芯片賽道上的老玩家。
美國超威半導(dǎo)體公司(AMD)已推出新一代AI芯片MI300X,?還從從英偉達(dá)手中分走了Meta、微軟和OpenAI三大客戶。
AI芯片卷起來了,但想要挑戰(zhàn)坐在“王位”英偉達(dá),也絕非易事。
大模型公司自給芯片
今年以來,各種AI大模型和應(yīng)用百家爭鳴,英偉達(dá)?A100、A800、H100、H800等能支持AI大模型訓(xùn)練的芯片被瘋狂搶購。“消費者”不僅是科技公司,還有各國政府和風(fēng)險投資公司。
“賣水”的英偉達(dá)一時風(fēng)頭無兩,他們家的AI芯片供不應(yīng)求,AI市場再現(xiàn)GPU短缺。
微軟在?2023?財年報告中就多次指出,對能否為其云運營獲取GPU感到擔(dān)憂。OpenAI的CEO Sam Altman也不止一次公開“抱怨”芯片短缺及成本巨大,今年5月,他曾公開表示,OpenAI正在經(jīng)歷嚴(yán)重的算力短缺。這也正在影響用戶體驗,ChatGPT時??D,反應(yīng)延遲。
據(jù)報道,OpenAI?運行?ChatGPT?的成本每天在70?萬美元。路透社指出,每個?ChatGPT?查詢的成本約為?4?美分,如果此類查詢增長到?Google?搜索的1/10,則需要預(yù)先投入價值約?480?億美元的?GPU,每年需要花費?160?億美元的芯片才能維持運行。
算力短缺,成本高昂,戴爾亞太和日本總裁?Peter Marrs?就曾預(yù)測,買家不會容忍英偉達(dá)GPU?的交貨時間過長,這將給大量競爭對手制造機會。
為了擺脫對英偉達(dá)的芯片依賴,OpenAI?正在考慮研發(fā)自己的AI芯片,以應(yīng)對全球GPU?的短缺,縮減GPT的訓(xùn)練成本。
前幾天,OpenAI一份訂購意向書曝光,Altman任職CEO期間,該公司承諾從一家初創(chuàng)公司Rain AI訂購芯片,金額高達(dá)5100萬美元,而Altman投資了這家公司。
值得一提的,這款芯片是基于神經(jīng)擬態(tài)(Neuromorphic)技術(shù)的?“類腦” AI?芯片NPU,據(jù)說“模仿了人腦的結(jié)構(gòu)和功能”,支持并行和分布式地處理信息,非常適合?AI?應(yīng)用中的“計算密集型任務(wù)”,能夠?qū)崿F(xiàn)低耗、高效地處理信息。但目前,該芯片仍在研發(fā)階段。
不僅是OpenAI,微軟和Google等大型科技公司也在一直打造更高效的芯片。
11月16日,微軟在年度IT專業(yè)人士和開發(fā)者大會Ignite上推出兩款自研芯片——云端AI芯片微軟Azure Maia 100、服務(wù)器CPU微軟Azure Cobalt 100。
Maia 100旨在為AI工作負(fù)載運行基于云的訓(xùn)練和推理,而Cobalt 100則用于通用工作負(fù)載。微軟的數(shù)據(jù)中心預(yù)計,將在2024年初同時采用Arm CPU和專用AI加速器。微軟表示,除了在?Bing和?Office AI?產(chǎn)品上測試該芯片外,OpenAI也正在測試該芯片。
微軟研發(fā)Maia 100 自用及供給合作伙伴OpenAI
谷歌也開始行動,其剛剛發(fā)布的、號稱“吊打”GPT-4的大模型Gemini1.0,用的就是谷歌自研的TPUs v4?和?v5e芯片。
谷歌稱,在TPUs上,Gemini的運行速度明顯快于早期規(guī)模更小、性能更弱的模型。此外,歌還發(fā)布了TPU系統(tǒng)?Cloud TPU v5p,旨在為訓(xùn)練前沿?AI?模型提供支持,從而加速?Gemini?的開發(fā)。
包括蘋果、華為等硬件廠商,越來越多的科技巨頭都開始自主設(shè)計和開發(fā)自己的芯片,以滿足自身的業(yè)務(wù)需求和差異化競爭。
英偉達(dá)的防御與擴張
大模型公司卷進(jìn)芯片賽道,真能徹底擺脫對英偉達(dá)的依賴嗎?
盡管市面上英偉達(dá)H100 GPU已漲到了原價的兩倍,依舊供不應(yīng)求。也即便已經(jīng)上線自研芯片的谷歌,也依然在大量采購英偉達(dá)的芯片。
英偉達(dá)有自己的護(hù)城河。
據(jù)英國《金融時報》?報道,今年以來,英偉達(dá)已經(jīng)投資了二十多家公司,包括從價值數(shù)十億美元的大型新人工智能平臺到將人工智能應(yīng)用于醫(yī)療保健或能源等行業(yè)的小型初創(chuàng)企業(yè)。
雖然英偉達(dá)表示,公司在投資時并沒有特殊條款,也不要求被投企業(yè)必須使用英偉達(dá)的芯片。但某種程度上,這意味著更密切的關(guān)系。
英偉達(dá)風(fēng)險投資部門?NVentures?的負(fù)責(zé)人?Mohamed Siddeek?表示:“對于英偉達(dá)來說,進(jìn)行初創(chuàng)企業(yè)投資的首要標(biāo)準(zhǔn)是相關(guān)性?!?他強調(diào),“使用我們的技術(shù)、依賴我們的技術(shù)、在我們的技術(shù)上建立業(yè)務(wù)的公司,我想不出我們投資的公司有哪家沒有使用英偉達(dá)的產(chǎn)品?!?/p>
根據(jù)跟蹤風(fēng)險投資機構(gòu)?Dealroom?的估計,英偉達(dá)在?2023?年參與了?35?筆交易,幾乎是去年的六倍。Dealroom?指出,這是英偉達(dá)人工智能領(lǐng)域交易最活躍的一年,超過了Andreessen Horowitz?和紅杉等硅谷大型風(fēng)險投資公司。
此外,英偉達(dá)CUDA計算平臺以及軟硬件生態(tài),也為英偉達(dá)護(hù)城河構(gòu)筑了更加堅固的河堤。
CUDA是一種英偉達(dá)推出的并行計算架構(gòu),運行相同任務(wù)的情況下,支持CUDA系統(tǒng)的英偉達(dá)GPU比CPU的速度要快10到100倍。正是得益于CUDA系統(tǒng),GPU才得以打敗CPU,成為今天運行大數(shù)據(jù)計算的基礎(chǔ)。
大模型公司自研芯片,擺在眼前的也困難并不少,根源是原材料的供不應(yīng)求。
The Enderle Group首席分析師?Rob Enderle?就表示,“制造芯片并非易事,代工廠和晶圓廠已經(jīng)飽和,這使得?OpenAI?的這項工作很可能會失敗。”他補充說,“他們最好與?AMD、高通、英偉達(dá)或英特爾合作,因為后者已經(jīng)擁有自己的鑄造廠?!?/p>
還有成本。
Futurum Group的高級分析師Todd R. Weiss表示,創(chuàng)建自己的芯片擺脫依賴“乍一看,是一個很酷的主意”,但設(shè)計自己的芯片、建立自己的芯片制造設(shè)施,永無止境地開發(fā)更新更好的芯片路線圖所需的成本,還要擔(dān)心自己的供應(yīng)鏈問題,“這并不比從他人手中購買芯片更簡單。”
芯片的戰(zhàn)場,還在芯片制造商之間。
12月6日,英偉達(dá)最大的競爭對手美國超威半導(dǎo)體公司(AMD)舉行“Advancing AI”發(fā)布會,并拉來了微軟、Meta等科技公司高管站臺,發(fā)布會上,AMD帶來了新一代AI芯片MI300X。
與英偉達(dá)的?H100 HGX?相比,?MI300 X?加速器在運行大語言模型推理時的吞吐量和時延表現(xiàn)都要明顯高出一截,且價格也更加低廉。Meta、微軟和?OpenAI?公司隨后在?AMD?投資者活動上表態(tài),未來他們將會使用?AMD最新的AI芯片。
真正降低成本的辦法,還得看芯片制造商的“互卷”。AMD、英偉達(dá)等芯片大廠進(jìn)入產(chǎn)能競爭,價格才能打下來。而大模型巨頭自研芯片,無非是為“軍備競賽”多一條奔跑的腿。