2016年,英偉達(dá)創(chuàng)始人黃仁勛將全球首款 DGX 交給了 OpenAI,加速了生成式AI革命的到來(lái)。如今,在ChatGPT這一現(xiàn)象級(jí)產(chǎn)品的帶動(dòng)下,全球科技公司紛紛入場(chǎng)開(kāi)發(fā)各自的大模型,預(yù)訓(xùn)練和推理所需的算力需求也呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。
來(lái)自O(shè)penAI的分析報(bào)告顯示,2012 年至2018年的6年間,人工智能訓(xùn)練任務(wù)中使用的算力需求便增長(zhǎng)了約30萬(wàn)倍。這一趨勢(shì)下,GPU被廣泛應(yīng)用于加速芯片,也讓全球GPU市場(chǎng)82%份額的英偉達(dá)成為其中的受益者。
(相關(guān)資料圖)
“一臺(tái)包含8張A800的DGX超算,現(xiàn)在市面上的價(jià)格可能要到230萬(wàn)元到250萬(wàn)元之間,價(jià)格還在持續(xù)上漲?!蔽挥谏虾埥囊患覕?shù)據(jù)公司內(nèi),公司負(fù)責(zé)人陳運(yùn)文正在向技術(shù)負(fù)責(zé)人紀(jì)達(dá)麒詢問(wèn)算力設(shè)備的采購(gòu)情況。
自從今年3月份發(fā)布了面向垂直領(lǐng)域的“曹植”大語(yǔ)言模型,龐大的算力規(guī)模需求,讓英偉達(dá)DGX的采購(gòu)計(jì)劃,出現(xiàn)在了公司每周的日程表內(nèi)。
算力成本高企
國(guó)內(nèi)大模型開(kāi)發(fā)者期待國(guó)產(chǎn)解決方案
“我們的算力平臺(tái)是自建的,像國(guó)內(nèi)的云服務(wù)廠商,還沒(méi)有這么大的算力服務(wù)。我們現(xiàn)在采購(gòu)的是DGX的高性能的一些解決方案,單套8張GPU價(jià)格接近200萬(wàn)元,現(xiàn)在已經(jīng)采購(gòu)了很多套?!痹陉愡\(yùn)文看來(lái),現(xiàn)在市面上英偉達(dá)A800的供應(yīng)還是有保障的,就是得排隊(duì),真正難買的是存量的A100產(chǎn)品。
不過(guò),無(wú)論哪種解決方案,算力成本短期內(nèi)將給這些從事大模型開(kāi)發(fā)的初創(chuàng)公司,帶來(lái)極大的困擾。陳運(yùn)文表示,現(xiàn)在公司算力設(shè)施主要依賴于進(jìn)口產(chǎn)品,他們也很期待,國(guó)內(nèi)的GPU廠商能夠推出與之媲美的產(chǎn)品,來(lái)有效降低算力成本的投入。
而國(guó)內(nèi)的GPU廠商,其實(shí)也已經(jīng)看到了AIGC帶來(lái)的算力機(jī)遇。國(guó)內(nèi)GPU廠商燧原科技,早在兩年前就落地了國(guó)內(nèi)第二個(gè)千卡集群的訓(xùn)練項(xiàng)目,那時(shí)候AIGC還未引發(fā)關(guān)注。
而現(xiàn)在AIGC火了,燧原科技看到了大模型預(yù)訓(xùn)練之上的市場(chǎng)機(jī)會(huì)。燧原科技創(chuàng)始人、董事、CEO趙立東告訴記者,在大模型預(yù)訓(xùn)練之上,還有一層Fine-tune精調(diào)層,再上面是推理應(yīng)用層。
當(dāng)有了基礎(chǔ)模型以后,還可以針對(duì)場(chǎng)景做一些精調(diào)的訓(xùn)練,而這些訓(xùn)練需要的算力需求就小了很多,準(zhǔn)入門檻也低了很多,會(huì)有大量的開(kāi)發(fā)者涌入這個(gè)賽道。針對(duì)這樣的需求變化,國(guó)內(nèi)GPU廠商也在調(diào)整自身的產(chǎn)品路線圖,使得它更加符合AIGC時(shí)代的人工智能算力需求。
上海人工智能研究院院長(zhǎng)助力、行業(yè)賦能中心主任楊浩也表示,國(guó)內(nèi)通用芯片廠商目前有數(shù)十家,可能未來(lái)有一兩家脫穎而出,而更多的廠家會(huì)在FPGA、ASIC等專用芯片領(lǐng)域,找到新的市場(chǎng)機(jī)會(huì)。
新型算力研發(fā)提速
國(guó)內(nèi)首條光子芯片中試線有望明年建成
傳統(tǒng)電子芯片技術(shù)已經(jīng)逼近物理極限,在AIGC時(shí)代,誰(shuí)來(lái)承接人工智能計(jì)算需求的指數(shù)級(jí)增長(zhǎng)?
以光子計(jì)算、量子計(jì)算為核心的新型算力技術(shù),可能成為新的接棒者。
“傳統(tǒng)的電子芯片,包括英偉達(dá)的GPU,再早的CPU,一直沿著摩爾定律向前發(fā)展,而我們現(xiàn)在新型架構(gòu)的芯片,是沿著滿足人工智能計(jì)算需求的方向發(fā)展,它的增長(zhǎng)曲線一定是更陡峭的?!?圖靈量子創(chuàng)始人、上海交大教授金賢敏對(duì)記者表示。
自從2014年帶團(tuán)隊(duì)從事光子芯片研發(fā)以來(lái),從在校學(xué)術(shù)成果積累,到創(chuàng)辦公司進(jìn)行產(chǎn)業(yè)化應(yīng)用,金賢敏團(tuán)隊(duì)即將迎來(lái)階段性成果——國(guó)內(nèi)首條光子芯片中試線有望在明年年中建成,預(yù)計(jì)產(chǎn)能可達(dá)上萬(wàn)片。
金賢敏非常自豪地告訴記者,如果在無(wú)錫的產(chǎn)線建成,他們將是全球范圍內(nèi)唯一一個(gè)擁有光芯片流片中試線的團(tuán)隊(duì)。
在AIGC時(shí)代,算力已經(jīng)成為大模型開(kāi)發(fā)的短期瓶頸,而要解決算力短缺的問(wèn)題,將是一個(gè)系統(tǒng)性的工程。上海社科院信息所研究員、互聯(lián)網(wǎng)研究中心主任惠志斌表示,現(xiàn)在不光要看到國(guó)外GPU廠商的一些先進(jìn)的產(chǎn)品,更要立足長(zhǎng)遠(yuǎn),在光子計(jì)算、量子計(jì)算等一些顛覆性技術(shù)的領(lǐng)域,也要加強(qiáng)科技攻關(guān)。
(文章來(lái)源:第一財(cái)經(jīng))
關(guān)鍵詞: