GPT即預訓練大語言模型（Generative Pre-trained Transformer），其基于自然語言處理模型Transformer進行預訓練，并不斷迭代提升模型能力。大語言模型等此類生成式AI通過海量數(shù)據(jù)訓練，可以產(chǎn)生前所未有的高質(zhì)量輸出，可用于搜索、對話機器人、圖像生成和編輯等。
微軟使用ChatGPT技術(shù)，將其引入搜索引擎必應，借助對話式人工智能（AI），通過準確理解人類提問意圖并做出回答，給搜索帶來革新。除了文字，預訓練大模型還能生成圖像，與真人作畫相比不分高下的AI畫師過去數(shù)月多次涌現(xiàn)。
ChatGPT崛起，相關(guān)應用用戶快速增長下，對運算基礎(chǔ)的算力要求越來越高，也將對相關(guān)的芯片提出了需求。因其背后技術(shù)將高度依賴AI處理能力，并涉及與之相關(guān)的網(wǎng)絡、存儲和算力基礎(chǔ)設施。
GPU為AI計算主流
ChatGPT高度依賴AI計算能力，而向OpenAI提供GPU芯片的英偉達正成為最大受益者，摩爾線程摩爾學院院長李豐解釋，當人工智能模型通過算法生成內(nèi)容時，即需要大量數(shù)據(jù)進行訓練，這一過程即在GPU集群進行，隨后訓練完成的模型又部署在GPU集群進行推斷，完成圖像生成、語言聊天等工作。
“人工智能的算法是在不斷進步和迭代過程當中，GPU實際上兼顧了靈活度以及計算能力，”李豐稱，相比專用的AI芯片，GPU靈活性更強，又可以保證AI計算性能，因此受到開發(fā)者的歡迎。他提及，在全世界范圍內(nèi)，主要的增長算力的來源來自于GPU。
目前，ChatGPT背后的GPT-3.5模型已有超過1750億個參數(shù)，訓練成本高昂，根據(jù)國盛證券報告顯示，GPT-3訓練一次的成本約為140萬美元，對于一些更大的大型語言模型，訓練成本介于200萬美元至1200萬美元之間。
以ChatGPT在今年1月的獨立訪客平均數(shù)1300萬計算，其對應芯片需求為3萬多片英偉達A100 GPU圖形處理器，初始投入成本約為8億美元。此外，據(jù)花旗集團預估，ChatGPT將可能促使英偉達相關(guān)產(chǎn)品在12個月內(nèi)銷售額達到30億至110億美元。
這意味著，ChatGPT等此類應用將會拉動英偉達GPU芯片需求。英偉達公司的GPU圖形處理器在大型AI模型培訓市場占據(jù)主導地位，其股價今年已大漲55% 。
一家大型IT廠商的人工智能部門負責人向界面新聞記者表示，目前在訓練端，英偉達是毫無疑問的冠軍，其他玩家爭奪的市場在于推斷端，這部分的任務量較小，對功耗、延遲更敏感。李豐就提及，摩爾線程已經(jīng)在內(nèi)部測試，完全部署在摩爾線程GPU上的AIGC平臺不久即面世，這是包括了圖像生成、自然語言生成等一系列的內(nèi)容生成平臺。
除了GPU，涉及計算能力的芯片類型還包括CPU、FPGA、ASIC等，不同類型的計算芯片進行組合，可以滿足不同AI模型的計算需要。
專用AI芯片ASIC（專用集成電路）也有望未來在AI算力中占據(jù)一席之地。谷歌此前發(fā)布了自研TPU（張量處理器）并多次迭代，這是谷歌特別設計用于機器學習的芯片。依照谷歌提供的數(shù)據(jù)，TPU計算效率是過往GPU十倍以上。谷歌將TPU部署在自家云平臺上，未來該公司將推出的對話式AI服務Bard，也將基于TPU運行。
小眾芯片HBM走向前臺
在一個計算系統(tǒng)中，與計算相匹配必然還需要存儲、網(wǎng)絡等架構(gòu)。無論是CPU、GPU，還是其它專用芯片，在計算過程中均將不可避免的被存儲、通信等進程打斷，需要行業(yè)參與者拿出對應解決方案。
在ChatGPT熱潮下，一種小眾存儲芯片的名氣正隨著AI計算需求劇增而為外界所知，據(jù)《韓國經(jīng)濟日報》報道，受惠于ChatGPT，隨著市場對GPU需求劇增，三星、SK海力士的HBM芯片贏得了額外的訂單，成為目前存儲芯片下行市場中，意外爆紅的芯片類型。
HBM（High Bandwidth Memory，高帶寬存儲器）芯片是一種可以實現(xiàn)高帶寬的內(nèi)存芯片，與普通DRAM內(nèi)存相比，HBM可以提供更高的數(shù)據(jù)的傳輸速度，基于該特性，HBM主要應用于高性能計算場景中，如超級計算機、AI加速器、高性能服務器領(lǐng)域。
HBM在與CPU及GPU協(xié)同工作中，可以提高機器學習和計算性能。目前ChatGPT的火熱發(fā)展已令英偉達等GPU廠商受益——ChatGPT使用了1萬多個英偉達的A100 GPU學習了龐大的文檔數(shù)據(jù)。而HBM可以安裝在加速卡中，英偉達A100就最高配備80GB HBM2內(nèi)存。
“HBM一直很難賣，因為價格是DRAM的3倍，但AI是HBM的殺手級應用。”TriOrient Investments副總裁Dan Nystedt稱。由于成本高昂，HBM一直難以大規(guī)模普及，市場推廣較慢，但預計AI應用將為其進一步打開市場規(guī)模。
目前，由ChatGpt帶動的HBM需求已經(jīng)引起了上游廠商的關(guān)注。SK海力士提及，目前已開發(fā)除第四代HBM產(chǎn)品，并于去年向英偉達供貨。三星半導體對界面新聞表示，基于人工智能技術(shù)的交互式AI的學習和推理需要高性能處理器和支持其高性能存儲器組合，這將積極地影響對存儲器的需求。
針對AI應用，三星半導體介紹，已經(jīng)在存儲芯片上結(jié)合人工智能處理器的HBM-PIM（Procee in Memory，存內(nèi)計算）技術(shù)上取得了成果，并計劃與客戶共同構(gòu)建PIM平臺生態(tài)系統(tǒng)。
根據(jù)市場調(diào)研機構(gòu)Omdia在2021年預測，到2025年，HBM市場的總收入將達到25億美元，目前來看，這一數(shù)字隨著AI計算需求增長有望打破。
長期來看，HBM配合CXL等新型數(shù)據(jù)傳輸協(xié)議也將在增強AI計算性能，并獲得行業(yè)巨頭支持。半導體咨詢機構(gòu)集邦咨詢認為，CXL將隨著未來CPU內(nèi)置CXL功能而普及化，在未來AI服務器中，可以見到更多使用HBM和CXL的聯(lián)合設計方案。
分布式計算呼喚DPU
ChatGPT參數(shù)量數(shù)以億計，無法在單臺機器上進行有效的訓練或推理，因此需要使用分布式計算。在分布式計算中，機器之間的帶寬和高效的計算芯片變得至關(guān)重要，因為數(shù)據(jù)互連往往是瓶頸。在數(shù)據(jù)中心層面，業(yè)界期待被視為數(shù)據(jù)中心“第三顆芯片“的DPU解決此類問題。
“ChatGPT這類語言類生成模型的參數(shù)量高達千億，幾乎不可能使用單機訓練和推理，而必須大量使用分布式計算。”DPU開發(fā)商云脈芯聯(lián)相關(guān)負責人告訴界面新聞，在進行分布式計算時，就需要DPU做一些數(shù)據(jù)的處理和預處理，由DPU將任務分發(fā)給CPU、GPU和FPGA等進行計算。
DPU即數(shù)據(jù)處理器（Data Processing Unit），用于處理海量數(shù)據(jù)，在云數(shù)據(jù)中心中，數(shù)據(jù)在多個服務器之間來回流動。云廠商通過將網(wǎng)卡改造為DPU，減輕CPU負擔，使其專注于更關(guān)鍵的任務，類似于公司前臺可以緩解員工的工作量。
業(yè)內(nèi)還預計，除了GPU、HBM、DPU以外，由小芯粒技術(shù)Chiplet加持的芯片異構(gòu)技術(shù)，也有望支持算力增長，Chiplet通過把不同芯片的能力模塊化，利用新的設計、互聯(lián)、封裝等技術(shù)，在一個封裝的產(chǎn)品中使用來自不同技術(shù)、不同制程甚至不同工廠的芯片。從半導體產(chǎn)業(yè)鏈端來看，包括IP授權(quán)、晶圓代工、封測等廠商為之提供關(guān)鍵的技術(shù)支持，可視為提升AI算力重要的基礎(chǔ)設施。包括Imagination、Arm、臺積電、日月光等上下游廠商，將從中獲得增長。