AI初創(chuàng)公司Groq在英偉達(dá)財(cái)報(bào)發(fā)布前夕，在社交媒體中發(fā)布了一篇文章，表示該公司所研發(fā)的LPU推理性能是英偉達(dá)GPU的10倍，而LPU的研發(fā)成本僅僅是英偉達(dá)GPU的1/10。很多人都表示LPU成為了GPU的又一個(gè)挑戰(zhàn)者，究竟能否挑戰(zhàn)成功還未可知。
英偉達(dá)在人工智能席卷之下成為了頭部企業(yè)，近年來有很多的挑戰(zhàn)者，不斷向英偉達(dá)發(fā)起沖擊，那么此次Groq公司所研發(fā)的LPU性能究竟如何，記者對LPU進(jìn)行了測試。
LPU并不是大模型，而是類似于一個(gè)大模型的加速接口，在經(jīng)過Groq加速推理的開源大模型運(yùn)轉(zhuǎn)，使用之后給人最直觀的感受就一個(gè)字“快”，根據(jù)記者的測試結(jié)果可以看到Groq的推理性能，基本上都在每秒270個(gè)Token左右，有些網(wǎng)友表示測試的時(shí)候每秒最高可以達(dá)到500Token左右。
Groq公司表示公司所研發(fā)的LPU，主要是克服LLM所出現(xiàn)的兩個(gè)瓶頸，內(nèi)存寬帶以及計(jì)算密度，如果針對LLM而言LPU的計(jì)算能力非?？?，減少了每一個(gè)單詞的計(jì)算時(shí)間，就能以更快速度的生成文本序列，另外LPU如果和GPU相比，除了能夠消除外部瓶頸，使用LPU能夠在LLM中，不管是在計(jì)算密度或者是在內(nèi)存寬帶上，都能夠給用戶提供更好的性能。
在模型架構(gòu)方面Groq使用了張量流處理，用來加速人工智能，或者是機(jī)器學(xué)習(xí)以及高性能計(jì)算中，一些復(fù)雜工作中的超強(qiáng)負(fù)載，根據(jù)該公司所公開的技術(shù)資料表示，張流量處理它就是一種功能切片的微架構(gòu)，當(dāng)一些計(jì)算數(shù)據(jù)經(jīng)過這種切片時(shí)，每一個(gè)功能單元都可以根據(jù)自己的需求，選擇性的截取數(shù)據(jù)獲得自己想要的計(jì)算結(jié)果，再將計(jì)算結(jié)果傳遞回?cái)?shù)據(jù)流。
雖然Groq對LPU的功能夸夸其談，但是適用范圍究竟能不能跟上AI應(yīng)用的發(fā)展速度，還充滿了不確定性。