導(dǎo)讀 ASC24目前已經(jīng)正式進(jìn)入預(yù)賽階段，4月9日至13日通過(guò)預(yù)賽選拔的隊(duì)伍將會(huì)在上海大學(xué)展開(kāi)總決賽的比賽。來(lái)自世界各地的300多支高校隊(duì)伍目前正在
ASC24目前已經(jīng)正式進(jìn)入預(yù)賽階段，4月9日至13日通過(guò)預(yù)賽選拔的隊(duì)伍將會(huì)在上海大學(xué)展開(kāi)總決賽的比賽。來(lái)自世界各地的300多支高校隊(duì)伍目前正在面對(duì)大語(yǔ)言模型推理優(yōu)化的考驗(yàn)。各支參賽隊(duì)伍需要在LLaMA2-70B大模型的基礎(chǔ)上，考慮出更多的優(yōu)化方式構(gòu)建推理引擎，進(jìn)行高吞吐推理，與大語(yǔ)言模型應(yīng)用落地所帶來(lái)的考驗(yàn)直面應(yīng)對(duì)。
生成式人工智能目前呈現(xiàn)出白膜增秀的局面。由于大模型訓(xùn)練開(kāi)發(fā)速度的加快，以及各種應(yīng)用系統(tǒng)逐步落地，業(yè)界對(duì)于大模型成本的優(yōu)化和性能的優(yōu)化更加的重視。目前大模型落地面臨的困難有兩方面，一方面是大模型的結(jié)構(gòu)決定了推理解碼階段計(jì)算優(yōu)化比較難，效率比較低。另一方面由于大模型規(guī)模達(dá)到幾百億參數(shù)很難進(jìn)行單卡部署，這涉及到了多卡并行的問(wèn)題，因此需要對(duì)通信方面的開(kāi)銷進(jìn)行考慮。