國產(chǎn)大模型DeepSeek,昨天(2月24日)發(fā)布“開源周”首個成果,可顯著優(yōu)化英偉達(dá)圖像處理器、也就是GPU的效率,此后,DeepSeek還將開源另外4個代碼庫。
當(dāng)前人工智能、也就是AI技術(shù)快速發(fā)展,高性能GPU成為推動AI模型訓(xùn)練的重要驅(qū)動力,其中,英偉達(dá)GPU因強(qiáng)大的計算能力和先進(jìn)的架構(gòu)設(shè)計,受到廣泛關(guān)注。
DeepSeek開源的代碼庫FlashMLA,就是針對英偉達(dá)GPU的優(yōu)化,它能讓大語言模型在GPU上跑得更快、更高效。尤其是在高性能AI任務(wù)中,這一代碼能夠加速大語言模型的解碼過程,從而提高模型的響應(yīng)速度和吞吐量,這對于實(shí)時生成任務(wù),比如聊天機(jī)器人、文本生成等尤為重要。
有科技公司表示,這一方案能在不損失模型性能的前提下,將緩存體積壓縮至原來的四分之一,從而大幅降低顯存需求,加速AI普惠,促進(jìn)誕生更多的創(chuàng)新應(yīng)用。
FlashMLA還只是開始,上周五(2月21日)DeepSeek宣布,從本周開始,會陸續(xù)開源5個代碼庫,以完全透明的方式,與全球開發(fā)者社區(qū)分享他們的研究進(jìn)展。
隨著國內(nèi)AI產(chǎn)業(yè)的爆發(fā),阿里巴巴集團(tuán)也宣布,未來三年將投入超過3800億元,用于建設(shè)云和AI硬件基礎(chǔ)設(shè)施,總額超過去十年總和。這也將創(chuàng)下中國民營企業(yè)在云和AI硬件基礎(chǔ)設(shè)施建設(shè)領(lǐng)域有史以來最大規(guī)模投資紀(jì)錄。
目前,阿里云是亞洲第一的云計算公司,阿里巴巴通義千問大模型已成為全球頂尖的開源模型。
編輯: | 張博忺 |
劍網(wǎng)行動舉報電話:12318(市文化執(zhí)法總隊)、021-64334547(市版權(quán)局)
Copyright ? 2016 Kankanews.com Inc. All Rights Reserved. 看東方(上海)傳媒有限公司 版權(quán)所有
全部評論
暫無評論,快來發(fā)表你的評論吧