劍指輝達?Cerebras推出「號稱」全球最快AI推論解決方案

商傳媒|記者許方達/綜合報導

輝達在AI晶片市場的獨霸地位讓人虎視眈眈,在輝達公布財報之前,專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台,在Llama 3.1 8B模型上每秒可生成1800個Token,在Llama 3.1 70B模型上每秒可生成450個Token,號稱在AI推理方面,比起輝達旗下大型雲端解決方案快上20倍,且價格更便宜、只有輝達GPU的五分之一。

圖片來源:Cerebras

《金融時報》分析,輝達諸多競爭對手正另闢蹊徑,企圖攻破輝達在AI晶片市場的壟斷壁壘,包括Cerebras、d-Matrix和Groq等公司,目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股,預計在今年下半年上市。

「Cerebras Inference」的AI推論工具平台,基於旗下AI加速系統Cerebras CS-3,此款晶片尺寸是輝達H100的57倍,核心數量是H100的52倍,晶片記憶體是H100的800倍,記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計,能在單個晶片上集成44GB SRAM,也就是將記憶體直接內建在晶片晶圓中,以突破記憶體牆的瓶頸。

Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖,「打敗800磅大猩猩的方法就是向市場推出更好的產品,根據我的經驗,更好的產品通常會獲勝,而且我們已經從輝達那裡搶到有意義的客戶」。

賽斯(Sid Sheth)於2019年創立的d-Matrix公司,也計畫今年底推出自己的「Corsair」平台,d-Matrix打算將旗下產品與Triton等開放軟體配對,以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元,公司估值也達到28億美元。

Groq的產品是「語言處理單元(LPU)」,公司曾聲稱「在Groq上運行大模型的推理速度,相較輝達GPU高出10倍之多」,其突出優勢點是在加快聊天機器人的回應速度,但綜合能力考量,可能還是與輝達A100、H100等多款GPU存在落差。

頭條留言
商傳媒
商傳媒https://sunmedia.tw/
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!
- 廣告 -
- 廣告 -

最新文章

韓式料理新選擇!ABV韓式餐酒館結合經典佳餚與精釀...

記者李婉如/綜合報導 台灣最大的精釀啤酒餐飲集團 ...

命理乾坤 認識八字裡的「魁罡格」

命理的功能無非是教人如何來「趨吉避凶」,而非只是「宿命論」而已。知命才能掌運,懂得嘗試去改變,才有改變命運的可能。

「京都御握丸 ONIMARU」「牽絲起司炸⾁排」全...

記者李婉如/綜合報導 ⽇本京都四条排隊名店「京都御...

COMPUTEX 2025官方獎項BC Award...

亞洲指標 B2B 科技專業展COMPUTEX主辦單位之一TCA(台北市電腦公會)表示,作為國際買主採購指標的官方獎項Best Choice Award(簡稱BC Award)競賽,即將於3月18日截止收件,請參展商加速報名程序。

寶嘉聯合2月接單破千張,PEUGEOT創下台灣 2...

PEUGEOT總代理寶嘉聯合於2025年2月5日正式在台灣市場發表搭載最新世代P2架構HYBRID油電混合動力系統的PEUGEOT 2008 HYBRID / 408 HYBRID。