劍指輝達?Cerebras推出「號稱」全球最快AI推論解決方案

商傳媒|記者許方達/綜合報導

輝達在AI晶片市場的獨霸地位讓人虎視眈眈,在輝達公布財報之前,專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台,在Llama 3.1 8B模型上每秒可生成1800個Token,在Llama 3.1 70B模型上每秒可生成450個Token,號稱在AI推理方面,比起輝達旗下大型雲端解決方案快上20倍,且價格更便宜、只有輝達GPU的五分之一。

圖片來源:Cerebras

《金融時報》分析,輝達諸多競爭對手正另闢蹊徑,企圖攻破輝達在AI晶片市場的壟斷壁壘,包括Cerebras、d-Matrix和Groq等公司,目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股,預計在今年下半年上市。

「Cerebras Inference」的AI推論工具平台,基於旗下AI加速系統Cerebras CS-3,此款晶片尺寸是輝達H100的57倍,核心數量是H100的52倍,晶片記憶體是H100的800倍,記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計,能在單個晶片上集成44GB SRAM,也就是將記憶體直接內建在晶片晶圓中,以突破記憶體牆的瓶頸。

Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖,「打敗800磅大猩猩的方法就是向市場推出更好的產品,根據我的經驗,更好的產品通常會獲勝,而且我們已經從輝達那裡搶到有意義的客戶」。

賽斯(Sid Sheth)於2019年創立的d-Matrix公司,也計畫今年底推出自己的「Corsair」平台,d-Matrix打算將旗下產品與Triton等開放軟體配對,以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元,公司估值也達到28億美元。

Groq的產品是「語言處理單元(LPU)」,公司曾聲稱「在Groq上運行大模型的推理速度,相較輝達GPU高出10倍之多」,其突出優勢點是在加快聊天機器人的回應速度,但綜合能力考量,可能還是與輝達A100、H100等多款GPU存在落差。

頭條留言
商傳媒
商傳媒https://sunmedia.tw/
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!
- 廣告 -
- 廣告 -

最新文章

床墊挑錯!?NeoFuture25未來床精準科學數...

商傳媒|記者張瑞珊/綜合報導NeoFuture25...

原汁原味重新回味史詩劇情,《幻想水滸傳I&II H...

KONAMI將在今(2025)年3月5日正式推出《幻想水滸傳I&II HD Remaster》,國內發行暨代理商傑仕登除了在臺北國際電玩展攤位提供試玩,另特別邀請到製作人內藤壘、IP & 遊戲總監崎山高博來到展覽,同時舉辦媒體見面會,說明關於對於重新帶來這款經典遊戲的想法。

皇熊缺陣下姆巴佩皇馬首次戴帽秀 透露了啥

2025年1月26日西甲聯賽皇馬3比0戰勝巴拉多利德,繼續保持榜首領先位置,此役,姆巴佩(Mbappe)包辦全場三個進球,成為球隊贏球的最大功臣。這也是姆巴佩加盟皇馬後第一次完成帽子戲法,他用這場帽子戲法不僅證明了自己出色,助俱樂部拿到了勝場三分,也給皇馬支持者帶來了自信!

蛇年迎春!嘉義市傳統市場、公園全新佈置 邀您感受熱...

記者宋其佳/嘉義市報導 迎接2025農曆春節到來,...