劍指輝達?Cerebras推出「號稱」全球最快AI推論解決方案

商傳媒|記者許方達/綜合報導

輝達在AI晶片市場的獨霸地位讓人虎視眈眈,在輝達公布財報之前,專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台,在Llama 3.1 8B模型上每秒可生成1800個Token,在Llama 3.1 70B模型上每秒可生成450個Token,號稱在AI推理方面,比起輝達旗下大型雲端解決方案快上20倍,且價格更便宜、只有輝達GPU的五分之一。

圖片來源:Cerebras

《金融時報》分析,輝達諸多競爭對手正另闢蹊徑,企圖攻破輝達在AI晶片市場的壟斷壁壘,包括Cerebras、d-Matrix和Groq等公司,目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股,預計在今年下半年上市。

「Cerebras Inference」的AI推論工具平台,基於旗下AI加速系統Cerebras CS-3,此款晶片尺寸是輝達H100的57倍,核心數量是H100的52倍,晶片記憶體是H100的800倍,記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計,能在單個晶片上集成44GB SRAM,也就是將記憶體直接內建在晶片晶圓中,以突破記憶體牆的瓶頸。

Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖,「打敗800磅大猩猩的方法就是向市場推出更好的產品,根據我的經驗,更好的產品通常會獲勝,而且我們已經從輝達那裡搶到有意義的客戶」。

賽斯(Sid Sheth)於2019年創立的d-Matrix公司,也計畫今年底推出自己的「Corsair」平台,d-Matrix打算將旗下產品與Triton等開放軟體配對,以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元,公司估值也達到28億美元。

Groq的產品是「語言處理單元(LPU)」,公司曾聲稱「在Groq上運行大模型的推理速度,相較輝達GPU高出10倍之多」,其突出優勢點是在加快聊天機器人的回應速度,但綜合能力考量,可能還是與輝達A100、H100等多款GPU存在落差。

頭條留言
商傳媒
商傳媒https://sunmedia.tw/
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!
- 廣告 -
- 廣告 -

最新文章

歐國聯八強捉對出爐 雙牙籤運不同

歐洲國家聯賽八強戰捉對廝殺抽籤11月22日晚上出爐,在上半區中義大利面對德國,丹麥對陣葡萄牙,下半區荷蘭面對西班牙,克羅埃西亞與法國交手,四組捉對,德國可謂遭遇苦主義大利,而「雙牙籤運不同」,衛冕軍西班牙逢荷蘭是硬戰,相形之下籤排對葡萄牙可謂是上上簽。根據規則,比賽為兩回合分勝

《流亡黯道2》最新線上直播發表會,公布全球搶先體驗...

《流亡黯道2 Path of Exile 2》遊戲開發商Grinding Gear Games於台灣時間今日凌晨4點於官方Twitch進行線上直播發表會,針對12月7日即將展開的全球搶先體驗公布了更多內容細節。

《藍色監獄 BLUE LOCK》周邊快閃店, 台北...

動畫第二季好評熱播中!日本超人氣作品《藍色監獄 B...

賀臺灣擊敗美國,萊爾富推限時買1送1

2024世界棒球12強賽(2024 WBSC Pr...

呼籲寵物食管法落實!百萬網紅巨犬飼主與寵食業者寵物...

農業部制定的「寵物食品管理法」草案正在如火如荼進行中,今年末最大規模的寵物用品盛會,「2024上聯台北國際寵物用品博覽會(冬季展)2024台北貓展」今(22)日揭開序幕,盛大開展,主辦單位邀請了參展13家寵食品牌,還有超萌的14隻百萬網紅巨犬到場,響應寵物食品安全的議題,希望不再有毛孩健康受到食安影響。