劍指輝達?Cerebras推出「號稱」全球最快AI推論解決方案

商傳媒|記者許方達/綜合報導

輝達在AI晶片市場的獨霸地位讓人虎視眈眈,在輝達公布財報之前,專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台,在Llama 3.1 8B模型上每秒可生成1800個Token,在Llama 3.1 70B模型上每秒可生成450個Token,號稱在AI推理方面,比起輝達旗下大型雲端解決方案快上20倍,且價格更便宜、只有輝達GPU的五分之一。

圖片來源:Cerebras

《金融時報》分析,輝達諸多競爭對手正另闢蹊徑,企圖攻破輝達在AI晶片市場的壟斷壁壘,包括Cerebras、d-Matrix和Groq等公司,目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股,預計在今年下半年上市。

「Cerebras Inference」的AI推論工具平台,基於旗下AI加速系統Cerebras CS-3,此款晶片尺寸是輝達H100的57倍,核心數量是H100的52倍,晶片記憶體是H100的800倍,記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計,能在單個晶片上集成44GB SRAM,也就是將記憶體直接內建在晶片晶圓中,以突破記憶體牆的瓶頸。

Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖,「打敗800磅大猩猩的方法就是向市場推出更好的產品,根據我的經驗,更好的產品通常會獲勝,而且我們已經從輝達那裡搶到有意義的客戶」。

賽斯(Sid Sheth)於2019年創立的d-Matrix公司,也計畫今年底推出自己的「Corsair」平台,d-Matrix打算將旗下產品與Triton等開放軟體配對,以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元,公司估值也達到28億美元。

Groq的產品是「語言處理單元(LPU)」,公司曾聲稱「在Groq上運行大模型的推理速度,相較輝達GPU高出10倍之多」,其突出優勢點是在加快聊天機器人的回應速度,但綜合能力考量,可能還是與輝達A100、H100等多款GPU存在落差。

頭條留言
商傳媒
商傳媒
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!https://sunmedia.tw/
- 廣告 -
- 廣告 -

最新文章

漫威影集《阿嘉莎:無所不在》Disney+ 獨家上...

漫威影業繼反派角色「洛基」的獨立影集掀起現象級好評後,恐怖喜劇《阿嘉莎:無所不在》也終於在本周於Disney+ 重磅首播。作為經典影集《汪達與幻視》的衍生作品,《阿嘉莎:無所不在》不僅完美繼承前作的復古畫面美學,讓非漫威迷也愛不釋手,更承襲其備受讚譽的黑色幽默、瘋魔詭譎、和俏皮古怪等作品元素,讓其首播即迎來外媒好評,「這部作品延續《汪達幻視》的懸疑感,並帶來全新的女巫魔咒,凱薩琳哈恩太完美了,她擁抱每一個怪異的時刻,而音樂劇不僅強化了這一切,同時也賦予一種全新魅力,而這正是漫威宇宙所需要的魔力!」

神腦推 iPhone 空機訂閱方案 最低月繳 1,...

今年神腦推出「iPhone訂閱制」,對口袋預算不多的學生或小資族來說是一大福音,免預繳、不用押金,每月支付最低1,584元就能體驗最新iPhone 16 系列(十月底前訂閱,加送300元神腦幣),挑戰市場訂閱制最低價,同步享有專屬手機保險及維修服務,一年(12期)期滿Apple下代新機推出時,則可以選擇繳回舊機回收,或搭配資費續約訂閱最新一代的iPhone,也能選擇付完尾款直接買斷手機,讓消費者在荷包上的運用更為彈性,訂閱方案詳情請洽全台神腦門市辦理。

Yahoo 奇摩拍賣現中職周邊收藏潮,球衣/啦啦隊...

中華職棒下半季賽事火熱進行,「場邊嬌點」啦啦隊更是活力滿點,讓棒球熱度延燒!Yahoo奇摩拍賣發現,球迷不僅熱情觀賽,今年七月剛結束的明星賽更帶動相關商品熱搜成長超過3倍,尤以球員簽名球衣、簽名卡、簽名球、拍立得、啦啦隊周邊熱銷最夯!

台灣大開賣 iPhone 16 搶頭香消費者獨享 ...

台灣大哥大今(9/20)日於臺北文創門市盛大舉行iPhone 16系列首賣活動,由台灣大總經理林之晨、個人用戶事業商務長林東閔出席,特別邀請Fubon Angels的李雅英、慈妹、Jessy作為活動嘉賓,人氣啦啦隊員以熱力十足的《Go Stronger》應援舞蹈為活動揭開序幕。