OpenBMB發表MiniCPM5-1B 小模型手機離線運行智慧代理

商傳媒|責任編輯/綜合外電報導

北京清華大學OpenBMB團隊與ModelBest共同開發的最新人工智慧模型MiniCPM5-1B,已正式發表。這款僅有十億個參數的模型,支援原生工具調用及模型上下文協議(Model Context Protocol, MCP),能夠直接在智慧型手機記憶體上離線運行,並展現出超越同級別開源模型的效能,預示著行動裝置智慧代理應用的潛在普及。

MiniCPM5-1B是MiniCPM系列裝置端模型中的最新成員,特別為資源受限的硬體環境而設計。儘管參數規模僅為十億,相較於主流大型語言模型(LLM)顯得輕巧,卻能在多項基準測試中表現出色,平均分數達42.57,優於次優同級競爭者的35.61。這些評測涵蓋了一般知識、領域知識、程式設計、指令遵循、數學推理、邏輯推理及代理任務等多個範疇。

這項技術突破的基礎來自MiniCPM4的架構,並結合了InfLLM v2這項核心創新。InfLLM v2是一種可訓練的注意力機制,能在處理長上下文推理時,只針對少於5%的周圍詞元(token)進行運算,大幅減少計算量的同時,仍維持高準確度。OpenBMB團隊還利用了名為UltraClean的資料過濾管線,僅用8兆個訓練詞元就達到了具競爭力的效能,遠少於Qwen 3所消耗的36兆詞元。透過強化學習與高效蒸餾技術(以大型模型指導小型模型),MiniCPM5-1B在數學、程式碼和指令遵循等基準測試中分數提高了16點,並將過長回應的比例降低了29個百分點。

MiniCPM5-1B的上下文視窗高達128K詞元,約等於96,000個連續文字,這對於十億參數級模型而言是顯著的進步。這意味著模型能夠在長時間的角色扮演對話、處理完整PDF文件,或在不中斷任務的情況下支援代理應用,而無需雲端基礎設施。實務上,使用者可以在iPhone等手機上,透過本地代理完全離線查詢行事曆、搜尋本地資料庫,或呼叫網路研究的MCP伺服器。雖然小型模型在處理模糊事實問題時仍可能出現幻覺,但搭配MCP伺服器進行網路研究,能有效降低此類問題。

目前,MiniCPM5-1B已在Hugging Face平台以Apache 2.0開源授權釋出,並相容於vLLM、SGLang與標準Hugging Face推論框架。這象徵著行動裝置上的本地AI運行正從研究領域轉變為真正的產品類別,加速了裝置端AI的發展。

頭條留言
商傳媒
商傳媒https://sunmedia.tw/
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!
- 廣告 -
- 廣告 -

最新文章

嘉義百年信仰盛事 五年千歲聖誕大典 黃敏惠主祭祈福...

墨新聞|記者宋其佳/嘉義報導嘉義市北門口先天宮今(...

Corsair Gaming 憑藉 AI 新品股價...

商傳媒|何映辰/台北報導電競硬體製造商 Corsa...

和平協議消息傳出後 那斯達克上揚、比特幣卻下跌

商傳媒|吳承岳/台北報導在國際和平協議可能達成與通...

Anthropic 推出 Claude Opus ...

商傳媒|葉安庭/綜合外電報導人工智慧公司 Anth...

宏碁發表 Snapdragon 筆電系列與英特爾遊...

商傳媒|責任編輯/綜合外電報導宏碁(Acer)週四...