搜尋

會員登入

搜尋

導覽

會員
廣告

AMD NPU成為首款獲Unsloth Desktop支援的神經網路處理器

瀏覽次數:19

AMD與Unsloth宣布展開合作,AMD XDNA 2 NPU支援的神經網路處理器(NPU),讓超過100款代理式AI應用程式與工作流程皆能在支援的AMD Ryzen AI PC上執行本地NPU推論。Unsloth Desktop支援的神經網路處理器(NPU),讓超過100款代理式AI應用程式與工作流程皆能在支援的AMD Ryzen AI PC上執行本地NPU推論。

全天候運行的AI助理與AI代理,需要在處理日常PC任務的同時維持高效率的推論表現。透過此次合作,使用者在GPU運算之外擁有全新替代方案,由AMD XDNA 2 NPU負責執行持續性的低功耗推論工作負載,同時保留CPU與GPU資源以因應其他應用程式需求。此項整合延續AMD持續擴展並最佳化軟體支援的承諾,將專屬的NPU加速能力引進更多日常使用工具中。

Unsloth Desktop API讓相容工具能夠使用本地模型推論功能,涵蓋OpenClaw、Cline、LangChain以及GitHub Copilot等。Unsloth橫跨模型開發與部署,不僅提供能加速微調並降低GPU記憶體需求的開源工具,更推出無需撰寫程式碼即可進行訓練與推論的桌上型應用程式。AMD NPU的支援將此產業體系從傳統的CPU與GPU運算進一步向外延伸,為使用者提供高能效的推論選項,並連接超過100款相容的代理式AI應用程式與工作流程。

將支援的推論工作負載轉移至NPU執行,有助於延長電池續航力,並為其他應用程式保留CPU與GPU運算資源。AI代理能夠透過相互連接的工具執行多步驟任務,透過本地NPU推論能力,相容的AI代理在處理各項模型請求時能展現更高的能效,同時保留CPU與GPU資源以專注於任務編排(orchestration)與其他應用程式運作,協助使用者減少逐一管理任務步驟所花費的時間,將更多精力投入於審視最終成果。

此整合架構將Unsloth Desktop與專屬的AMD NPU加速能力緊密連結。當相容的應用程式向Unsloth Desktop API發送模型請求時,將由Lemonade與FastFlowLM負責在AMD XDNA 2 NPU上執行模型服務(Model Serving)與推論,隨後再將模型回應傳回應用程式以延續其工作流程。在此分工模式下,NPU專責加速支援的模型推論任務,而應用程式的其他功能則依需求繼續靈活運用PC的CPU與GPU資

MCU睡眠模式(Sleep Mode)大解密

MCU睡眠模式(Sleep Mode)大解密

電池供電的感測器、智慧家居與可攜式裝置,經常花大量時間等待事件。延長續航的關鍵,是讓CPU只在需要時工作,並把監測、取樣與資料搬移交給適合的周邊。Microchip PI…

電池供電的感測器、智慧家居與可攜式裝置,經常花大量時間等待事件。延長續航的關鍵,是讓CPU只在需要時工作,並把監測、取樣…