生成式人工智慧從被動的問答對話，逐步邁向具備自主決策與執行能力的代理式 AI（Agentic AI）時代，雲端運算基礎設施的效能衡量標準正迎來根本性轉變。Arm 雲端 AI 解決方案架構總監 Ravi Malhotra 明確指出，過往產業界評估 AI 效能多聚焦於 Token 的生成速率，即每秒、每瓦或每美元能產出多少 Token。然而，代理式 AI 要求將這些生成的 Token 真正應用於現實世界，這意味著運算焦點不再僅限於大型語言模型的推論速度，而是更取決於 AI 代理能否有效率地完成複雜任務，進而推動中央處理器（CPU）重新站回算力舞台的核心位置。
在代理式 AI 的運作架構中，整體任務主要被拆解為兩大環節。首先是模型推論與規劃階段，負責 Token 生成，這類工作通常部署於搭載大量 GPU 或 AI 加速器的機櫃中，高度倚賴龐大的記憶體容量與頻寬來儲存對話上下文與領域資料；其次則是基於 Token 所採取的實際行動，即工具呼叫與編排（Tooling and Orchestration）。這個階段大多運行在純 CPU 伺服器上，涵蓋程式碼編譯、軟體測試、資料庫查詢以及網頁 API 存取等運作。Malhotra 強調，若 CPU 無法迅速完成工具呼叫與環境準備，後端昂貴且耗能的 GPU 就會被迫處於閒置狀態，因此 CPU 的運算吞吐與響應速度，已成為左右整體 AI 管線效率與營運成本的關鍵瓶頸。
面對軟體工程、企業營運自動化、科研金融分析、個人智慧助理及機器人等各具特性的應用原型，Arm 發表白皮書倡導全新的雙軌評估方法論。該架構一方面透過元件級基準測試，精準衡量 Web 伺服器、資料庫及模型服務框架等單一元件的開銷；另一方面則導入 SWE-bench 與 Terminal-Bench 等端到端代理基準測試，真實反映多工作流協同運作時的表現。值得注意的是，為了確保資料安全與隱私，AI 代理往往需要在隔離的容器沙盒中執行，建立沙盒所耗費的時間被視為代理式 AI 的隱形「沙盒稅」，這項開銷在多任務高併發情境下，直接考驗著 CPU 微架構的調度能力。
評估的視角同樣需要提升至整個資料中心層級。Malhotra 解釋，雲端服務業者在資料中心部署的是完整機櫃而非單顆處理器，因此單純比拚晶片規格並無意義，真正重要的是在受限的電力預算下，機櫃整體能創造多少運算價值。根據獨立技術分析機構 Signal65 發布的評測報告，採用 Neoverse V3 核心的 Arm AGI CPU 在與 AMD 第五代 EPYC（Turin 9755）對比時展現出顯著優勢。受惠於核心低功耗特性，Arm 架構能夠在單一機櫃中容納更多運算核心，在相同功耗預算下，Arm AGI CPU 展現出的每機櫃效能達到對手平台的近兩倍，其中在向量資料庫等規劃元件上達到二點二倍，工具呼叫元件達到一點七倍，並具備顯著更低的沙盒啟動成本。
目前 Arm 正透過多元形態加速技術落地，除了推出 1OU 雙節點與 2U2P 伺服器參考設計，亦攜手美超微（Supermicro）、聯想（Lenovo）與華擎科技（ASRock）等硬體夥伴，打造涵蓋氣冷、19 吋與 Open Rack 雙寬液冷架構的商用解決方案。面對各家晶片大廠各自提出不同測試宇宙的現象，Arm 強調自身並非主張固定權重公式，而是提供一套符合實際部署思維的評估框架，協助企業依據特定應用場景，在效能、擴展性與能源效率之間取得最佳平衡，因應持續演進的智慧體時代。
