Red Hat 已簽署收購 Neural Magic 的最終協議，Neural Magic 為提供能加速生成式 AI 推論工作負載的軟體與演算法領導業者，其在推論效能工程的專業技術及對開源的承諾與 Red Hat 的願景一致，致力於在跨混合雲環境中的任何一處皆能實現高效能 AI 工作負載，並滿足客戶特殊的應用情境和資料。
儘管生成式 AI 的前景在當今科技領域中已佔據主導地位，然支撐其系統的大型語言模型（LLM）規模仍持續擴大。因此，為建置具成本效益且可靠的 LLM 服務，企業需要大量的運算資源、能源，以及專業的營運技能。多數企業因上述挑戰而難以享受到客製化、部署就緒且更具安全性的 AI 所帶來的優勢。Red Hat 期望能藉由 vLLM 的開源創新賦能更多企業更易於使用生成式 AI，從而應對其面臨的挑戰。
