打造安全高效的地端AI基礎設施
前言
隨著生成式AI、AI代理(AI Agents)與企業級AI應用持續擴展,企業正逐漸將目光從雲端轉向更貼近自身資料的AI部署方式。在資料主權、安全性、延遲性與長期營運成本等考量日益受到重視的驅動下,地端(On-Premises)AI基礎設施已成為企業追求更高掌控力、效能與可擴展性的策略性選擇。
為何選擇地端AI
- 資料自主與安全
對於需管理敏感資訊的企業而言,將AI工作負載保留於地端,能完全掌握資料集、AI模型與智慧財產權。在受控環境中處理資料,有助於簡化法規遵循流程、降低資安風險,並免除將機密資訊傳輸至公有雲服務的必要性。
- 低延遲AI效能
包括AI資安防護、工業自動化、智慧影像分析與企業級智慧助理(Copilot)在內的關鍵任務型AI應用,皆需具備即時推論能力與可預測的效能表現。地端部署不僅能消除網路延遲,更能為AI推論、模型再訓練與微調提供專屬運算資源,無需承擔反覆產生的雲端運算費用。
- 因應多元AI工作負載的彈性基礎設施
不同AI應用對基礎設施的需求差異甚大。部分工作負載仰賴高強度GPU運算,另有部分則著重於網路頻寬、儲存吞吐量或加密運算加速。地端平台能依據特定工作負載需求,彈性配置CPU、GPU、記憶體、儲存、網路與PCIe擴充,使基礎設施能隨AI模型快速演進而同步擴展。
地端AI基礎設施的核心構成要素
- 高效能運算
結合強大CPU與GPU的均衡架構,是現代AI基礎設施的根本基礎。CPU負責資料前處理、系統調度、儲存與應用服務,GPU則加速AI訓練、微調與推論作業。面向未來的平台設計,支援最新的伺服器級處理器、大容量記憶體、高速PCIe擴充能力與可擴展的GPU配置。
- 高速網路
隨著AI模型規模持續擴大,網路效能已與運算效能同等重要。高頻寬乙太網路連接能力,可確保AI伺服器、儲存設備、邊緣裝置與雲端資源之間的高效通訊,同時將分散式訓練與推論過程中的瓶頸降至最低。彈性的NIC配置設計,也讓企業能隨AI工作負載演進調整網路效能。
- 安全加速
保護AI資料與專有模型,需在儲存、傳輸與處理的各個環節皆採用加密措施。相較於以軟體方式加密而耗費寶貴的CPU運算資源,採用如Intel QuickAssist Technology(Intel QAT)等硬體加速技術,能將加密運算工作卸載處理,同時提升安全性與整體系統效能。
AEWIN:完整的地端AI基礎設施解決方案
- 專為AI運算打造的AI伺服器
AEWIN提供完整的AI伺服器產品組合,專為AI推論、模型再訓練、微調與高效能運算而設計。透過支援最新伺服器級處理器、GPU加速器、大容量記憶體與彈性PCIe擴充能力,AEWIN平台讓客戶能因應多元AI部署情境靈活配置運算資源,並透過模組化平台設計加快產品上市速度。
- 打造安全AI連接的網路設備
安全的網路架構是企業級AI基礎設施不可或缺的關鍵環節。憑藉在高效能網路平台領域深耕數十年的專業技術,AEWIN的網路設備與模組提供彈性的乙太網路連接能力,確保AI伺服器、儲存系統與分散式AI環境之間的安全通訊。為進一步強化安全性與效率,AEWIN支援Intel QAT加速卡,將加密、解密與壓縮工作負載自CPU卸載,同時維持高網路吞吐量。
- 為永續AI打造的兩相直接液冷解決方案
隨著AI運算密度不斷提升,高效散熱管理已成為維持系統效能與控制營運成本的關鍵。AEWIN整合旗下子公司其曜科技(Arivor)所研發的兩相直接液冷(2P DLC)解決方案,搭配機櫃內冷卻液分配單元(CDU),共同支援次世代AI基礎設施。
相較於傳統氣冷方式,2P DLC能顯著提升散熱效率、提高機櫃密度、降低功耗,並改善整體永續性。此方案讓企業能在部署高密度GPU叢集的同時,降低能源消耗,並為資料中心的未來AI成長預做準備。
總結
企業要成功部署AI,所需的不僅是強大的GPU。更需要安全的資料保護、可擴展的運算能力、高速網路,以及節能的基礎設施,彼此協同運作成為完整的平台。透過整合AI伺服器、網路設備、Intel QAT加速技術與先進的兩相直接液冷技術,AEWIN提供完整的地端AI基礎設施解決方案,協助企業打造安全、高效能且永續的AI環境。
