2025.12.02
扩展本地基础设施以支持不断演变的人工智慧工作负载
介绍
随着人工智慧工作负载从模型训练演变为自主和即时推断，对于低延迟和高带宽的边缘基础设施的需求激增。虽然云资源在早期实验阶段仍然有用，但在大规模部署人工智慧的企业越来越依赖本地解决方案，以获得即时控制、更强的数据安全性和优化的性能。这一转变要求在计算能力、网络和存储方面优化硬体，以适应边缘的大量数据流和持续的吞吐量。
高需求本地计算的关键因素
- 高速网路连接
现代的 AI 工作负载在 GPU、CPU 和储存设备之间产生密集的数据流量。因此，企业正在迅速从 25/40GbE 转向 100GbE/400GbE，以满足训练、快速数据摄取和对延迟敏感的推断需求。PCIe Gen5 网路介面卡，如 NVIDIA ConnectX-7 和基于 Intel E830 的网路介面卡，能够实现超低延迟和高封包吞吐量，以支持下一代实时处理。
- 可扩展的 NVMe 储存架构
PCIe Gen5 NVMe 基于 SSD 的带宽显着提升，显着减少数据加载延迟。当与 RAID 配置配对时，系统实现了高性能和数据冗余。此外，现代 AI 和分析解决方案中常用的软件定义存储 (SDS) 解决方案增强了吞吐效率，并为数据密集型工作负载提供灵活的可扩展性。
- 高效能计算能力
边缘的即时推断需要高效能的计算解决方案，能够有效管理大量数据流并完成复杂的推理任务。高核心数的中央处理器作为预处理、后处理和多服务协调的协调引擎，而集成的图形处理单元则执行具有多步推理的人工智慧推断模型，以满足各种人工智慧应用中严格的即时响应要求。
- 可靠的 PCIe Gen5 伺服器设计
PCIe Gen5 对于提升下一代网络和加速器扩展至关重要，例如 400Gb/s 网卡、GPU 显示卡和高密度 NVMe 存储设备。为了支持可靠的 PCIe Gen5 系统，AEWIN 的 PCIe Gen5 伺服器设计採用了超低损耗 PCB 材料、背钻通孔、MCIO 连接器和重新定时器，以便在较长的 PCB 路径距离上实现稳定的性能。
摘要
通过将高性能计算能力和可靠的PCIe Gen5可扩展性整合到可靠的硬体解决方案中，企业可以在本地环境中实现低延迟、高吞吐量和卓越性能。AEWIN持续开发针对这些需求优化的高效边缘伺服器和网路设备，以应对AI驱动的网路安全、储存和边缘计算部署。
