选择合适的 多GPU服务器托管 解决方案不仅仅在于计算显卡的数量。配备四块或八块GPU的服务器虽然可能提供强大的计算能力，但实际性能还取决于GPU内存、PCIe连接、NVLink的可用性、互连拓扑、工作负载并行度以及软件效率。.
对于大型语言模型、AI 训练、推理、3D 渲染以及高性能计算而言，GPU 之间的通信可能会成为影响性能和成本的关键因素。增加更多加速器并不一定能带来成比例的速度提升。.
本指南阐述了PCIe、NVLink和NVSwitch如何影响多GPU基础设施，说明了在何种情况下GPU间带宽至关重要，介绍了如何评估扩展效率，以及如何比较多GPU托管服务的总体成本。此外，本指南还探讨了来自 Cherry 服务器, RunPod, GPU Mart, Vast.ai, ，以及 ServerMania.
什么是多GPU服务器托管？
多GPU服务器托管服务可提供配备两个或更多图形处理单元的计算系统。.
这些 GPU 既可以安装在一台物理服务器上，也可以分布在通过网络连接的多台服务器上。.
这一区别很重要，因为同一台服务器内部的GPU通信所采用的技术可能与不同服务器之间的通信所采用的技术不同。.
常见的多GPU工作负载包括：
- 大型语言模型的训练与微调。.
- 采用张量或流水线并行性的LLM推理。.
- 分布式深度学习实验。.
- 基于GPU加速的科学计算。.
- 大规模图像和视频处理。.
- 并行3D渲染工作负载。.
- 高吞吐量人工智能推理服务。.
在租用多块 GPU 之前，请先确定您的工作负载是否需要更大的综合计算资源、额外的内存容量、更快的 GPU 间通信，还是仅仅需要更多的独立工作进程。.
单GPU与多GPU服务器：何时需要更多GPU？
对于无法有效并行化的工作负载，部署单块大内存GPU可能更为简便，且其性能可能优于配置不当的多GPU系统。.
当应用程序能够将工作负载分配到多个加速器上，或者单个 GPU 无法容纳所需的模型或数据集时，多 GPU 基础设施便派上了用场。.
| 因子 | 单GPU | 多GPU服务器 |
|---|---|---|
| 部署复杂性 | 通常更简单 | 需要进行并行性和拓扑规划 |
| GPU内存 | 仅限一个加速器 | 分布在多个设备上的内存 |
| 计算能力 | 一个 GPU | 多个加速器 |
| 通信开销 | 不支持跨GPU模型通信 | 可能需要频繁交换数据 |
| 缩放 | 仅限一台设备 | 这取决于工作量和具体实施情况 |
| 运营成本 | 通常更容易管理 | 额外的硬件和基础设施成本 |
对于 LLM 的部署，首先需计算模型的内存占用、KV 缓存以及并发性要求。.
我们的 LLM 托管要求指南 解释了模型规模和量化如何影响GPU内存需求。.
多GPU服务器中的PCIe：带宽为何至关重要
PCI Express（通常简称为 PCIe）是一种用于将 GPU 和其他设备连接到主机系统的高速互连技术。.
PCIe 代数、链路带宽、CPU 平台以及主板拓扑结构都会影响每块 GPU 可用的带宽。.
例如，安装在物理 x16 插槽中的 GPU 未必会以完整的 x16 电气连接方式运行。某些服务器设计会将可用的 PCIe 通道分配给多个设备。.
PCIe 代数与理论带宽
以下数值是全宽 PCIe x16 链路单向传输的近似最大理论有效带宽值，尚未考虑实际系统中的额外开销。.
| PCIe 世代 | 带宽约为16倍，单向 | 重要注意事项 |
|---|---|---|
| PCIe 3.0 | 15.75 GB/s | 较旧的服务器平台 |
| PCIe 4.0 | 31.5 GB/s | 现代 GPU 的常见连接方式 |
| PCIe 5.0 | 63 GB/s | 更高的主机-设备带宽 |
| PCIe 6.0 | 约 121 GB/s | 需要兼容的硬件和实现 |
这些是接口级别的估计值，并非保证的应用程序传输速度。实际吞吐量取决于硬件支持、协商的链路带宽、事务开销、系统拓扑以及软件。.
PCIe 通道与 GPU 布局
在比较多GPU服务器时，应询问每块GPU可用的PCIe通道数量，以及这些通道是直接连接到CPU，还是通过交换机连接。.
PCIe 交换机可以扩展连接能力，但上游链路和整体拓扑结构仍可能影响总带宽。.
PCIe 带宽会影响所有工作负载吗？
不。在每个GPU上主要执行独立计算的工作负载，对互连带宽的敏感度可能较低。.
那些频繁交换大型张量或同步结果的工作负载，对通信性能的敏感度可能更高。.
什么是 NVLink，它与 PCIe 有什么区别？
NVLink 这是一种由 NVIDIA 开发的互连技术，旨在为兼容的 GPU 或受支持的系统组件之间提供高带宽通信。.
与作为通用互连技术的PCIe不同，NVLink是专为特定的NVIDIA GPU通信架构设计的。.
不过，NVIDIA GPU 并非全都支持 NVLink。其可用性、链路数量、拓扑结构和带宽会因 GPU 代号和系统设计而异。.
配备多块 NVIDIA GPU 的服务器并不自动支持 NVLink。.
NVLink 的优势
在受支持的系统上，对于需要在 GPU 之间频繁传输数据的工作负载，NVLink 能够带来优势。.
- 兼容加速器之间的高带宽通信。.
- 对于通信密集型并行工作负载，性能有望得到提升。.
- 支持特定的多GPU内存访问和通信功能。.
- 与受支持的 NVIDIA 多 GPU 系统架构集成。.
这些优势取决于实际的硬件拓扑结构和软件堆栈。NVLink 并不会自动将独立的 GPU 内存设备合并为一个对所有应用程序都可普遍寻址的内存池。.
NVLink 与 PCIe 对比
| 功能 | PCIe | NVLink |
|---|---|---|
| 主要目的 | 通用设备互连 | 支持 NVIDIA 加速器通信 |
| 硬件供应情况 | 广泛的服务器平台支持 | 部分 NVIDIA GPU 和系统 |
| 带宽 | 取决于代数和链路宽度 | 这取决于 NVLink 的代数和拓扑结构 |
| 多GPU通信 | 支持基于拓扑结构的性能 | 在支持的系统上可提供更高的带宽 |
| 最佳匹配 | 通用 GPU 连接性及多种工作负载 | 通信密集型受支持的工作负载 |
在做出购买决策时，应比较实际的GPU间传输性能和应用程序基准测试结果，而不是仅依赖宣传的互连带宽。.
NVSwitch：超越直接GPU连接的扩展能力
NVSwitch 是 NVIDIA 的一项切换技术，用于支持的多 GPU 系统中，旨在为相连的加速器之间提供高带宽通信。.
这在专为大规模人工智能训练及其他通信密集型工作负载设计的系统中尤为重要。.
然而，基于 NVSwitch 的服务器与配备多张 PCIe 显卡的标准多 GPU 塔式或机架式服务器并不相同。.
NVSwitch 的支持取决于完整的系统架构，包括兼容的 GPU、交换硬件、软件以及平台配置。.
在订购八路GPU系统之前，请确认该系统采用的是纯PCIe连接、直接NVLink连接，还是NVSwitch架构。.
GPU拓扑结构：为什么四块GPU并不总是等效的
两台配备相同GPU型号和GPU数量的服务器，可能会因拓扑结构的不同而呈现出不同的性能表现。.
重要的拓扑特征包括：
- 哪些GPU具有直接的点对点连接？.
- 是否支持 NVLink 或 NVSwitch。.
- PCIe 代数和协商的链路带宽。.
- PCIe 交换机的布局与上游带宽。.
- CPU插槽和NUMA配置。.
- GPU与网络适配器之间的距离。.
- 支持点对点内存传输。.
在兼容的 NVIDIA 系统上，诸如 nvidia-smi topo -m 有助于检查报告中的 GPU 连接情况及相关关系。.
不过，在解读拓扑输出结果时，应结合服务器的硬件文档和实际通信基准测试结果一并考虑。.
多GPU训练：数据并行与模型并行
不同的并行化技术对GPU内存和互连带宽提出了不同的要求。.
数据并行
数据并行将训练数据分配给各个工作节点，这些节点通常维护模型副本或对选定的训练状态进行分区。.
通信要求取决于框架和策略，包括梯度与优化器状态的同步方式。.
数据并行处理可以借助多块GPU来提升性能，但扩展效率取决于通信开销、批处理大小和计算工作负载。.
张量并行
张量并行将某些模型计算任务分配到多块GPU上处理。.
由于参与计算的GPU可能会频繁交换中间张量，因此通信带宽和延迟就变得尤为重要。.
对于通信密集型张量并行工作负载，合适的高带宽 GPU 互连技术可能会带来显著效益。.
管道并行性
管道并行性将模型层或阶段分布到各个设备上。.
其性能取决于工作负载调度、各阶段之间的通信、流水线平衡以及可用的批处理大小。.
选择合适的并行化策略
没有一种并行化方法能对所有模型都最优。.
决策应基于框架支持、模型架构、GPU内存、网络拓扑以及预期吞吐量等因素。.
多GPU大型语言模型推理：内存容量与吞吐量
多GPU推理可以解决两个不同的问题：
- 型号容量： 当模型无法容纳在一块加速器上时，将其分布到多块GPU上。.
- 服务吞吐量： 运行多个副本或并行工作进程来处理更多请求。.
这些方法并不等同。.
分布在多个GPU上的模型在生成过程中可能需要进行通信，而独立的副本通常可以处理各自的请求，从而减少跨GPU的模型通信。.
对于能够部署在单个 GPU 上的模型，根据延迟和吞吐量目标的不同，部署多个副本可能比将一个模型拆分到多个 GPU 上更为简单。.
我们的 AI推理服务器托管指南 解释了VRAM、延迟、吞吐量和利用率如何影响生产环境部署。.
多GPU扩展效率：为何更多GPU并不能保证线性速度提升
可扩展性衡量的是，增加的GPU能多大程度上有效提升性能。.
一个简化的强标度效率公式是：
扩展效率 = 加速比 ÷ GPU 数量 × 100%
例如，假设某项工作负载在八个GPU上运行的速度比在一个GPU上快四倍。.
加速倍数为4倍，而可扩展性效率为：
4 ÷ 8 × 100% = 50%
这只是一个示例性计算，并非来自任何主机服务商的实际测量结果。.
是什么因素降低了多GPU的扩展效率？
- 通信和同步开销。.
- 工作负载并行度不足。.
- GPU内存带宽的限制。.
- CPU、存储或数据加载方面的瓶颈。.
- 各GPU之间的工作负载不均衡。.
- 互连拓扑与传输延迟。.
- 软件和框架的低效问题。.
使用您计划租用的确切GPU数量和拓扑结构，对目标应用程序进行基准测试。.
多GPU服务器托管服务商对比
多GPU基础设施可通过多种采购模式获得，包括专用GPU服务器、云GPU实例以及市场中的计算资源列表。.
以下供应商是值得评估的候选对象。将其列入清单并不意味着每家公司都提供相同的GPU数量、NVLink支持或NVSwitch系统。.
| 服务提供商 | 比较角色 | 需要核实的内容 |
|---|---|---|
| Cherry 服务器 | 专用GPU基础设施 | GPU数量、PCIe拓扑结构、互连选项 |
| RunPod | 云 GPU 实例 | 多GPU可用性、GPU型号、实例拓扑 |
| GPU Mart | 以GPU为核心的服务器托管服务 | 多GPU配置、显存、系统资源 |
| Vast.ai | GPU 计算市场 | 单个主机的GPU数量、拓扑结构和可用性 |
| ServerMania | 专用服务器基础设施 | 当前配备GPU的产品及定制选项 |
Cherry Servers：专用多GPU基础设施
Cherry 服务器 对于正在比较专用GPU服务器配置的组织而言，这是一个值得考虑的选择。.
在选择系统之前，请确认具体的 GPU 型号、可用加速器数量、PCIe 通道分配情况，以及是否配备 NVLink 或其他受支持的互连技术。.
对于持续性工作负载，还应审查 CPU 资源、系统内存、NVMe 存储、网络、资源配置条款以及硬件支持。.
RunPod：灵活的云端 GPU 算力
RunPod 可用于评估在人工智能开发、训练和推理过程中所使用的云端 GPU 资源。.
在选择多GPU实例时，请核实物理GPU的布局和可用的通信路径，不要假设每个带有多个GPU的实例都具有相同的拓扑结构。.
请检查计费、持久化存储、区域可用性以及所选的部署环境。.
请阅读我们的 RunPod GPU 云服务评测 以获取更多平台背景信息。.
GPU Mart：GPU 服务器配置评估
GPU Mart 在比较以GPU为核心的托管产品和服务器规格时，这一点值得关注。.
请确认所选产品是否在单台服务器内配备多块物理GPU、GPU的分配方式、可用的VRAM、CPU和RAM资源，以及支持的操作系统。.
请不要认为，分配多个虚拟 GPU 就能提供与多个直接连接的物理 GPU 相同的功能。.
Vast.ai：基于市场模式的多GPU计算
Vast.ai 提供类似市场平台风格的GPU计算服务列表。.
对于多GPU工作负载，应根据GPU数量、加速器型号、内存容量、主机特性、网络配置以及可用的拓扑信息，对各个列表进行评估。.
Marketplace 基础设施虽可用于实验，但应针对具体的商品信息和工作负载评估其是否适合生产环境。.
ServerMania：专用硬件与定制需求
ServerMania 在研究专用服务器基础设施和潜在的定制硬件配置时，可以考虑这一点。.
请确认目前是否有配备合适GPU的系统可用，包括所需的GPU数量和互连架构。.
传统的专用服务器并不自动配备多张GPU或支持NVLink。.
多GPU托管成本：配备八张GPU的服务器值得吗？
多GPU服务器的成本应根据其完成的有用工作量来评估。.
相关成本构成包括：
- GPU租赁或服务器合同费用。.
- CPU 和系统内存资源。.
- GPU互连与服务器平台配置。.
- NVMe 存储和持久卷。.
- 网络流量和带宽。.
- 软件许可与管理。.
- 闲置计算能力。.
- 作业失败、重试和运维开销。.
多GPU成本对比示例
假设存在两种处理相同工作负载的配置：
| 公制 | 4-GPU 服务器 | 8-GPU 服务器 |
|---|---|---|
| 每小时成本示例 | $4 | $8 |
| 工作完成时间的示例 | 4小时 | 2.5小时 |
| 纯计算任务的成本 | $16 | $20 |
在此示例中，8张GPU的配置虽然能更快地完成任务，但每完成一项任务的成本更高。.
这些数据仅为假设，并不代表实际服务提供商的定价或基准。.
最佳选择取决于缩短工期是否值得为此承担额外成本。.
每项完成工作的成本
一个有用的公式是：
单个作业的计算成本 = 可计费计算单价 × 作业时长
对于连续生产，在计算总成本时，应将闲置产能、仓储、网络费用和管理费用纳入其中。.
PCIe 与 NVLink：该选择哪一种？
只有当工作负载能从中受益时，为更高带宽的 GPU 互连技术付费才有意义。.
在以下情况下，不妨考虑评估 NVLink 或 NVSwitch：
- 该模型分布在多块GPU上。.
- 张量并行会频繁引发GPU与GPU之间的通信。.
- 培训工作量需要进行大量协调。.
- 通信开销限制了扩展效率。.
在以下情况下，仅支持 PCIe 的系统可能就足够了：
- GPU 处理独立的渲染任务。.
- 单独的推理副本负责处理独立的请求。.
- GPU 与 GPU 之间的数据交换受到限制。.
- 该应用程序在数据传输之间会进行大量的本地计算。.
不要仅仅因为服务器规格中提到了 NVLink 就为此多付费用。请确认软件能否有效利用该互连技术。.
多GPU服务器选购清单
- 定义工作负载： 训练、推理、渲染或科学计算。.
- 确认GPU数量： 确定实际上需要两块、四块还是八块GPU。.
- 检查 GPU 显存： 验证每块 GPU 的内存容量以及模型分区要求。.
- 检查拓扑结构： 确认对 PCIe 代数、链路带宽、NVLink 以及 NVSwitch 的支持情况。.
- 评估 CPU 和内存： 避免主机端的瓶颈。.
- 检查软件支持： 验证 CUDA、驱动程序、通信库和框架。.
- 基准测试缩放： 在具有代表性的工作负载上衡量性能。.
- 回顾人际网络： 特别是对于多节点分布式系统而言。.
- 计算总成本： 比较每项完成工作的成本或有效产出。.
- 核实合同条款： 检查服务配置、可用性、支持服务和计费情况。.
如需了解更多GPU硬件采购选项，请浏览我们的 NVIDIA GPU服务器供应商对比.
常见问题解答
什么是多GPU服务器托管？
多GPU托管服务可提供配备多块GPU的服务器或计算环境，适用于需要额外加速器算力或分布式处理的工作负载。.
NVLink 比 PCIe 更快吗？
支持的 NVLink 配置可提供比某些 PCIe 配置更高的 GPU 间通信带宽。实际性能取决于 GPU 代数、拓扑结构、传输模式以及应用程序的行为。.
所有 NVIDIA GPU 都支持 NVLink 吗？
不。NVLink 的可用性因 GPU 型号、代数和系统架构而异。.
多块 GPU 能否合并其显存？
多张 GPU 提供独立的内存资源。支持该功能的软件可以在这些 GPU 之间分配模型和数据，但这些内存不会自动成为所有应用程序都能透明访问的共享内存池。.
八块GPU的性能是否是单块的八倍？
不一定。可扩展性取决于并行度、通信开销、工作负载规模以及系统配置。.
LLM推理是否必须使用NVLink？
不。某些推理工作负载在通过PCIe连接的GPU上运行效果良好，尤其是独立的模型副本。通信密集型的模型并行计算可能受益于更高带宽的互连技术。.
NVLink 和 NVSwitch 之间有什么区别？
NVLink 是一种 GPU 通信互连技术，而 NVSwitch 则是一种交换技术，用于在支持该技术的系统中通过高带宽互连架构连接多个加速器。.
我应该租用一台多GPU服务器，还是几台GPU服务器？
一台服务器可以简化某些紧密耦合的工作负载，而多台服务器则可能更适合独立任务或分布式架构。请比较网络通信、故障处理、软件支持以及总成本。.
最终结论：根据扩展效率选购多GPU配置
最好的 多GPU服务器托管 配置未必是GPU数量最多或互连技术最昂贵的那种。.
首先考虑工作负载对内存、计算和通信的需求。然后比较 PCIe 拓扑、NVLink 或 NVSwitch 的可用性、GPU 扩展效率，以及完成实际任务的成本。.
在选择合适的GPU服务器配置时，Cherry Servers和GPU Mart是值得考虑的候选方案，而RunPod和Vast.ai则提供了基于云或市场平台的GPU计算选项。在调研当前专用GPU硬件的供应情况时，ServerMania也是值得考虑的选择。.
购买前，请确认确切的服务器拓扑结构、支持的 GPU 通信功能、软件兼容性以及总运营成本。.
工作负载 → GPU 数量 → VRAM → PCIe / NVLINK → 拓扑结构 → 扩展效率 → 每项任务成本
选择一种能够提供可衡量应用性能的配置，而不是为未使用的 GPU 算力付费。.
