NVIDIA A100 与 H100 对比：AI 训练、推理、性能与成本对比

NVIDIA A100 和 H100 是目前在人工智能、机器学习、大型语言模型以及高性能计算领域最广为人知的数据中心 GPU 中的两款。.

但他们属于不同的世代。.

A100 基于 NVIDIA 的 Ampere 架构，而 H100 则采用了更新的 Hopper 架构，配备了第四代 Tensor 核心、Transformer Engine 以及专门为日益庞大的 AI 模型设计的 FP8 支持。.

这并不意味着所有工作负载都应自动迁移到 H100 上。.

A100 GPU 实例的租赁价格通常更低，而 80GB 版本依然能够胜任要求苛刻的 AI 和 HPC 工作负载。.

在这篇 NVIDIA A100 与 H100 对比 为了进行比较，我们将考察 AI 训练、推理、VRAM、内存带宽、Transformer Engine、功耗、多 GPU 扩展性、云服务定价以及总工作负载成本。.

NVIDIA A100 与 H100：快速对比

什么是 NVIDIA A100？

NVIDIA A100 是一款安培架构的数据中心 GPU，专为人工智能训练、推理、数据分析和高性能计算（HPC）而设计。.

它是推动现代人工智能基础设施扩展最重要的加速器之一，目前仍可通过GPU云服务和服务器提供商广泛获取。.

A100 提供多种配置，包括 40GB 和 80GB 型号。.

A100 80GB 采用 HBM2e 内存，在 SXM 配置下可提供超过 2TB/s 的内存带宽。.

A100 还支持多实例 GPU 技术，可将一个物理加速器划分为多个相互隔离的 GPU 实例。.

对于不需要Hopper最新功能的组织而言，A100仍能以可能更低的租赁价格提供强大的AI计算能力。.

什么是 NVIDIA H100？

NVIDIA H100 是 A100 的 Hopper 世代继任者。.

Hopper 的设计旨在应对日益严苛的人工智能工作负载，包括大型 Transformer 模型和生成式人工智能。.

H100的重要技术包括：

• 第四代张量核心
• Transformer Engine
• FP8 支持
• 更高的AI计算吞吐量
• 更高的内存带宽
• 增强的 NVLink 连接性
• 多实例 GPU
• 针对特定HPC工作负载的DPX使用说明

Transformer Engine 之所以尤为重要，是因为它能够在满足模型精度要求的同时，针对受支持的 Transformer 工作负载动态使用 FP8 等低精度格式。.

A100 → Ampere AI 加速器

H100 → Hopper AI 加速器 + Transformer 引擎

A100 与 H100：架构比名称更重要

从 A100 升级到 H100 的变化，远不止是简单地增加 GPU 内存那么简单。.

H100 引入了专门针对现代基于变压器的 AI 设计的架构改进。.

这对以下类型的工作负载至关重要：

• 大型语言模型的训练
• LLM推理
• 生成式人工智能
• 推荐系统
• 自然语言处理
• 大规模深度学习

不过，应用程序必须真正能够从这些功能中获益。.

对于较旧或计算需求较低的工作负载，仅靠迁移到 H100 并不能自动获得最大的性能优势。.

A100 与 H100 的 AI 性能对比

H100 的人工智能性能远高于 A100，但并没有一个单一的倍数能准确反映所有工作负载的情况。.

性能取决于：

• 模型架构
• 精度
• 批次大小
• 框架
• 序列长度
• GPU数量
• 软件优化
• 互连

NVIDIA的MLPerf测试结果表明，在选定的训练和推理工作负载上，H100相较于A100取得了显著提升。.

但正确的采购问题并不是：

H100 的速度到底快了多少？

它是：

在我的工作负载上，H100 的运行速度能提升多少？

在哪里可以租用 A100 和 H100 GPU

对于许多开发者、人工智能初创企业、研究人员和小型企业而言，租用GPU基础设施比购买A100或H100硬件更为明智。.

诸如以下GPU平台： RunPod 以及 Vast.ai 在比较按需 GPU 计算时非常有用，而 数据库集市 也可用于评估运行时间较长的 GPU 服务器需求。.

GPU 的库存和价格变化频繁，因此在部署前请务必对比具体型号的 A100 或 H100 配置。.

此外，还应比较 CPU、系统内存、NVMe 存储、网络、GPU 互连、地理位置和计费模式。.

仅靠GPU型号 ≠ 完整的AI服务器性能。.

A100 与 H100 在 AI 训练中的对比

培训是选择H100的最有力理由之一。.

大型Transformer模型可以利用Hopper的Transformer Engine和FP8功能来提高吞吐量。.

更高的吞吐量有望减少：

• 培训时间
• GPU 运行时长
• 集群占用率
• 是时候尝试一下了
• 投产时间

A100 依然能够胜任高强度的训练任务，尤其是当其较低的租赁价格能够弥补更长的运行时间时。.

因此，应比较完成训练任务的总成本，而不仅仅是GPU的每小时价格。.

A100 与 H100 在大语言模型推理中的对比

H100 是专为变压器时代设计的，在大型语言模型推理方面表现尤为出色。.

Transformer Engine、FP8、更高的计算性能以及更快的内存，可为适合的推理工作负载带来显著优势。.

但 A100 在以下方面仍然很有用：

• 较小的语言模型
• 量化模型
• 低量级推理
• 批处理
• 开发环境
• 注重成本的部署

对于需要处理极高推理量的生产服务而言，如果更高的吞吐量能减少所需的GPU数量，那么为H100支付更高费用可能是合理的。.

A100 与 H100 的显存对比

VRAM 对现代人工智能至关重要，因为模型权重、激活值、键值对缓存以及其他数据都必须容纳在 GPU 内存中。.

A100 配置包括 40GB 和 80GB 两种型号。.

在高性能服务器配置中，H100 通常也配备 80GB 容量。.

因此，从 A100 80GB 升级到 H100 80GB，主要目的并非将存储容量翻倍。.

主要涉及架构、计算能力、内存带宽、Transformer Engine 以及最新的 AI 功能。.

对于主要要求每块 GPU 处理量远超 80GB 的工作负载，请另参阅我们的
NVIDIA H100 与 H200 对比.

A100 与 H100 的内存带宽对比

A100 80GB SXM 提供约 2TB/s 的内存带宽。.

在高性能配置下，H100 显著提升了可用内存带宽。.

这一点很重要，因为AI的性能可能会受到数据在GPU内存与计算资源之间传输速度的限制。.

计算密集型 → 张量性能至关重要

内存受限 → 内存带宽至关重要

在选择更昂贵的加速器之前，先测定实际的瓶颈所在。.

为什么FP8改变了比较结果

FP8 是 H100 在现代人工智能领域最重要的优势之一。.

在模型和软件栈提供适当支持的情况下，降低数值精度可以减少内存需求并提高人工智能的吞吐量。.

Hopper 的 Transformer Engine 旨在自动管理变压器工作负载的精度。.

这就是为什么在某些生成式人工智能工作负载中，即使这两款GPU的VRAM容量相近，H100仍能比A100取得显著优势的原因之一。.

A100 与 H100 在微调方面的对比

对于训练吞吐量至关重要的大规模微调任务而言，H100 极具吸引力。.

然而，LoRA 和 QLoRA 等技术可以显著降低对 GPU 资源的需求。.

对于许多规模较小的微调项目而言，A100 可能已经能够提供足够的性能。.

一个合理的决策过程是：

模型 → 微调方法 → VRAM → 运行时间 → GPU 价格 → 任务总成本。.

A100 与 H100 在高性能计算（HPC）领域的对比

这两款GPU的设计用途不仅限于生成式人工智能。.

A100 依然是一款性能强劲的高性能计算（HPC）加速器，具备 FP64 张量核心功能和较高的内存带宽。.

H100 提升了双精度张量核心的性能，并引入了 DPX 指令，可加速特定的动态规划算法。.

因此，H100 可能为适当的科学和工程应用带来显著益处。.

但HPC工作负载差异极大，因此针对具体应用程序的基准测试仍然至关重要。.

A100 与 H100 的多 GPU 扩展性对比

大型人工智能工作负载通常会使用多块GPU。.

在这种环境下，GPU性能只是系统中的一个组成部分。.

另请参阅：

• NVLink
• NVSwitch
• InfiniBand
• 以太网结构
• CPU
• 系统内存
• NVMe 存储
• 节点架构

如果通过网络连接不佳的强大 H100 集群，可能会浪费昂贵的 GPU 算力。.

高速 GPU + 低速互连 = 昂贵的瓶颈。.

A100 与 H100 的功耗对比

性能更高的 H100 配置的功耗可能比 A100 配置更高。.

然而，仅凭TDP并不能决定能效。.

即使 H100 完成训练或推理工作负载的速度快得多，每完成一个任务的总能耗仍可能具有竞争力，甚至更低。.

有用的指标是：

每瓦性能

最终：

每项已完成工作负载的能耗。.

A100 与 H100 GPU 云服务定价

A100 属于较早一代的 GPU，其每小时租赁价格通常比 H100 更低。.

但这并不意味着它就一定更便宜。.

请考虑：

A100 每小时价格 × GPU 数量 × 运行时间

对比：

H100 每小时价格 × GPU 数量 × 运行时间

如果 H100 能显著缩短运行时间或减少 GPU 数量，那么即使其每小时费率较高，总工作负载成本仍可能更低。.

反之，如果该工作负载无法从Hopper中获得显著收益，那么A100能提供更优的性价比。.

不要仅比较每GPU每小时$

按小时计费对制定预算很有帮助，但这并不是最终的衡量标准。.

在训练中，请计算：

总训练成本 = GPU 单价 × GPU 数量 × 训练时间

关于推理，请考虑：

每个代币/每次请求/吞吐量目标成本

对于批处理 AI：

每项完成工作的成本

最便宜的GPU小时费率并不一定意味着最便宜的AI工作负载。.

何时A100是更佳的选择

• 您更看重较低的租金
• 您的模型可容纳在可用的 A100 显存中
• 您的工作负载不需要 FP8
• 您运行的是规模较小或已成熟的人工智能模型
• 你需要一个价格实惠的开发环境
• 训练速度并不是主要制约因素
• A100 可降低总工作负载成本

不应仅仅因为H100更新，就忽视A100。.

对于合适的工作负载和价格而言，它仍然是一款实用的AI加速器。.

何时H100是更佳的选择

• 你训练大型Transformer模型
• 你需要 FP8 和 Transformer Engine
• 您需要更高的AI吞吐量
• 您正在运行大规模的LLM推理任务
• 培训成本很高
• 您需要更强大的多GPU AI性能
• 更高的吞吐量抵消了租金溢价

应该从 A100 升级到 H100 吗？

不要仅仅因为H100更新而升级。.

首先对您当前的工作负载进行基准测试。.

度量：

• GPU利用率
• VRAM利用率
• 培训吞吐量
• 推理吞吐量
• 内存带宽利用率
• GPU通信
• 每秒代币数
• 任务完成时间
• GPU总成本

然后在 H100 上测试相同的工作负载。.

当性能提升能为整体工作负载经济性带来可量化的改善时，此次迁移在财务上就具有合理性。.

A100 与 H100：优缺点对比

租用 A100 或 H100 之前应考虑的问题

• 你会运行哪个模型？
• 它需要多少VRAM？
• 该工作负载能否使用FP8？
• 它是否采用了Transformer Engine技术？
• 该工作负载是计算密集型还是内存密集型？
• 需要多少个GPU？
• 提供了哪种规格的GPU？
• 是否支持 NVLink？
• 系统自带多少内存？
• 包含哪些 NVMe 存储设备？
• 可用的网络带宽是多少？
• 这块显卡是独立显卡吗？
• 每小时的租金是多少？
• 这项工作需要多长时间？
• 总工作量成本是多少？

NVIDIA A100 与 H100 对比：该选择哪款 GPU？

NVIDIA A100 依然是一款功能强大的数据中心 GPU，适用于 AI 训练、推理、高性能计算（HPC）、开发以及对成本敏感的工作负载。.

NVIDIA H100 标志着架构上的重大飞跃，特别是对于基于变压器的 AI 而言。.

其Hopper架构、Transformer Engine、FP8运算能力、更高的计算吞吐量以及更快的内存系统，使其在大型语言模型训练和高吞吐量推理方面具有特别的吸引力。.

但更新款并不一定就意味着性价比更高。.

如果 A100 能够以大幅更低的租赁费率高效完成您的工作负载，那么就没有太多理由为 H100 支付额外费用了。.

如果 H100 能大幅缩短训练时间、提高推理吞吐量或减少所需的 GPU 数量，那么这款价格更高的 GPU 反而可能成为更经济的基础设施。.

请勿根据 GPU 名称进行选择。.

请按照以下决策路径操作：

模型 → 精度 → 显存 → 计算 → 带宽 → GPU 数量 → 运行时间 → GPU 价格 → 总工作负载成本。.

最好的 GPU 未必是每小时价格最低或基准测试成绩最高的那个。而是能够以您的项目所需的性能、可用性和总成本，完成您实际 AI 工作负载的 GPU。.