租用高性能 GPU 进行 AI 实验成本可能很高，尤其是当模型训练需要连续计算数小时时。可中断的 GPU 租赁服务虽然价格较低，但这种节省伴随着一个重要的权衡：您的工作负载可能会在完成之前被中断。.
Vast.ai 按需租用 GPU 通过竞价系统提供对市场硬件的访问权限。开发者无需购买实体加速器，即可对机器学习模型进行实验、运行批量推理并微调神经网络。.
然而，广告中标注的最低GPU单价并不一定意味着这是完成实验的最经济方式。任务中断、检查点丢失、重复配置以及持续的存储费用都可能对经济性产生重大影响。.
本文介绍了 Vast.ai 可中断实例的工作原理、如何保护训练进度，以及在何种情况下其他 GPU 托管方案可能更具性价比。.
编者注：GXCOM.NET 对已发布的平台文档及实际基础设施方面的考量进行了评估。我们并未对 Vast.ai 的中断频率、主机可靠性或 GPU 性能进行独立基准测试。.
Vast.ai Spot GPU 租赁服务如何运作
Vast.ai 运营着一个市场平台，独立基础设施提供商在此提供 GPU 算力。可选资源在 GPU 型号、显存、CPU 资源、存储、网络、地理位置和可靠性等方面可能有所不同。.
其可中断租赁模式采用竞价机制，而非统一的现货价格。客户指定其愿意支付的价格，而相互竞争的需求则决定了哪个实例将获得优先权。.
当另一位客户提交更高的出价或按需租用资源时，可中断实例可能会被暂停。此时，正在运行的进程将停止，工作负载必须稍后重新启动或恢复。.
与计划内的维护窗口不同，中断的时间难以预测。因此，按需租赁最适合那些能够容忍暂停且无需大量人工干预即可恢复的任务。.
竞价型与按需型 GPU 实例
Vast.ai 还提供优先级更高的按需租赁服务。当可预测的执行至关重要时，这类服务通常更为合适，尽管基础设施故障和其他运营风险仍可能发生。.
可中断实例虽可提供可观的折扣，但实际节省的费用取决于市场状况以及任务能否成功完成。.
例如，一个简短的图像分类实验在中断后通常能轻松恢复。而一个从未保存中间进度结果的长时间训练过程，可能会导致数小时的计算成果付诸东流。.
出价前，请比较GPU规格、主机可靠性指标、存储费用、网络费用以及剩余租赁期限。.
我们的 经济实惠的GPU服务器指南 介绍了租赁和购买方面的其他注意事项。.
当 GPU 实例被中断时会发生什么？
当一个可中断的 Vast.ai 实例失去优先级时，其正在运行的进程将被终止。此前写入实例磁盘的数据在实例存在期间可能仍然可用，但仅保存在内存中的数据将会丢失。.
无法保证能立即获得相同的 GPU 算力。等待原始实例恢复运行可能会导致实验大幅延迟。.
因此，开发人员应将以下三类数据区分开来：
- 可重现文件： 容器镜像、脚本和可下载的模型权重。.
- 可恢复的训练状态： 检查点、优化器状态和调度器信息。.
- 不可替代的输出： 已完成的模型、实验结果和有价值的数据集。.
在可行的情况下，请将关键输出存储在租用的机器之外。仅依靠本地持久化并不足以防范主机问题、数据删除或合同到期带来的风险。.
检查点机制：可靠点式训练的关键
检查点功能可保存训练进度，因此中断的工作负载无需从头开始即可继续进行。.
对于 PyTorch 及类似框架，一个有用的检查点可能包含模型权重、优化器状态、学习率调度器状态、全局训练步数以及相关的随机数生成器状态。.
仅保存模型权重对于推理或某些适配器工作流而言可能已足够，但可能无法准确再现原始的训练轨迹。.
选择检查点间隔
频繁的检查点可以减少潜在的计算损失，但会消耗存储和I/O资源。不频繁的检查点虽然能提高不间断吞吐量，但会增加恢复风险。.
一个切实可行的起点是估算团队能够承受多少重复工作，然后选择一个能将预期损失控制在可接受范围内的间隔。.
对于较长的训练跑，应测量检查点记录时间，并根据观察到的中断模式调整记录频率，而不是假设某个时间间隔对所有情况都适用。.
外部存储与恢复测试
将重要的检查点上传到独立的对象存储或其他可靠的目标位置。使用带版本号的文件名或原子性保存流程，以避免将不完整的文件误认为有效的恢复点。.
在启动一项耗资巨大的实验之前，请先测试恢复功能。只有当模型、依赖项、配置和所需数据都能成功重建时，检查点才有用。.
有关相关的 GPU 内存规划，请参阅我们的 NVIDIA GPU服务器供应商对比.
中断后的自动恢复
手动重启会抵消低成本计算所带来的大部分经济优势。更优的工作流应采用可重复使用的容器环境、启动脚本以及自动检查点发现机制。.
Vast.ai 记录了实例启动时可执行的启动命令。开发人员可以利用此机制重新安装所需的依赖项、查找最新的有效检查点，并恢复训练脚本的执行。.
恢复自动化还应在重启前验证可用的 GPU 内存、存储挂载、数据集完整性以及框架兼容性。.
记录每次中断和重启。这些记录有助于查明低价投标是否导致了过长的延误或反复的故障。.
计算现货GPU租赁的实际成本
最重要的指标是 每次成功实验的成本, ，而不是显示的每小时GPU费率。.
一个实用的公式是：
总成本 = 可计费的 GPU 运行时间 + 存储 + 数据传输 + 恢复开销
假设一款假想的可中断GPU每小时费用为$0.40。一个需要十个有效训练小时的训练任务，在无中断的情况下，其计算成本为$4。.
如果中断和恢复导致可计费运行时间增加至十五小时，计算费用将升至$6。额外的存储和传输费用会进一步推高总费用。.
这些数据仅供参考，并非 Vast.ai 的当前定价或实际中断统计数据。.
暂停期间仍需支付仓储费用
Vast.ai 会分别对 GPU 计算、存储和带宽收取费用。即使实例处于停止状态，存储费用仍会继续产生，因此如果无限期等待低优先级实例恢复，仍可能产生费用。.
删除不再需要的资源，但请先导出重要数据。请查看当前的刊登和计费规则，因为不同市场平台的价格可能有所不同。.
时间是有经济成本的
实验延迟可能会推迟产品测试、模型评估或客户交付。即使GPU费用较低，业务结果也可能更差。.
各团队应设定可接受的最长完成时间，当延迟超过该限值时，应将资源调配至优先级更高的任务。.
选择合适的GPU和市场平台
选择GPU时，应从工作负载出发，而不是只看价格最低的选项。.
请检查显存容量、GPU 代数、CUDA 兼容性、可用系统内存、CPU 资源、磁盘性能以及网络传输要求。.
主机可靠性指标提供了有用的背景信息，但无法保证可中断租赁服务始终可用。.
对于敏感数据集，应仔细审查市场平台的托管模式。避免将机密信息放置在缺乏适当安全控制措施、合同保障以及经过验证的数据处理安排的基础设施上。.
适用于人工智能实验的 Vast.ai 替代方案
RunPod：基于容器的 GPU 工作流
RunPod 提供用于机器学习实验和模型微调的 GPU Pod。其面向容器的环境和网络卷选项，可简化需要可重用数据集和检查点的工作流。.
不过，停止一个 Pod 可能会释放其 GPU 资源分配。开发人员在部署前应了解相关的存储和重启行为。.
GPU Mart：专用GPU算力
GPU Mart 当实验演变为能够从专用 GPU 资源中获益的持续性工作负载时，值得对此进行评估。.
将硬件规格、存储容量、操作系统支持以及租赁承诺与实际的GPU利用率进行对比。.
Cherry Servers：适用于可预测工作负载的裸机服务器
Cherry 服务器 为需要更强硬件控制权和可预测容量的团队提供专用基础设施。.
其“裸金属”方案可能适用于长期运行的训练或推理任务，但需考虑管理责任和固定的基础设施成本。.
探索我们的 AI GPU VPS 服务商指南 以及 裸机服务器提供商对比 以获取更多选择。.
哪些用户适合使用 Vast.ai 的可中断 GPU？
Vast.ai 的可中断租赁服务最适合运行具有灵活截止时间且具备容错能力的工作负载的研究人员、开发人员和实验团队。.
合适的候选方案包括：带检查点的模型微调、批量处理、可重现的基准测试以及非紧急实验。.
它们不太适合实时客户应用、对时限要求严格的培训，或者无法可靠恢复的任务。.
最终裁决
Vast.ai 按次租用 GPU 服务 当工作负载的设计考虑了中断和恢复的情况时，可以降低 AI 实验成本。.
该平台的市场模式虽然具有灵活性，但买家必须考虑到竞价竞争、托管方之间的差异、持久存储费用以及可能出现的延迟完成情况。.
对于可恢复的实验，请选择可中断容量。对于替代性的 GPU 工作流，可考虑使用 RunPod，或者进行比较 GPU Mart 当持续的专用容量比尽可能低的租赁费率更为重要时，可选择 Cherry Servers。.
常见问题解答
Vast.ai 的 Spot 实例会突然停止运行吗？
是的。更高的出价或竞争性的按需租赁可能会中断实例，从而停止其正在运行的进程。.
中断的 Vast.ai 实例会丢失所有文件吗？
不一定。写入持久化实例存储的文件在实例存在期间可能会保留，但仅存储在内存中的进度会丢失。外部备份仍然很重要。.
Vast.ai 会对已停止的实例收费吗？
即使实例处于已停止状态，存储费用仍可能继续产生。请查看当前的计费规则，并在导出必要数据后删除未使用的资源。.
现货GPU适合用于生产环境中的AI服务吗？
通常情况下，它们更适合用于具有容错能力的后台工作负载。对于需要可预测可用性的生产服务，应优先采用更可靠的容量配置方案。.
