Neoclouds 解析:为什么 AI 需要 GPU 聚焦的云计算
AI 工作负载正在几乎所有行业成为主流。但随着 AI 需求增长,基础设施压力也随之增加。不幸的是,获取高性能计算的传统选项正在失效,导致企业寻求替代方案。一些企业转向 neoclouds(新云),一种以 GPU 为中心的新型计算服务提供商。
这些新提供商因计算范式转变而受关注;其特征是对 GPU 进行 AI 的日益依赖。虽然 GPU 非常适合处理 AI 训练和推理的并行处理需求,但它们以昂贵且供应短缺著称。高端 GPU 可花费数万美元,前提是公司能买到。采购周期漫长、交货时间不可预测,企业 IT 团队经常难以获取足够容量满足需求。
超大规模云提供商,如 AWS、Google Cloud 和 Azure,通过提供 GPU 实例和 GPU-as-a-Service 试图填补空白。对许多组织,此模式有效,但仅到一定程度。
基于云的 GPU 实例提供灵活性、可扩展性和快速部署。但随使用增长,账单也随之增长。按需付费模式在规模下迅速变得成本高昂,特别是对于大语言模型(LLM)训练、微调或企业应用实时推理等持续工作负载。
结果,许多组织发现自己夹在岩石(稀缺昂贵的本地基础设施)和硬地(高昂公有云 GPU 成本)之间。
Neoclouds 登场
在此环境下,新类别计算提供商正在涌现:neocloud 提供商。Neocloud 基础设施提供商提供高性能计算,高度聚焦 GPU,以更实惠价格(至少据他们称)。他们通过利用非传统起源、新经济模型和不同基础设施策略实现这一点。
例如,一些 neoclouds 根源可追溯至加密货币挖矿。过去十年加密货币繁荣期间,全球数千矿工建立配备针对挖矿操作优化的 GPU 服务器的数据中心。随着加密货币市场降温、挖矿利润下降,这些运营商发现自己拥有大量闲置 GPU 容量。与其让硬件在仓库折旧,一些人将设备重新用于 AI 工作负载,从而诞生了 neocloud。
该领域其他是专门构建的初创公司,看准机会通过优化价格性能和绕过传统云运营开销,提供比超大规模更具成本效益的替代方案。一些基于开源软件栈构建并入驻低成本数据中心;其他聚合去中心化网络中的闲置 GPU 容量,形成一种“GPU 现货市场”,企业可以更低成本接入。
Neoclouds 模式的优势
对于寻求 AI 算力但不想付高昂成本的企业,neocloud 提供商声称能交付多项优势,包括:
更低的每 GPU 小时成本:Neoclouds 通常对可比 GPU 实例收取超大规模提供商一小部分费用。他们声称精益运营模式和硬件复用策略转化为真实节省。
专用访问:许多情况下,neocloud 提供商提供 GPU 专用裸金属访问,减少争用并确保可预测性能。
快速可用性:凭借灵活采购和供应流程,neocloud 提供商声称通常能比传统供应商快得多交付容量,帮助团队无延迟迭代和部署 AI 模型。
去中心化和弹性:一些 neoclouds 采用分布式模式,从地理多样数据中心或独立运营商网络获取算力。
可持续性:重新利用现有硬件,特别是来自加密货币行业的,减少电子垃圾并促进更可持续 IT 实践。一些新云还在可再生能源供电设施驻留,进一步降低碳足迹。
另请参阅: GPU 市场转变:利用加密货币挖矿衰退
GPU-as-a-Service,重新构想
核心上,neoclouds 代表 GPU-as-a-Service 模式的新诠释。被视为 neocloud 提供商的公司包括 CoreWeave、Crusoe、Lambda Labs、Nebius、Vast.ai 等。
它们较少关注将 GPU 与专有服务捆绑,更有兴趣以使大规模 AI 对更多企业可行的价格点交付原始高性能计算。
通过民主化获取负担得起的 GPU,neocloud 提供商相信能降低构建或扩展 AI 应用公司的准入门槛。小型初创公司可在不烧光种子资金的情况下训练定制模型。企业可在不放弃控制权或超支的情况下在专有数据上微调 LLM。研究机构可在不受预算约束限制的情况下运行模拟和实验。
尽管有这些优势,neocloud 提供商在可预见未来仍可能与超大规模在 GPU-as-a-Service 市场竞争。据 Fortune Business Insights,该市场 2023 年估值 32.3 亿美元,预计到 2032 年将增至 498.4 亿美元,复合增长率 36%。(该估计包括超大规模和 neoclouds。)
结语
AI 的计算需求持续增长。Neocloud 提供商是新一代 AI 聚焦云基础设施提供商,旨在满足这些需求。它们通过专注于优化 GPU 可用性、灵活定价和针对 AI/ML 工作负载的专业性能等关键特性,与传统超大规模(如 AWS、Azure、GCP)区分开来。
云计算