训练一个可以排放 284,000 千克二氧化碳的大型神经网络
- 开发和优化大型神经网络可以排放多达 284,000 公斤的二氧化碳。
- 这相当于普通汽车生命周期排放量的 5 倍。
人工智能 (AI) 领域的最新进展迎来了一个基于海量数据训练的大型网络的新时代。这些网络在几个基本的自然语言处理 (NLP) 任务中具有显着的准确性改进。
尤其是最需要资源的模型获得了最高分。然而，训练这样的模型需要大量的计算资源，需要大量的能量。
最近，马萨诸塞大学阿默斯特分校的研究人员发表了一篇论文，他们通过对训练大型神经网络进行生命周期评估来描述 AI 模型的二氧化碳排放量。
十年前，可以在传统服务器或笔记本电脑上开发和训练 NLP 模型，但现在已不再如此。如今，高精度模型需要多个 TPU（张量处理单元）或 GPU 实例。模型架构和超参数的研究和实验进一步提高了硬件成本。
为此类硬件供电数周会对环境产生重大影响。尽管这种能源的一部分来自可再生能源，但仅限于我们目前必须使用的技术来产生和储存它。事实上，大多数地方确实有足够的设施从碳中性来源获取能源。
训练 NLP 模型的碳排放
在这项研究中，研究人员描述了训练大型神经网络所产生的碳排放和成本。他们估计了开发和调整流行的 NLP 模型需要多少千瓦的能量。然后他们将其转换为近似的电力成本和碳排放量。
估计来自 NLP 模型的二氧化碳排放量与其他熟悉的消耗量相比
研究结果表明，开发和优化大型 NLP 管道可以排放 284,000 公斤二氧化碳，相当于一辆普通汽车（包括其制造过程）的生命周期排放量的 5 倍。
参考：arXiv:1906.02243
财务和环境成本都与 AI 模型的大小成正比。但是，一旦您添加了调整功能以进一步提高模型的准确性，相关成本就会激增。
更具体地说，调整功能（也称为神经架构搜索）——通过密集的反复试验反复调整网络的设计——导致成本极高，而性能提升很小。
考虑到人工智能领域的持续发展趋势，这项研究的意义是巨大的。许多 AI 研究机构忽视了效率，因为在大量数据上训练的网络模型被发现在各种任务中都很有用。
阅读：人造树叶可以减少大气中的二氧化碳
虽然存在计算效率高的算法，但由于它们与最常见的深度学习框架（如 TensorFlow 和 PyTorch）不兼容，因此它们在实践中很少用于优化 NLP 模型。
研究人员认为，应开展此类研究，以提高对资源广泛使用的认识，并促进谨慎的实践和政策。
工业技术