训练大型神经网络排放28.4万吨CO₂,相当于5辆车全寿命排放
AI近期进展开启大规模网络海量数据训练新纪元,在基础NLP任务上大幅提升准确率。最耗资源的模型得分最高,但训练需巨大计算资源和能源。马萨诸塞大学阿默斯特分校研究人员发表论文,通过大型神经网络训练全生命周期评估,量化AI模型碳排放。
十年前NLP模型可在普通服务器或笔记本开发训练,现在高精度模型需多实例TPU/GPU。架构和超参数实验进一步推高硬件成本。为硬件供电数周对环境影响巨大。虽部分能源来自可再生能源,但受限于现有发电储能技术,大多数地区缺乏碳中和能源设施。
NLP模型训练碳排放
研究表征训练大型神经网络的碳排放和成本。估算开发调优主流NLP模型所需千瓦能耗,换算为电力成本和碳排放。结果显示,开发优化大型NLP流水线可排放284,000公斤二氧化碳,相当于5辆普通汽车全寿命排放(含制造过程)。
NLP模型预估CO₂排放与其他熟悉消费对比
参考文献:arXiv:1906.02243
财务和环境成本随模型规模成比例增长,但加入调优函数(神经架构搜索)通过密集试错迭代调整网络设计,成本呈爆炸式增长,性能提升却微乎其微。AI领域持续趋势下,这类研究意义重大。许多AI研究机构忽视效率,因海量数据训练的网络在各任务中实用。虽存在计算高效算法,但因与TensorFlow、PyTorch等主流深度学习框架不兼容,极少用于优化NLP模型。研究者呼吁开展此类研究,提高对资源大量使用的认知,推动审慎实践和政策。
延伸阅读:人造树叶可减少大气二氧化碳
工业技术