亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Manufacturing Technology >> 工业技术

训练大型神经网络排放28.4万吨CO₂,相当于5辆车全寿命排放

AI近期进展开启大规模网络海量数据训练新纪元,在基础NLP任务上大幅提升准确率。最耗资源的模型得分最高,但训练需巨大计算资源和能源。马萨诸塞大学阿默斯特分校研究人员发表论文,通过大型神经网络训练全生命周期评估,量化AI模型碳排放。

十年前NLP模型可在普通服务器或笔记本开发训练,现在高精度模型需多实例TPU/GPU。架构和超参数实验进一步推高硬件成本。为硬件供电数周对环境影响巨大。虽部分能源来自可再生能源,但受限于现有发电储能技术,大多数地区缺乏碳中和能源设施。

NLP模型训练碳排放

研究表征训练大型神经网络的碳排放和成本。估算开发调优主流NLP模型所需千瓦能耗,换算为电力成本和碳排放。结果显示,开发优化大型NLP流水线可排放284,000公斤二氧化碳,相当于5辆普通汽车全寿命排放(含制造过程)。

NLP模型预估CO₂排放与其他熟悉消费对比

参考文献:arXiv:1906.02243

财务和环境成本随模型规模成比例增长,但加入调优函数(神经架构搜索)通过密集试错迭代调整网络设计,成本呈爆炸式增长,性能提升却微乎其微。AI领域持续趋势下,这类研究意义重大。许多AI研究机构忽视效率,因海量数据训练的网络在各任务中实用。虽存在计算高效算法,但因与TensorFlow、PyTorch等主流深度学习框架不兼容,极少用于优化NLP模型。研究者呼吁开展此类研究,提高对资源大量使用的认知,推动审慎实践和政策。

延伸阅读:人造树叶可减少大气二氧化碳

工业技术

  1. 大型设备综合培训与安全规程指南
  2. 人工神经网络提升无线通信性能
  3. AI预测行人动作护航自动驾驶:基于生物力学的循环神经网络
  4. AI将神经信号转化自然语音助瘫痪患者交流:循环神经网络解码皮层信号
  5. 半导体激光器实现微波收发:超高速Wi-Fi关键突破
  6. AI将复杂论文转化为通俗易懂的摘要
  7. AI解三体问题速度比传统方法快1亿倍
  8. 魁北克寻找专业定制非标准零件加工服务
  9. 医疗器械OEM利用工业4.0实现数字化转型的五大策略
  10. 制造业能在5G/Wi-Fi 6时代全无线化吗?
  11. VR 与 AR 革新制造业培训
  12. 碳纤维可回收吗?可持续回收与修复指南