麻省理工学院旨在提高AI模型培训的能源效率

《麻省理工学院旨在提高AI模型培训的能源效率》

在最新发表的论文中,麻省理工学院的研究人员提出了一种以比以前的方法更环保的方式来训练和运行AI模型的系统。他们声称,在某些情况下,它可以将所涉及的碳排放量减少到“低三位数”,这主要是通过提高模型的计算效率来实现的。

人工智能已经在图像合成,蛋白质建模和自动驾驶等领域取得了令人印象深刻的壮举,但该技术的可持续性问题仍未解决。去年6月,马萨诸塞州大学阿默斯特分校的研究人员发布了一份报告,估计训练和搜索特定模型所需的电量涉及大约626,000磅的二氧化碳排放量,相当于美国车平均寿命的近5倍。

研究人员的解决方案是“一次所有”的网络,它可以训练一个大型模型,该模型包含许多不同大小的预训练子模型,这些子模型可以针对一系列平台进行定制,而无需重新训练。每个子模型都可以在推理时独立运行而无需重新训练,并且系统会根据与目标硬件的功率和速度限制相关的准确性和延迟权衡来确定最佳子模型。(例如,对于智能手机,系统将选择更大的子网,但根据各个电池的寿命和计算资源,其子网结构会有所不同。)

“渐进式收缩”算法有效地训练了大型模型以同时支持所有子模型。首先训练大型模型,然后在大型模型的帮助下训练较小的子模型,以便它们可以同时学习。最后,所有子模型均受支持,从而可以根据目标平台的规范进行快速专业化。

在实验中,研究人员发现,用他们的方法训练包含10亿个五千亿架构设置的计算机视觉模型最终比花费数小时训练每个子网要有效得多。此外,它不会影响模型的准确性或效率-在使用通用基准(ImageNet)进行测试时,该模型在移动设备上达到了最新的准确性,并且推理速度比领先的分类快1.5至2.6倍系统。

研究人员声称,与当今流行的模型搜索技术相比,计算机视觉模型在训练时需要大约1 / 1,300的碳排放量,这也许更令人印象深刻。IBM研究员兼MIT-IBM Watson AI实验室John Cohn成员说:“如果要继续保持AI的快速发展,我们需要减少对环境的影响。” “开发使AI模型更小,更高效的方法的好处在于,这些模型可能还会表现更好。”

可在GitHub上是像三星Galaxy注8,三星Galaxy注10,三星Galaxy S7边缘,LG G8,谷歌像素和像素2二者也可以像英特尔至强处理器和显卡NVIDIA这样的设备代码和预训练模式GTX 1080Ti,Jetson TX2和V100。

值得注意的是,麻省理工学院的工作建立在2017年题为《深度神经网络的有效处理:教程和调查》的论文中概述的方法之上。这项研究提出了一些减少机器学习模型的计算需求的方法,包括对硬件设计的更改,硬件设计上的协作以及算法本身。其他提议 要求针对机器学习项目进行行业级的能源分析和每瓦计算标准。

点赞

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注