新方法将语言模型训练中的能源消耗减少30%
研究人员开发了AI模型的节能训练方法
密歇根大学的研究人员最近进行了一项研究,揭示了一种节能的方法用于训练大型语言模型。这种新方法可以在相同时间内实现相同的结果,同时减少30%的能源消耗。这一发现的影响是显著的,因为节能可以为110万美国家庭提供电力,预计在2026年前实现。
Perseus的介绍
这个名为Perseus的创新软件工具,识别了被称为关键路径的任务序列——这是一组在训练过程中需要最长时间完成的子任务。通过战略性地管理非关键路径上的处理器速度,Perseus允许同时完成任务,有效消除不必要的电力消耗。

测试Perseus
在他们的研究中,团队将Perseus应用于训练多个AI模型,包括GPT-3、另外三个大型语言模型以及一个计算机视觉模型。这些测试结果表明,Perseus成功地减少了与AI训练相关的能源消耗,并保持与传统方法相同的训练速度。
对AI可及性的影响
研究人员强调,他们的节能方法在确保平等接入人工智能方面的重要性。在电力有限的地区,各国可能被迫依赖远程服务或使用较小、准确性较低的模型。这种情况可能加剧不同社区之间在接入AI技术方面的差距。
能源优化的重要性
这项研究的发现凸显了优化AI训练方法的潜力,不仅节约能源,而且保持效率。这一点尤为重要,因为对大型语言模型的需求不断增长,特别是在一个越来越关注减少碳足迹和增强可持续性的世界。
结论
随着人工智能领域的不断发展,像Perseus这样的工具的发展代表了向更可持续实践的有希望的转变。通过解决能源消耗问题,研究人员为未来铺平了道路,使AI技术既可接入又环保。
要点
- 密歇根大学开发了Perseus,使AI训练的能源消耗减少30%。
- 这种方法可以在2026年前节省相当于为110万户家庭供电的能源。
- Perseus在优化处理器使用的同时保持训练速度。
- AI的能源效率对确保各社区的平等接入至关重要。
- 这项研究突显了在技术发展中减少碳足迹的重要性。




