谷歌称新AI训练技术速度提升13倍能效提升10倍

Google的AI研究实验室GoogleDeepMind发布了一项关于训练AI模型的新研究，声称该研究将大大提高训练速度和能效，比其他方法的性能高出13倍，能效高出10倍。随着有关AI数据中心对环境影响的讨论日益升温，新的JEST训练方法的出现可谓恰逢其时。

DeepMind的方法被称为JEST或联合示例选择，它以一种简单的方式打破了传统的AI模型训练技术。典型的训练方法侧重于单个数据点进行训练和学习，而JEST则基于整个批次进行训练。JEST方法首先创建一个较小的AI模型，该模型将对来自极高质量来源的数据质量进行评级，并按质量对批次进行排序。然后，它将该评级与较大、质量较低的数据集进行比较。小型JEST模型确定最适合训练的批次，然后根据较小模型的结果训练大型模型。

DeepMind的研究人员在论文中明确指出，这种“引导数据选择过程向较小、精心策划的数据集分布的能力”对于JEST方法的成功至关重要。成功是这项研究的正确词汇;DeepMind声称“我们的方法超越了最先进的模型，迭代次数减少了13倍，计算量减少了10倍。”

当然，该系统完全依赖于其训练数据的质量，因为如果没有最高质量的人工数据集，引导技术就会失效。没有什么比这种方法更符合“垃圾进，垃圾出”的口号了，它试图在训练过程中“跳过”。这使得业余爱好者或业余人工智能开发人员比大多数其他方法更难与JEST方法相媲美，因为可能需要专家级的研究技能来策划最初的最高等级的训练数据。

JEST研究的推出可谓恰逢其时，因为科技行业和世界各国政府已经开始讨论人工智能的极端电力需求。2023年，人工智能工作负载约占4.3GW，几乎与塞浦路斯全国的年用电量相当。而且，情况肯定不会放缓：单个ChatGPT请求的耗电量是Google搜索的10倍，Arm的首席执行官估计，到2030年，人工智能将占据美国电网的四分之一。

JEST方法是否会被AI领域的主要参与者采用以及如何采用还有待观察。据报道，GPT-4o的训练成本为1亿美元，未来更大的模型可能很快就会达到10亿美元大关，因此公司很可能正在寻找在这方面节省开支的方法。有希望的人认为，JEST方法将用于在更低的功耗下保持当前的训练生产率，从而降低AI成本并帮助地球。然而，更有可能的是，资本机器将保持全速，使用JEST方法将功耗保持在最大水平，以实现超快速的训练输出。成本节约与产出规模，谁会赢?

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！