AMD宣布EPYCCPU InstinctAccelerator RyzenAINPU和RadeonGPU全面支持Llama3.1AI模型

新闻稿：AMD的AI战略专注于通过广泛的优化训练和推理计算引擎、开放且经过验证的软件功能以及与合作伙伴和客户深入合作创新来支持AI生态系统。随着AI领域的不断发展，高性能、创新和广泛的兼容性是推动这一战略的基础载体。我们的一个重要重点是让每个人都能使用下一代AI模型，让AI的好处无处不在。

相关报道AMD与NVIDIA在服务器CPU领域展开较量：各自声称EPYCGenoa和Grace的性能提升超过2倍

借助Llama3.1，LLM将上下文长度扩展到128K，增加了对8种语言的支持，并引入了Llama3.1405B，据Meta称，这是最大的公开基础模型。借助Llama3.1405B，它将使社区能够解锁新功能，例如合成数据生成和模型提炼。

Meta最近发布了Llama3.1模型，这让我们备受鼓舞，AMD实验室已在广泛的计算引擎产品组合上安装了这些模型并取得了积极的成果。与此同时，我们想展示一下我们的团队在Llama3上所做的一些令人印象深刻的工作，以及Llama3.1对AMDAI客户的意义。

AMDInstinctMI300XGPU加速器和Llama3.1

每一代模型都会为其用户社区带来新的功能和性能，Llama3.1也不例外，它以无与伦比的上下文理解、推理和文本生成彻底改变了复杂的对话，从第0天才开始就在AMDInstinctMI300XGPU加速器和平台上无缝运行。

AMD谈及“120万GPU”AI超级计算机，称“清醒的人”准备在AI竞赛中投入数十亿美元1

AMDInstinctMI300XGPU继续提供领先的内存容量和带宽，使用户能够在单个MI300X上运行单个Llama370B实例，并在单个服务器上同时容纳最多8个并行实例。

但是，随着新的405B参数模型(最大的公开基础模型)的推出，对内存容量的需求比以往任何时候都更加重要。我们已经确认，搭载八个AMDInstinctMI300X加速器的服务器可以使用FP16数据类型容纳整个Llama3.1405B参数模型。这意味着组织可以从显著的成本节约、简化的基础设施管理和增强的性能效率中受益。这得益于AMDInstinctMI300X平台业界领先的内存功能。

最后，Meta在Llama3.1的部分开发过程中使用了最新版本的ROCm开放生态系统和AMDInstinctMI300XGPU。这是我们与Meta持续合作的延续，我们期待进一步推进这一富有成效的合作。

AMDEPYCCPU和Llama3.1

除了数据中心GPU之外，AMD还为数据中心计算提供了领先的服务器平台，通过我们的AMDEPYCCPU为各种数据中心工作负载提供高性能、节能和x86兼容性。人工智能已成为许多数据中心应用程序的重要组成部分，可提高无数工作负载的创造力、生产力和效率。

由于大多数现代数据中心支持各种工作负载，使用AMDEPYCCPU可以为客户带来领先的企业工作负载性能、能源效率以及运行AI和LLM进行推理、小模型开发、测试和批量训练的能力。

Llama作为基准的使用已经成为一种一致、易于访问且实用的工具，可帮助数据中心客户识别指导技术和基础设施评估的关键特征(性能、延迟、规模)，以帮助建模是否适合企业的数据中心服务器需求。

Llama3.1扩展了其作为关键参考数据源的价值，具有更大的规模、数据生成和合成的灵活性、扩展的上下文长度和语言支持，可以更好地满足全球业务需求。

对于那些运行仅CPU环境的用户，使用Llama38B等较小型号，我们领先的第四代AMDEPYC处理器无需GPU加速即可提供出色的性能和效率。事实证明，此类中等规模的LLM是企业级AI实施的基础元素。

使用Llama3工具测试CPU性能的能力让众多客户了解到，他们可以在现成的计算基础架构上开发和部署多种类型的工作负载。随着工作负载越来越苛刻，模型越来越大，同一个AMDEPYC服务器基础架构是一个强大而高效的主机，可以容纳先进的GPU加速解决方案，例如AMDInstinct或其他第三方加速器。

AMDAIPC和Llama3.1

不是程序员?没问题!借助AMDRyzenAI系列处理器，您可以轻松驾驭Meta的Llama3.1的强大功能。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！