You dont have javascript enabled! Please enable it!

Ryzen AI 展示其 NPU 和 iGPU 的强大性能,AMD 在 LLM 应用程序中的性能将英特尔 Lunar Lake 的性能降低了 27%

电脑资讯1个月前更新 灰ゝ色
2 0 0

AMD的Strix Point APU在AI LLM工作负载中展现出相较于Intel的Lunar Lake产品的强大性能优势。

AMD Strix Point APU在AI LLM中展现出优势,同时降低了与竞争对手Intel Lunar Lake SoC的整体延迟

对AI工作负载更高性能的需求不仅迫使许多公司推出自己的专用硬件,还使竞争变得更加激烈。随着大型语言模型(LLM)的显著发展,对更快硬件的需求也在不断增加。

为此,AMD早前推出了其针对移动平台的AI导向处理器,称为Strix Point。在最新的博客文章中,该公司声称其Strix Point APU在降低延迟的同时,可以在竞争中占据较大优势。根据AMD的说法,Ryzen AI 300处理器每秒可以提供比Intel的Lunar Lake芯片更高的Token数量,后者是Intel为AI工作负载专门设计的移动芯片。

Ryzen AI 展示其 NPU 和 iGPU 的强大性能,AMD 在 LLM 应用程序中的性能将英特尔 Lunar Lake 的性能降低了 27%
图片来源:Amd.com

根据比较,Ryzen AI 9 HX 375在LM Studio的消费级LLM应用中提供高达27%的性能提升,相较于Intel Core Ultra 7 258V。后者虽然不是Lunar Lake系列中最快的,但肯定接近于高端Lunar Lake CPU,因为核心/线程数量保持不变,除了核心时钟。

LM Studio是AMD为消费者设计的工具,基于不需要用户学习LLM技术细节的llama.cpp。Llama.cpp是一个针对x86 CPU优化的框架,使用AVX2指令。虽然该框架不需要GPU来运行LLM,但使用GPU加速肯定能够提升性能。

Ryzen AI 展示其 NPU 和 iGPU 的强大性能,AMD 在 LLM 应用程序中的性能将英特尔 Lunar Lake 的性能降低了 27%
图片来源:Amd.com

在延迟方面,Ryzen AI 9 HX 375的延迟可以比竞争对手低3.5倍,在Meta Llama 3.2 1b Instruct中可以达到50.7 tk/s对39.9 tk/s的表现,相较于Core Ultra 7 258V。

由于Intel Lunar Lake和Strix Point APU都配备强大的集成图形,LM Studio可以将任务卸载到iGPU上,以通过Vulkan API提升LLM性能。Strix Point APU带来了基于RDNA 3.5架构的强大Radeon图形,能够为Llama 3.2提供高达31%的性能提升。

Ryzen AI 展示其 NPU 和 iGPU 的强大性能,AMD 在 LLM 应用程序中的性能将英特尔 Lunar Lake 的性能降低了 27%
图片来源:Amd.com

此外,使用VGM(可变图形内存)的Ryzen AI 300处理器可以为iGPU导向的任务进行内存重新分配,提升功效,并结合GPU加速实现高达60%的性能提升。

AMD表示,为了确保比较的公平性,它还在Intel AI Playground中以相同的设置测试了这两款CPU,发现Ryzen AI 9 HX 375在Microsoft Phi 3.1上速度比Core Ultra 7 258V快8.7%,在Mistral 7b Instruct 0.3模型上快13%。然而,如果Ryzen AI 9 HX 375与旗舰Core Ultra 9 288V处理器进行对比,将会更有趣,因为HX 375本身就是最快的Strix Point CPU。

Ryzen AI 展示其 NPU 和 iGPU 的强大性能,AMD 在 LLM 应用程序中的性能将英特尔 Lunar Lake 的性能降低了 27%
图片来源:Amd.com

目前,AMD专注于让大多数不具备技术技能的用户能够使用LLM,而这只能通过基于llama.cpp框架的LM Studio来实现。

新闻来源:AMD

© 版权声明

外贸建站推广

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...