看完这个视频我不禁沉默了，让我想起了18年的春节后，家里人让我去一个公司上班，那个公司跟视频里的有一个特别像，又是跳舞，又是演讲的，我回忆了一下，那个公司的员工基本上是打电话，问一大本电话薄上的各个“客户”，需不需要本公司的产品，当时我跟几个年龄差不多但都不认识的人一起进的公司，那年，我18岁，我甚至跑到厕所，跟家里人打了个电话，我说，这真的不是传销吗？他们说，你不要在那里乱说，虽说是上班，但你最重要的是在那里学习，如果公司让你打电话啊之类的，你也慢慢学，特别是要跟他们一起，学会“讲话”。我现在想想，真是细思极恐，我要真变成这样的人，真就没有未来了（转自我上次在这种“企业文化”视频下评论的内容）。
AI生命周期包括最重要的两个部分，一个是AI训练，一个是AI推理。
其中，AI训练就是让模型识别数据模式，是数据和处理最密集的部分，需要大规模的算力。
在这一阶段，往往优先使用大规模并行的GPU加速器或专用的AI加速器，有时候根据情况也可以使用超高性能的CPU处理器。
AI推理则是基于训练好的模型，实时处理输入的数据，只需较小的算力，更接近数据的实际位置，更强调持续运算与低延迟。
因此，这个阶段使用常规的CPU最合适，其性能、能效、兼容性、性价比完美符合AI推理需求。
当然，这对CPU的综合素质也是有着很高的需求的，足够强大且平衡的性能、能效、成本才能带来足够高的效率、效益。
一般来说，GPU训练，CPU推理，再加上开发框架和软件支持，构成了最合适的完整AI生命周期。
作为行业唯一同时拥有高性能GPU、CPU、FPGA平台性解决方案的AMD，再加上ROCm开发平台的不断成熟，在AI训练、推理的整个生命周期里都有着得天独厚的优势，尤其是EPYC CPU简直做到了无敌寂寞。
如今，AMD EPYC处理器已经成为最常被选择用于AI推理的服务器平台，尤其是第四代Genoa EPYC 9004系列，执行AI推理的能力又得到了巨大的飞跃。
比如全新的Zen 4架构，相比上代在每时钟周期执行指令数上提升了约14％，再加上更高的频率，性能有了极大的提升。
比如先进的5nm制造工艺，它大大提高了处理器的集成度，结合新架构使得高性能、高能效成为可能。
比如更多的核心与线程数量，比上代增加了足足一半，最高来到96个，并支持同步多线程，无需多路并行就能执行更多推理操作，同时处理上万个源的数据推理需求也不在话下，从而兼具高并发、低延迟。
比如灵活高效的AVX-512扩展指令集，可高效执行大量的矩阵和向量计算，显著提高卷积和矩阵乘法的速度，尤其是BF16数据类型可提高吞吐量，避免INT8数据的量化风险，而且还是双周期的256位流水线设计，效率和能效都更高。
比如更强大的内存与I/O，包括引入DDR5内存并支持多达12个通道，以及多达128条PCIe 5.0通道，成为大规模数据传输的高速公路。
比如极高的能效，96核心的热设计功耗也只需360W，84核心可以控制在290W，从而显著降低散热方面的压力。
还有一贯出色的性价比，可以大大降低TCO(总拥有成本)。
以及不要忘了，AMD EPYC基于x86架构指令集，是大家最熟悉的、最熟练的，部署、开发和应用的难度与成本都远低于各种特殊架构。
对于AI，我们平常关注更多的是AI训练，尤其是庞大的算力需求，AI推理则是训练之后真正落地体验的阶段，重要性同样不言而喻，同样需要恰到好处的软硬件平台需求。
搭载AMD EPYC的服务器，就恰好为基于CPU处理器的AI推理工作提供了一个优秀的平台。
96核心、DDR5内存和PCIe 5.0扩展、AVX-512指令等实现了性能和能效的双重提升，而为处理器优化的库、原语则提供强大的保驾护航。
无论任何模型还是场景，AMD EPYC都能提供充足的高性能、高能效、高性价比。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：上方文Q
相关阅读：在线内容创作 |
发表于 2024-4-8 21:56:33
