1 如何测算文本大模型AI推理端算力需求?
我们在此前外发报告《如何测算文本大模型AI训练端算力需求?》中，对未来三年AI训练卡需求持乐观态度，经过测算，以英伟达Hopper/Blackwell/下一代GPU卡FP16算力衡量，我们认为2024-2026年全球文本大模型AI训练侧GPU需求量为271/592/1244万张。由此我们认为，推理侧算力对训练侧算力需求的承接不意味着训练需求的趟嫂，而是为算力芯片行业贡献第二重驱动力。
推理算力市场已热兴起，24年AI推理需求成为焦点。据Wind转引英伟达FY24Q4业绩会纪要，公司2024财年数据中心有40%的收入来自推理业务。放眼国内，IDC数据显示，我国23HI训练工作负载的服务器占比达到49.4%,预计全年的
占比将达到58.7%。随着训练模型的完善与成熟，模型和应用产品逐步投入生产，推理端的人工智能服务器占比将随之攀升，预计到2027年，用于推理的工作负载将达
到72.6%
如何量化推理算力需求?与训练算力相比，推理侧是否具备更大的发展潜力?我们整理出AI推理侧算力供给需求公式，并分类讨论公式中的核心参数变化趣势，以此路出我们的判断。需要说明的是，本文将视角聚焦于云端AI推理算力，端侧AI算力主要由本地设备自带的算力芯片承载。基于初步分析，我们认为核心需要解决的问题聚焦于需求侧——推理消耗的数据规模如何测算?而供蛤例，GPU性能提升速度、算力利用率等，我们认为与AI训练大致无异。
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
