1 近片存储成就高带宽，有限空间依赖堆叠封装
GPU“算力”快迷增长，带动“存力”需求提升。作为AI大模型的核心底层硬件，GPU算力快速增长，例如英伟达GPU的FP16算力，从A100的312TFLOPS,提升至H200的1979TFLOPS,算力呈现指数增长。算力的提升对存储芯片的带宽。容量、面积、功耗等方面均提出了更高的需求。在此趋势下，HBM成为AI存储的核心增量。
HBM(High Bandwidth Memory,高带宽存储县)最大的特点在于其高带宽，结构上借助近片存储实现。相比GDDR5,HBM能在单位时间内传输大量由GPU处理生成的数据。目前，HBM3的带宽最高可达819GB/s,而断一代的HBM3E传输速度亦将大幅提升，三星宣布其HBM3E产品带宽将达1280GB/s。从结构上看，HBM的近片存储特性成就其高带宽性能。传统的GDDR5分布在处理器外围，通过PCB进行连接，因此互联线长及通讯延迟较大。而HBM则是与GPU封装在同一大芯片内，从而实现数据在近片快速传输。
立体堆叠节省空间，大幅提升数据传榆位宽。考虑大芯片内部物理空间有限，因此近存计算的HBM需要通过2.5D/3D封装纵向延仲，利用立体堆叠将多个DDR颗粒垂直排列，并通过TSV技术将各个DDR颗粒、逻辑Die进行连接。同时，立体堆叠能够使HBM实现高位宽，单颗HBM的位宽已达1024-bit,为GDDR5的32倍。
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
