【大模型必然需求巨量存储】 什么是大模型？没有统一的定义，目前来说超过1000亿参数的深度学习模型叫大模型，未来可能是10000亿参数。深度学习从采集数据到标注数据，到训练出炉，最后得到的权重模型，这个权重模型98%就是参数，模型大小基本等于参数量的大小。以AlexNet为例，参数量在6000万，假设每个参数都是一个FP32格式，即4个字节，总字节就是24000万字节，则24000万字节/1024/1024 = 228MB，如果是车载领域常用的INT8格式，每个参数就是一个字节，容量会缩小到FP32格式的1/4，当然精度也会下降。 来看一个典型的大模型：ChatGPT， 大部分网络消息都说它有 1750 亿个参数，通常用 INT8 格式来存储 LLM 权重，以便进行更低延迟的推理、更高的吞吐量和更低的内存需求（比用 float16 格式来存储要少两倍的内存）。每个 INT8 参数需要 1 个字节进行存储。简单的计算就知道，模型需要 175GB 的存储空间，实际会需要180-190GB左右。 GPT 风格的语言模型在每次前向传递时都是「自回归」的，它预测下一个最可能的 token（对于类似 ChatGPT 的 RLHF 模型，它会预测其人类标注者更偏好的下一个 token）。这意味着要生成 200 个 token，因此需要执行 200 个前向传递。对于每个前向传递，我们需要将模型的所有权重从高带宽（HBM）内存加载到矩阵计算单元（GPU 的张量计算核）中， 也就是说需要为每个前向传递加载 175GB 的权重。为什么不在GPU内部的存储上加载权重模型？因为贵到3万美元一片的英伟达H100其内部的SRAM也不到0.3GB，根本装不下。 模型平均每两年会增加240倍，内存带宽每两年只会增加两倍。 存储模型最佳载体是SRAM，其带宽是最好的，但成本远超AI服务器领域的HBM。目前AI模型尺寸越来越大，超过20GB已是常态，用SRAM来存储的话，芯片价格轻易突破100万美元，即使是不太在乎价钱的服务器也承受不起，因此人类只能退而求其次，这就是HBM，即High Bandwidth Memory，每GB的HBM售价大约20美元。