一、事件催化
深度求索(DeepSeek)于8月21日正式推出了其最新版本 DeepSeek-V3.1。据该公司介绍,该版本采用了UE8M0 FP8 Scale参数精度。在相关社交平台评论区,官方账号特别指出,UE8M0 FP8是为即将发布的下一代国产芯片量身打造的技术方案。
随着模型参数规模的指数级增长(从亿级到万亿级),对算力的需求也呈爆炸式增长。2020年,算力需求训练需求最高是在1023flops。到2025年,训练算力需求最高的是xAI的Grok3,算力需求差不多到了1026flops。从1023到1026,算力需求增长了1000倍。
为了解决算力需求,企业开始采用更低精度的数据类型进行训练。精度降低一半,算力翻倍,同时显存占用、显存带宽及传输带宽消耗均减半。因此,降低精度可在一定程度上提升算力或降低模型训练的算力需求。目前,精度格式正沿着FP32→TF32→FP16/BF16→FP8的路径发展。此前业界对FP8的应用尚处探索阶段,而DeepSeek已将其成功应用于模型训练,预计未来会有更多模型采用FP8精度。
题材挖掘:DeepSeek-V3.1,采用UE8M0 FP8技术优化推理效率 






