民间秘方集锦 $中药基金(501011.SH)$

中国芯片的故事会越来越精彩， 芯片板块的机会值得期待。

管理层对量化交易出手了 ，整体来说是利好，量化交易在技术上完全碾压散户，对散户是一种伤害，未来散户应减少短线交易，多布局中长线交易。在政策监管下，相信量化交易也会有所收敛。

可以不可以说现在的农民是捧着金饭碗要饭呢，为什么，农民自己的财富包括房屋和土地，这些都是不错的资产，但为什么农民还是这么穷，因为不能流动

【大模型必然需求巨量存储】 什么是大模型？没有统一的定义，目前来说超过1000亿参数的深度学习模型叫大模型，未来可能是10000亿参数。深度学习从采集数据到标注数据，到训练出炉，最后得到的权重模型，这个权重模型98%就是参数，模型大小基本等于参数量的大小。以AlexNet为例，参数量在6000万，假设每个参数都是一个FP32格式，即4个字节，总字节就是24000万字节，则24000万字节/1024/1024 = 228MB，如果是车载领域常用的INT8格式，每个参数就是一个字节，容量会缩小到FP32格式的1/4，当然精度也会下降。 来看一个典型的大模型：ChatGPT， 大部分网络消息都说它有 1750 亿个参数，通常用 INT8 格式来存储 LLM 权重，以便进行更低延迟的推理、更高的吞吐量和更低的内存需求（比用 float16 格式来存储要少两倍的内存）。每个 INT8 参数需要 1 个字节进行存储。简单的计算就知道，模型需要 175GB 的存储空间，实际会需要180-190GB左右。 GPT 风格的语言模型在每次前向传递时都是「自回归」的，它预测下一个最可能的 token（对于类似 ChatGPT 的 RLHF 模型，它会预测其人类标注者更偏好的下一个 token）。这意味着要生成 200 个 token，因此需要执行 200 个前向传递。对于每个前向传递，我们需要将模型的所有权重从高带宽（HBM）内存加载到矩阵计算单元（GPU 的张量计算核）中， 也就是说需要为每个前向传递加载 175GB 的权重。为什么不在GPU内部的存储上加载权重模型？因为贵到3万美元一片的英伟达H100其内部的SRAM也不到0.3GB，根本装不下。 模型平均每两年会增加240倍，内存带宽每两年只会增加两倍。 存储模型最佳载体是SRAM，其带宽是最好的，但成本远超AI服务器领域的HBM。目前AI模型尺寸越来越大，超过20GB已是常态，用SRAM来存储的话，芯片价格轻易突破100万美元，即使是不太在乎价钱的服务器也承受不起，因此人类只能退而求其次，这就是HBM，即High Bandwidth Memory，每GB的HBM售价大约20美元。

粮食安全纳入考核了…… https://ckxxapp.ckxx.net/pages/2023/05/15/93b2781497834dc4bf4b3291df698d99.html?_xhOutLink=xh&contentType=1&id=93b2781497834dc4bf4b3291df698d99&praise=1&shareAppId=2b0cbbb1d563414393513f147f7e9799

提前挖掘内幕消息、编造传播虚假信息、利用资金优势玩抢帽子游戏、置三公原则而不顾不该是中国财富管理机构的“竞争力”。