那么，为什么谷歌、亚马逊等公司要花费大量资金训练模型，而不是像国内一些公司那样使用OpenAI的API进行低成本训练和标注呢？

发言人：这是因为虽然国内有类似deep这样的公司通过使用欧美API训练模型来降低成本，但它们也可能面临知识产权的问题。例如，OpenAI可能通过蒸馏技术将自身模型的部分知识分布到其他模型中，形成某种形式的水印或版权。如果这些包含蒸馏知识的模型被商业机构如Google等发布，并在市场上获得成功，可能会引发经济惩罚或法律诉讼。因此，像谷歌这样的公司可能会担心此类风险，尤其是在其训练模型的过程中可能无法避免数据被用于潜在的知识产权侵犯。

如果deep这类公司定位为公益机构，不追求营利，是否还能继续进行模型蒸馏并免费分发给大家？

发言人：如果deep定位为非营利性机构，理论上可以将其模型进行蒸馏并免费分发。然而，即便如此，由于闭源模型防御性的本质，以及未来可能出现的各种防范手段（如水印技术），使得闭源模式难以维持。只要模型可供使用，就无法完全避免知识的传播和蒸馏。

针对美国政府官员提出的deep窃取美国技术的说法，以及字节跳动推出的豆包1.5 pro模型选择完全自建数据清洗和标注的原因是什么？

发言人：对于美国政府官员的观点，实际上深究下来，主要是商业公司与非营利组织在数据使用上的法律风险不同。商业公司在海外可能会面临诉讼，所以它们会选择自行进行数据清洗和标注以降低风险。而非营利组织虽然最初并未遇到此类问题，但当它们转变为商业公司后，就可能面临高额的数据侵权索赔。

在当前法律机制下，如何激励OVI（OpenAI等公司）继续投资训练新的模型，尤其是在存在模型被盗取的风险时？

发言人：这是一个很好的问题，目前没有明确的答案。尽管存在模型被盗的风险，但可能存在一些激励措施促使OVI继续投入资金训练新模型。同时，也存在保护措施，比如数据隐私法规，可以限制模型训练过程中对原始数据的直接使用，从而降低知识产权纠纷的可能性。

目前有哪些机构在推进语言模型训练和推理范式方面的研究较为领先？

发言人：目前尚未提供明确的领先机构名单，但在语言模型训练和推理范式研究领域，多个研究团队和机构都在积极探索实时交互和共同学习的新模式，以期实现更高效、智能的模型训练与推理过程。

这种训练模式最早是什么时候开始出现的？

发言人：这种训练模式最早可以追溯到124年前的思想，而LSTM团队在三四年前发布了一篇名为delta mate的论文，斯坦福团队去年发表了TTT这篇论文。我们团队则是最先将这种思想实现并开源全球第一个相关模型。

是否有其他团队也在进行类似的研究，并且是否有新的芯片范式来支持边推理边训练？deepseek的出现是否改变了人们对模型训练所需算力的认知？

发言人：MIT的团队和Memba都在做相关方向的研究，但尚未看到Memba第三代的具体架构。算力从Hob系列显卡到GB200级别的机柜确实能为边推理边训练提供帮助，不过可能需要对扩大层进行优化以赶上传统训练的GPU利用率。此外，DPU范式遇到了能源问题，发热和能耗控制成为瓶颈。deepseek的出现挑战了市场对大模型训练必须依赖大量算力的认知，通过降低模型成本和优化过程，证明了可以用较少的算力达到相同的效果。

目前通过机器之间相互学习的强化学习训练模式，在大语言模型中的应用进展如何？

发言人：目前在Post training过程中，已经有团队在尝试使用强化学习，例如Team Seek。巨头企业正投入更多精力优化算法，因为过去两年ROI过高的核心原因在于整个链条上的成本太高。

对于多模态训练，优化算法的意义大吗？

发言人：对于多模态训练，优化算法同样有意义，有很多环节可以进行优化，这有助于降低过去被认为需要的巨大算力需求。

OpenAI的数据获取方式及其对D模型的影响如何？

发言人：OpenAI可能通过非正当手段获取了D模型的数据，导致D模型在被OpenAI的竞争压力下，其进一步融资时可能需要强调更多关于算力的故事，这可能会影响其融资计划。

模型的创造性表现与中文数据的关系是怎样的？

发言人：模型的创造性表现与其所使用的大量优质中文数据密切相关，尤其是数据转化和处理的质量直接影响了模型的效果。

合规性弱是否与模型本身的合规性相关？

发言人：目前很多模型的合规性主要依赖于prompt前置过滤和生成内容审核，与模型本身的关系不大。

在多模态方面，您们目前关注的是哪些方向和进展？

发言人：我们一直在关注多模态方向，包括端侧小模型和端边协作模型的优化。最近尝试了千问等头部公司的小参数量模型，并在端测硬件上进行本地化部署。对于多模态部分，虽然现有方案在适用场景和图片input size上仍有一定差距，但也在推动其发展。特别提到了MOE（Mature of Expert）技术，它通过区域划分解决垂直层面性能提升和成本降低的问题，在多模态领域有望发挥作用。

在多模态场景下，您们如何看待请求处理方式的变化？

发言人：在多模态场景下，用户通常会对标到特定数据集或知识库以获取更精准的结果，但现在更倾向于使用快速且垂直的知识库来获取较快的比对速度。时延和速度在多模态软硬件场景中是首要考虑的因素，因此我们也在运用蒸馏方法训练自己的翻译模型和适应本地环境的模型，尝试在端上提供低成本且高性能的解决方案。

DPC训练时长与ONA相比是否存在显著差异？该如何计算效率和投产比？

发言人：训练时长的不同主要由卡数量决定，若增加卡的数量可以缩短训练时间。计算成本时可折算成H100卡天的成本，例如500万美金上传成本。训练时间长可能意味着效果更好，所以有时更倾向于选择更长时间训练。若不改变时间，DPC与阿里千问、Pika等模型之间的差异主要在于成本层面，DPC因其成本低而整体ROI较高。

当前在语言模型工程链条上，效率和成本优化的空间还有多大？

发言人：当前工程优化的空间已经相对较小，单纯从工程优化角度改善的空间不大。接下来可能需要转向底层算法架构的改进，例如线性复杂度模型和RNN架构，以及芯片技术的发展，如存储计算芯片等，以进一步提升效率降低成本。

对于大模型厂商是否有可能效仿底层PTX并优化的做法？

发言人：拥有底层优化能力的大模型厂商可能会效仿这种做法，比如阿里和我们自己可能会尝试，而国内其他团队可能资源有限无法进行此类优化工作。

英伟达在短期内是否会受到DPC等新兴技术的巨大影响？

发言人：短期内，我认为英伟达不会受到巨大影响。虽然DPC可能会在短期内对其产生一定冲击，但长远来看，由于更多人因模型能赚钱而使用相关技术，这将促进英伟达的发展。

多模态技术何时能够产生应用价值，面临哪些挑战？

发言人：多模态如类索尔微信视频等技术目前面临两大问题：一是成本过高，例如生成短视频API调用费用昂贵；二是生成视频的质量并不具备物理世界规律，需要底层架构和模型范式的创新。

对于外部工具模型方面的进展以及未来优化空间的看法是什么？

发言人：当前外部工具模型方面的进展遇到的核心瓶颈在于何时使用工具、何时不需使用的问题。未来可能会有论文提出由模型自行决定是否使用外部工具的方法。同时，新的架构设计以及如何合理利用外部工具（区分哪些放在模型内部）都是巨大的优化空间。

对于端侧应用及模型架构的看法是什么？端侧模型为何一直受到关注，以及新的端侧模型可能带来的变化？

发言人：端侧应用的核心在于寻找具有线性复杂度的模型架构，以解决现有模型在端侧运行时因算力和延迟限制产生的瓶颈，从而实现更好的长期对话和多模态应用效果。端侧模型因其成本低、功耗小、对硬件要求低等特性，在一些应用场景下能创造出巨大价值。新的便宜且低功耗的端侧模型若能满足响应速度和准确度要求，将会推动AI应用爆发，为原本无法在端侧实现的离线场景创造更多可能性。

如何看待CROCK LPU路线与存内计算的竞争关系？

发言人：CROCK LPU是一个过渡过程，但更看好存内计算带来的质变。GPU短期内仍具安全性，除非出现能够带来显著性能提升的新芯片范式，否则市场会相对保守地投资GPU。

目前业内主要的大模型推理架构有哪些？

发言人：目前业内主要关注两类大模型推理架构：一类是以transformers为基础并进行优化的传统模型，如DVC；另一类是RN（RNN）模型及其变种，如SSM、LEADS等。市场上主要以N方和RN两类为主流方向，其中部分模型开始转向混合模型架构，如MIMAX、air twenty one等。此外，针对非数学和非编程领域的慢思考模型以及无需人类标注的自监督学习方法也是前沿研究方向