阿里大模型专家会议纪要 Q：我之前不太了解你们的大模型是怎么开发出来的，想从底层上面去了解一下，然后你们中间的语料灌的是怎么样的语料？我们现在的这个模型是处于 GPT 3 还是 3. 5 的一个水平？追上有没有难度？ A：好的，底层架构是这样，我们之前有两套技术，两种架构的 AI 的产品线。之前我们在行业线，比如在我们阿里的阿里云还有淘宝，用的其实是上一代的技术，就是那些神经卷积的一些 RNN、CNN的老一代技术，包括Tensorflow、Pytorch这种底座构建的一些产品和技术。这个产品技术从 2019 年开始，阿里云有一个团队专门做机器学习平台的，这个平台它构建一个产品叫派pai，这个产品的底座就是Tensorflow、Pytorch这样的架构，在这个底座上面它有很多中小模型，包括文本的、图像的、视频的、人脸识别、科学训练等等，大概有 140 多种中小模型以及算法。它提供这个平台主要是做一种深度学习的应用平台，来给很多开发者和中小企业自己在这个新的平台上做数据的标注、模型的构建、训练、调优部署的前套服务。这个产品过去两年已经形成比较成熟的销售模式，而且一直都在卖，每年能够做十个亿。达摩院自己做的这个技术线最早是2017 年，他们当时抽了大概三十多人来追踪海外的transformer这个技术线路，从最早的谷歌开源,到2018 GPT 1、2019 GPT 2，我们都有人在追踪他们整个技术线路和这些开源的训练集、算法、模型架构。从 2020年6月GPT 3 发布以后，它没有开源，这一段主要就是从他们的论文去找线索，关于模型调优、一些先进的训练算法，我们来做一些参照。所以简单说技术底座来自transformer，从GPT 2 之后开始去做真正的建设和底座的夯实，中间这两年还是基于我们自己的训练集、数据集去做一些训练。我们的训练集主要是三大块，一块就是网上扒的数据，但是数据质量不够高，需要做大量的清洗，剩下大概30%多的数据可以用来做标注，然后再去训练。第二块数据是我们会去购买很多高质量的语料、高质量文本，包括小说、论文、专利、行业分析报告，还有一些专业网站上的一些作家、写手写的一些高质量文章，像知乎、国内的自研，还有海外的维基百科，加上我们自家投资的这些企业手上的一些数据，包括微博，但微博质量不是特别高，因为大部分写手写的都是 140 个字，然后就是中文在线，因为它有几千个签约作家，有几十万个这种选手帮他写东西，质量还可以。第三块是我们自己在过去做互联网业务沉淀的一些数据，包括物流的数据、电商的数据，还有金融的数据，以及优酷等等，就是我们自家生态层面的数据。大模型我们现在都叫通义大模型，通义大模型现在还是有三个模态，第一个模态就是M6 ，它其实也是一个文生图、图生文的模型，以及会把语音合成、语义识别这些技术融在里面。另外一个是跟自然语言相关的，专门处理文本生成、文本理解、文本分割、文本的摘要生产等等。还有一块是视觉，专门做视频的提取、分割、编辑、生成这一块。今年主要是把文本这个产品先做商用，文本我们现在对标chat gpt还不够好，大概 60 多分，主要是体现在六个方面。 第一个方面是文本理解能力，这种能力我们基本上会用一些测试笔记去测试，包括我们会用一些训练样本，像文言文，目前这一块还是偏弱。第二块是多轮对话，chat gpt对几百轮都不会跑题，我们大概会对100 多轮，百度大概也是四五十轮。第三个方面就是角色扮演，这是我们整体国内缺失的能力，它是让AI模拟一个作家的语气生成文字。第四块就是复杂问题推理，我们经常把一些逻辑题拿去问AI，这块整体偏弱，我们跟百度也就是五十来分，比如我们把 MBA 考试的逻辑题或者是gmat上面的逻辑题拿给 AI 去做，我们自己大概能做对一半，chat gpt大概能做对90多。还有一块是代码生成，我们国内整个代码生成的能力，大概只能做简单的小程序，比如俄罗斯方块这种小游戏，200 行左右的，比较复杂的程序就生成不了，chat gpt可以生成上千行的程序，C + +、HTML、Java、Python它都能生成，因为他们把Github上10亿行的代码都学习了，然后在codex代码生成这一块非常强。还有一块叫文本摘要生成，就是把一个长文本扔进去让它帮你总结，这块我们比较弱，主要弱在文本不够长， GPT 4现在已经可以支持 2500个字了，我们长度没那么长，可能只有几百个字，更长文本灌不进去。所以我们在这六大方面跟chat gpt的差距还比较大，大概会有30 多分的差距。