“越长”就越强?为何通义千问卷不动Kimi
阿尔法工场
  北京


跟风与内卷,救不了国产大模型。

最近,受到Kimi大火的刺激,国内大模型们又开始了新一轮“我有多长”的比赛了。

在Kimi 目前200万文本长度打底的情况下,其他各家没个四五百万打底,都不好意思见人了。

比如360那个“智脑”,号称能处理500万字长文本,而百度稍微低调些,打算下个月开放200万-400万的长文本能力。

最狂的是通义千问,直接升级到了1000万文本长度,成了全球文档处理容量第一的AI。

但是,“越长”就真的“越强”吗?

在长文本方面,想成为真正的“大家伙”,可不仅仅只是把所有知识都灌进肚子里就行了。光是囫囵吞不算啥,得能穿针引线,理解和应用其中的内容、知识,才能帮用户解决真正的问题。

所以,今天我们不妨先拿通义千问这个“出头鸟”来开开刀,用几个最为常见的长文本任务,好好拿捏一下这上千万的文本能力,究竟有多少含金量。

01 三大考验

1、新闻摘要

今天咱们要干的第一个长文本活儿,就是最常见的新闻摘要归纳。

因为那些媒体搞的大新闻啊、深度调查啊,为了把事情说透彻,堆砌了一大堆事实、数据、例子,文章就贼拉长。

现在呢,咱们得把这些长文章浓缩一下,简单直白地说说重点。

在这里,我们选择的文章,是36氪的文章《卷进前1%,谁能拿下新药出海下一个百亿美元交易?》

首先来看看通义千问的表现。

从这个总结的结果来看,通义千问基本覆盖了文章的主要信息点,并简要地对每个要点进行了摘要,行文还算流畅。

但是,仔细看下来,这样的总结长度较长,缺乏清晰的层次结构,用户需要投入更多时间和精力去梳理归纳要点。

此外,其在总结时,很多地方是直接摘录了原文的风格,没有对内容进行高度压缩概括,效率相对较低。

接下来再看看kimi的表现。

相较之下,Kimi的总结结构层次分明,将要点分为多个方面进行陈述,使得用户可以快速掌握文章的框架和重点内容。

同时,从覆盖面来看,Kimi总结的要点一共有9个,涉及了出海形式、创新要求、BD对比IPO、长期发展等核心内容,反映了对文章信息的更全面梳理。

而通义千问的总结虽然内容也算完整,但遗漏了一些重点,比如没有涉及创新和专利、国际化能力等等等。

2、研报分析

如果说,对长篇新闻的总结,体现的是大模型在长文本方面的主旨概括能力,那么接下来的研报分析,考验的则是在长文本下,大模型推理能力的表现。

在这里,我们上传了一份长达60页的企业研报,来分别测试通义千问和Kimi的表现。

这份研报这份研报主要包括了一家名为元隆雅图的企业的业务战略、财务表现、以及市场前景。

在测试中,我们要求通义千问对该企业在AI时代可能具有的潜在优势进行分析。

从结果来看,虽然其生成了一段“看似”详细和具体的答案,但如果仔细观察,就会发现这样的回答,在很多要点上,都是比较重复的。

例如“IP资源智能化运营” 与“IP资产数字化转型”,以及“新媒体营销智能化”与“一体化营销服务升级”,这些实际上都可以合并成一个点。

那相较之下,Kimi的表现怎样呢?

可以看到,Kimi所分析出的要点,明显比通义千问范围更广,维度更多,并且每个点都直击主题。这点在进行长文本分析时,就显得尤为重要。

对短文本来说,集中精力、深入挖掘一两个重点就可以搞定。但长文本就不一样了,首先,长文本内容丰富、层次繁多,单一视角显然是捕捉不了全貌的。

再者,从概率上说,切入的角度越多,区别度越大,碰撞出新思路和想法的可能性也就越大。这也很符合某种智能的“涌现”规律。

3、小说阅读

最后,咱们再来个有点挑战的。

这不像之前某些简单的测试,光让模型复述下小说情节就完事了。还得在通读全文的基础上,按咱说的特殊文风,把情节重新讲出来。这考验的就是一个指令遵循能力。

这里,我们选择的是科幻小说《沙丘》

我们的要求是:《史记》的风格,概述《沙丘》的主要情节。

虽然通义千问在刚开始时,勉强保持了相应的文风,但从第三段开始,整个文风又变成了现代文,没能一以贯之地保持。

可以看出,在这一回合,Kimi几乎完胜,不仅情节叙述得更为完整、详细,而且几乎从始至终地保持了接近《史记》的叙述风格。

这显示了Kimi在阅读长文本时,强大的信息提取能力指令遵循能力。

02 跟风与内卷,救不了国产大模型

可以看出,在长文本方面,Kimi无论是总结能力、分析能力,还是理解执行指令的能力,目前都把通义千问给压下去了。

以通义千问为代表的这类国产大模型,一上来就号称数百万,乃至上千万的文本长度,结果在实测中搞出了“长文本室温超导”的感觉,这说明了,长文本这事儿,还真不是“越长越强。”

之前,对于文本窗口的长度,月之暗面的CEO杨植麟就表示:“不能只提升窗口,不能只看数字,今天是几百万还是多少亿的窗口没有意义。你要看它在这个窗口下能实现的推理能力、the faithfulness的能力(对原始信息的忠实度)、the instruction following的能力(遵循指令的能力)。”

换言之,只有在这些核心能力方面展现出了真本事,你的长文本能力才真算数。

倘若不好好修炼“内功”,对“片段级递归”、“相对位置编码”等一系列重要的模型机制不够谙熟,只是打激素式地增加文本长度,最终的结果,除了跟风式地蹭蹭热度,徒增些内卷的负担外,对中国大模型的发展实无裨益。(来源:AI新智能)

 

点赞1
收藏
分享
举报
评论 1
表情
x
😊😍😘😳😡😓😭😲😁😱😖😉😏😜😰😢😚😄😪😣😔😠😌😝😂😥😃😨😒😷😞👿👽😁😄😇😯😕😂😅😈😐😠😀😃😆😉😑😬😮😥😨😟😢😣😦😩😱😵😴😤😧😰😶😷😝😙😎😖😞😛😋😭😔😒😜😗😚😌😪😏🙋🙅🙎😼😻🙌🙆🙏😸😽😫🙍🙇😁😄😇😯😕😂😅😈😐😠😀😃😆😉😑😬😮😥😨😟😢😣😦😩😱😵😴😤😧😰😶😷😝😙😎😖😞😛😋😭😔😒😜😗😚😌😪😏🙋🙅🙎😼😻🙌🙆🙏😸😽😫🙍🙇😺😹😿😾🙉👶👨👵🙀🙊👦👩😄😃😀😉😚😗😙😜😝😛😁😔😌😒😞😣😢😂😭😪😥😰😅😩😫😨😱😠😤😖😆😋😷😎😴😵😟😦😧😈👿😮😬😐😕😯😶😇😏😑👲👳👮👷💂👶👦👧👨👩👴👵👱👼👸😺😸😻😽😼🙀😿😹😾👹👺🙈🙉🙊💀👽👀👃👄👂💔💘💝💜💛💚💙💩👍👎👊👌💪👆👇👈👉👐🙏🙌👏👧👦👩👨👶👵👴👳👳👳👲👸👸👷💂👮🙆🙅💇🙅💇💆💁💁👯👫👫🎎🚶🏃💃💑💏👼💀🐱🐶🐭🐹🐰🐺🐸🐯🐨🐻🐷🐮🐗🐵🐙🐛🐔🐧🐦🐍🐴🐠🐳🐬🌙🌊🌻🌺🌹🔥🎵💦💤🌷🌸💐🍀🌾🍃🍂🎃👻🎅🌵🌴🎍🍁🎄🔔🎉🎈💿📷🎥📬💡🔑🔒🔓📺💻🛀💰🔫💊💣🏈🏀🎾🎿🏄🏊🏆👾🎤🎸👙👑🌂👜💄💅💍🎁💎🎂🍰🍺🍻🍸🍵🍶🍔🍟🍝🍜🍧🍦🍡🍙🍘🍞🍛🍚🍲🍱🍣🍎🍓🍉🍆🍅🍊🚀🚄🚉🚃🚗🚕🚓🚒🚑🚙🚲🏁🚹🚺😺😹😿😾🙉👶👨👵🙀🙊👦👩💏🙈💩👧👴💑👪👫👬👭👮💂👸👱💃👤👷👯🎅👲💆👥💁👰👼👳💇💅👺👿👀👣💋👻👽💀👂👄👹👾💪👃👅💙💚💓💖💝👍💛💔💗💞👎💜💕💘💟👌👊👇👋👈👏👆👉👐🔰👟🎩👖👙💄👑🎓👔👗👠👞👒👓👕👘👡👢💼👛💲💶💱👚🎒💰💵💷💹👜👝💳💴💸🔫🔪💊🔕🔭🔋📗💣🚬🚪🔮🔌📘💉🔔🔬🔦📜📙📚📑📖🎃🎁🎆📔📓📰🎄🎂🎇📒📕📛🎀🎈🎉🎊🎌🎎📟📠📨🎍🎐📱📦📩🎏🎋📲📞📪📫📮📯📡📏📭📤📢💬📐📬📥📣💭📝📍📌💺💾📅📁📄📎💻💿📇📂📊💽📆📋📃📈📉🎢🎨📷🎭🎲🎠🎬📹🎫🎰🎡🎪🎥🎦🎮🃏🎴📺📼🎵🎻🎺🀄📻🎧🎶🎹🎸🎯📀🎤🎼🎷🐕🐈🐁🐢🐓🐤🐶🐱🐭🐇🐔🐥🐩🐀🐹🐰🐣🐦🐏🐺🐄🐗🐽🐼🐑🐃🐮🐖🐸🐧🐐🐂🐴🐷🐍🐘🐨🐆🐫🐳🐠🐚🐒🐯🐪🐋🐡🐬🐵🐻🐊🐟🐙🐌🐛🐞🐾🍻🍶🍼🐜🐲🍸🍷🍴🐝🐉🍺🍹🍵🍨🍧🍰🍬🍯🍟🍖🍦🍪🍭🍳🍝🍗🍩🍫🍮🍔🍕🍤🍣🍜🍛🍢🍠🍏🍱🍙🍲🍡🍌🍊🍞🍚🍥🍘🍎🍋🍄🍇🍐🍓🌴🌴🍅🍈🍑🍍🌲🌵🍆🍉🍒🌰🌳🌷🌸🍁🌺🌽🌹🍂🌻🌾🌈🌁🍀🍃🌼🌿🌂🌀🌙🌚🌑🌔💧🌞🌛🌒🌕🌝🌜🌓🌖🌗🌄🌆🌉🌎🌐🌘🌅🌃🌊🌏🌟🎑🌇🌌🌋🌍🌠🏠🏣🏦🏩🏯🏡🏤🏧🏪🏰🏢🏥🏨🏫🏬🏭🗻🗾🏮🔨🛁🚾🗼🗿💈🔩🛀🎽🗽🔧🚿🚽🎣🎱🎿🏂🏂🏆🏈🎳🎾🏀🏃🏇🏉🏁🏄🐎🏊🚂🚅🚋🚎🚑🚃🚆🚈🚌🚏🚒🚄🚇🚊🚍🚐🚓🚔🚗🚚🚝🚠🚣🚕🚘🚛🚞🚡🚁🚖🚙🚜🚢🚢🛂🛅🚳🚷🚀🛃🚴🚸🚤🅿🛄🚲🚵🚉🚶🚥🚦💎🚧💌💐🚨💍💒💏🙈💩👧👴💑👪👫👬👭👮💂👸👱💃👤👷👯🎅👲💆👥💁👰👼👳💇💅👺👿👀👣💋👻👽💀👂👄👹👾💪👃👅💙💚💓💖💝👍💛💔💗💞👎💜💕💘💟👌👊👇👋👈👏👆👉👐🔰👟🎩👖👙💄👑🎓👔👗👠👞👒👓👕👘👡👢💼👛💲💶💱👚🎒💰💵💷💹👜👝💳💴💸🔫🔪💊🔕🔭🔋📗💣🚬🚪🔮🔌📘💉🔔🔬🔦📜📙📚📑📖🎃🎁🎆📔📓📰🎄🎂🎇📒📕📛🎀🎈🎉🎊🎌🎎📟📠📨🎍🎐📱📦📩🎏🎋📲📞📪📫📮📯📡📏📭📤📢💬📐📬📥📣💭📝📍📌💺💾📅📁📄📎💻💿📇📂📊💽📆📋📃📈📉🎢🎨📷🎭🎲🎠🎬📹🎫🎰🎡🎪🎥🎦🎮🃏🎴📺📼🎵🎻🎺🀄📻🎧🎶🎹🎸🎯📀🎤🎼🎷🐕🐈🐁🐢🐓🐤🐶🐱🐭🐇🐔🐥🐩🐀🐹🐰🐣🐦🐏🐺🐄🐗🐽🐼🐑🐃🐮🐖🐸🐧🐐🐂🐴🐷🐍🐘🐨🐆🐫🐳🐠🐚🐒🐯🐪🐋🐡🐬🐵🐻🐊🐟🐙🐌🐛🐞🐾🍻🍶🍼🐜🐲🍸🍷🍴🐝🐉🍺🍹🍵🍨🍧🍰🍬🍯🍟🍖🍦🍪🍭🍳🍝🍗🍩🍫💩🔥🌟💫💥💢💦💧💤💨👂👀👃👅👄👍👎👌👊👋👐👆👇👉👈🙌🙏👏💪🚶🏃💃👫👪👬👭💏💑👯🙆🙅💁🙋💆💇💅👰🙎🙍🙇🎩👑👒👟👞👡👠👢👕👔👚👗🎽👖👘👙💼👜👝👛👓🎀🌂💄💛💙💜💚💔💗💓💕💖💞💘💌💋💍💎👤👥💬👣💭🐶🐺🐱🐭🐹🐰🐸🐯🐨🐻🐷🐽🐮🐗🐵🐒🐴🐑🐘🐼🐧🐦🐤🐥🐣🐔🐍🐢🐛🐝🐜🐞🐌🐙🐚🐠🐟🐬🐳🐋🐄🐏🐀🐃🐅🐇🐉🐎🐐🐓🐕🐖🐁🐂🐲🐡🐊🐫🐪🐆🐈🐩🐾💐🌸🌷🍀🌹🌻🌺🍁🍃🍂🌿🌾🍄🌵🌴🌲🌳🌰🌱🌼🌐🌞🌝🌚🌑🌒🌓🌔🌕🌖🌗🌘🌜🌛🌙🌍🌎🌏🌋🌌🌠🌀🌁🌈🌊🎍💝🎎🎒🎓🎏🎆🎇🎐🎑🎃👻🎅🎄🎁🎋🎉🎊🎈🎌🔮🎥📷📹📼💿📀💽💾💻📱📞📟📠📡📺📻🔊🔉🔈🔇🔔🔕📢📣🔓🔒🔏🔐🔑🔎💡🔦🔆🔅🔌🔋🔍🛁🛀🚿🚽🔧🔩🔨🚪🚬💣🔫🔪💊💉💰💴💵💷💶💳💸📲📧📥📤📩📨📯📫📪📬📭📮📦📝📄📃📑📊📈📉📜📋📅📆📇📁📂📌📎📏📐📕📗📘📙📓📔📒📚📖🔖📛🔬🔭📰🎨🎬🎤🎧🎼🎵🎶🎹🎻🎺🎷🎸👾🎮🃏🎴🀄🎲🎯🏈🏀🎾🎱🏉🎳🚵🚴🏁🏇🏆🎿🏂🏊🏄🎣🍵🍶🍼🍺🍻🍸🍹🍷🍴🍕🍔🍟🍗🍖🍝🍛🍤🍱🍣🍥🍙🍘🍚🍜🍲🍢🍡🍳🍞🍩🍮🍦🍨🍧🎂🍰🍪🍫🍬🍭🍯🍎🍏🍊🍋🍒🍇🍉🍓🍑🍈🍌🍐🍍🍠🍆🍅🌽🏠🏡🏫🏢🏣🏥🏦🏪🏩🏨💒🏬🏤🌇🌆🏯🏰🏭🗼🗾🗻🌄🌅🌃🗽🌉🎠🎡🎢🚢🚤🚣🚀💺🚁🚂🚊🚉🚞🚆🚄🚅🚈🚇🚝🚋🚃🚎🚌🚍🚙🚘🚗🚕🚖🚛🚚🚨🚓🚔🚒🚑🚐🚲🚡🚟🚠🚜💈🚏🎫🚦🚥🚧🔰🏮🎰🗿🎪🎭📍🚩
表情
取消 发布
评论  1
坐井观天阔
2024-03-29 15:44
广东
转发