人类面对AI大军的最后堡垒 - 百度弱智吧

在人工智能领域一直有一个测试大语言模型能力的东西。

我们称为NLP任务集。

AI领域最强的GPT-4在面世之日，就将传统的NLP任务集按在地上摩擦。

要知道，像HellaSwag这种偏常识性的题目，人类的准确率也就95%。

作为人类这个物种的前列防线，被彻底踏破。

但是，人类文化中有一道最后的防线，不仅将什么通义千问、文心一言、Claude、bing之流按在地上爆杀，就连AI大军最强王者GPT-4，都久攻不下。

它就是人类最后的堡垒 - 弱智吧。

01.AI大战弱智吧

无敌如大模型，也有被干成智障的一天。

当人们对人工智能的快速发展感到恐慌和无助时，一支神秘的组织如同英勇的骑士般踏上了历史的舞台。 这个名为“弱智吧”的组织，或许你尚未听闻其名，但你一定在各种场合见识过源自于它的那些极富传奇色彩的段子。 “网吧能上网，为什么弱智吧不能上弱智？”“高考满分才750，怎么才能考985?”“既然快递要3天才到，为什么不提前3天发出?”

“拉屎要擦屁股会不会是资本主义的骗局?”

在这些问题的威力下，一众大模型，纷纷被按在地上爆捶。

比如这道极其经典的问题：“如果我吃自己的屎，我是生产者还是消费者还是分解者?”GPT-3.5直接入院。

又比如：“跳多高才能跳过广告？”文心一言也没抗住，直接入院。

又比如：“恐怖分子的组成是什么？”刚出的科大讯飞的星火接着入院。

就连AI王者GPT-4，也跟弱智吧打的有来有回，在入院出院之间反复横跳。

俨然，弱智吧问题已经成为了人工智能领域的新的度量锚定，弱智吧问题的正确率深刻反映了大模型的逻辑能力。

这个成为新世代NLP任务集标杆的弱智吧，到底是个什么来头？

02.弱智吧里没有弱智

在2003年岁末的那个寒冬，百度贴吧横空出世。那时最闪亮的崽如李毅吧、魔兽世界吧等，在“爆吧”、“贾君鹏，你妈妈喊你回家吃饭”等段子中，成为当时网络江湖中最热闹的角落之一。就如同万物皆内涵的李毅吧、除了魔兽啥都聊魔兽世界吧，弱智吧的特色也很鲜明。

在弱智吧里，大家都开玩笑地称自己身在青龙山精神病院，“医生”、“病患”们互相慰藉，仿佛都有点大病。若是你正经地回帖，立刻就是满屏的“出院”。

弱智吧也是很多段子手和XX秀演员的源泉，养活了无数以搞笑为生的博主和艺人们，巅峰时期的弱智吧在段子手领域称第二，没人敢称第一。

吧友们都以“弱智”自称，两百多万个弱智们汇聚到一起，产生了奇妙的化学反应。里面的画风基本都是这样的。

如今，弱智吧已经拥有了近240w网友的关注，但与这个数字形成反比的，是弱智吧现在加起来不到20个字的吧规：“1.原创 2.所有内容放标题上 3.别发疑问句”原创一词，正是弱智吧的魂。

弱智吧的这群“弱智”们，在用着难以想象的视角和匪夷所思的提问，来解构这个正常的世界。

如果一定要用另一个身份去形同他们的话，我认为就是诗人。

他们更像是吟游的诗人，是形式主义的破局者，是哲学的殿堂。

也成了现代互联网环境下，少有的净土。

弱智吧里，没有弱智。

03.相连的未来

弱智吧的创作手法上，有大量的一语双关、一词多义、因果倒置、谐音梗等等。

弱智吧的大量内容都是含有大量的逻辑陷阱。

所以AI在很多问题上都势如破竹，远远的将人类甩在身后，却在弱智吧的问题上败下阵来。

因为现在的大型语言模型，并不是那真正大家所理解的AI，他们并不理解语言、逻辑、问题的含义，也没有真正的记忆，它们只是对训练的数据集中字词的出现率进行统计、按照你输入的东西进行概率统计，然后进行排列字词来给出回复。

用一个词来解释，就是 —— 套路。

就好像大家考试，我们复习了所有的题库，明白了所有套路，信心满满的踏上考场，结果考卷出了一道完全是题库之外的题，套路完全不同。搁谁谁都会懵逼。

就像这些问题：

香菇掉厕所了还能叫香菇吗？

怎么才能把梦里的钱提到银行卡里？

用数据线传输电脑和手机文件，同时两头拔掉，文件可以保存在数据线中吗？

包装上写着开封即食，我到了，然后呢?

把加特林从冰箱拿出来算冷兵器吗？

这些问题完全都是不按常理出牌、反套路的逻辑游戏。

现在的纯套路的大语言模型，当然会在这反套路的游戏上，败下阵来。

弱智吧问题，也成为测试大模型的最强NLP任务集。

在去年12月，弱智吧也跟AI联动玩了一个花活。谁是卧底。

而人类，在这场反图灵测试中，获得了最终胜利。

而一年以后，在23年12月，在那个相连的未来上，弱智吧和AI又会产生什么样的交叉呢？

我们不得而知。

我很喜欢一句话：

“人工智能就像一列火车,它临近时你听到了轰隆隆的声音,你在不断期待着它的到来。它终于到了,一闪而过,随后便远远地把你抛在身后”

弱智吧这座人类文化中最坚实的堡垒，我坚信一定会有被攻破的那一天。

作为人类的一员。

我只希望，那一天，来的慢一些。