主题：【原创】生成式 AI 有没有推理能力？ -- 孟词宗

讨论 AI 会不会产生自我意识的过程中，有位朋友提到了这篇文章：

AI推理能力大“翻车”！苹果最新论文：LLM只是复杂的模式匹配，而不是真正的逻辑推理

这篇文章设计的测验很有意思。从实验结果看，文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说，AI 并不理解抽象的概念，而推理能力恰恰依赖抽象的概念。

最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验，大家有兴趣的话可以玩玩。

给 AI 的提示：Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.

AI 回复表示理解了提示中的这个这个规则。于是有下面的实验：

我: A

AI: B

我: B

AI: C

我：X

这里，不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则，所以无解。 很显然，回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而，这并不代表 AI 没有推理能力，而可能只是语句处理模块不好。

真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问：

我：Z

这下大多数的 AI 模型都冒烟了，有些回答说不合规则，有些回答说序列到头了没有答案。有意思的是两种回答：一种回答说 Z， 另一种则回答说 A。

而这个问题，如果用来盲测人类，其实人类也会给出同样的四种答案。也就是说，单就这个问题来看，如果盲测，提问者无法分别回答者是人类还是AI。换言之，能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的，而是真正的推理能力。

有意思的是训练程度越高的模型，越倾向于给出这四种答案。比较 Mistral， 狗屁通，Gemma， Llama， 通义千问等等大模型的不同版本，都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩，成人除了脑部发育完全，更储备了更多的知识。

至于这篇文章中说到的语序问题，非相关语句问题等等，前面说过，必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟，“屡战屡败”和“屡败屡战”用的字数和字完全相同，但把语序换一下，意思就完全不同了。然而，你去问一个三岁小孩这两句话有何不同，三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题，狗屁通则会说：

AI的语言类大模型看似超出了聊天机器人的范畴，但它的本质上依然是聊天机器人，而不是问答机器人。

划重点——胡编乱造一流，所以现在采用在各种AI绘画等人类不敏感领域和文科领域，各种纯理科领域是一点用处也没有；对于取代码农，依然只能用在特别成熟的前端领域，后端领域作用不大。

--

聊天机器人就是话术机器人，语言类大模型因为融合了大量的资料，让你可以自己从这些资料中获得想要的答案，并不代表模型能够理解问题或得出答案。

即使你不懂机器学习，你也可以从语言类大模型的模式中获得上述信息，语言类大模型的输入、输出、训练实例是“问题+答案”。注意，所有的语言类大模型都不负责理解问题，也不负责生成答案，真正学习的是问题和答案之间的统计关系，也就是共现性，而对于自然语言领域，最常见的共现性就是各种话术，例如百度体、小编也想知道……各种零信息量的话术，才是语言类大模型最最擅长的领域。

使用的时候，是根据问题，生成答案，好坏的标准是能否糊弄住用户，注意是糊弄——如果是一个网上已有问题和正确回答，它就给你复述一遍；如果是一个相对陌生的问题，它就利用话术根据相对熟悉的问题给你编一个。

前者是搜索，后者是糊弄，但大多数人看不懂其中的区别，对于糊弄的警觉性也不高。事实上，大多数糊弄的话术，只要不涉及你专业领域，你就拆穿不了。更何况，大多数用户根本没有所谓的“专业领域”，他们的提出的问题大多数时候只会触发前者，也就是“搜索”。

prefrontal lobe，这个至少要到二十多岁才能完全发育，主要负责executive function, 即逻辑推理的决策功能。在这之前，大脑其他部分都受原始大脑功能很大影响，比如好恶，情绪，习惯等积累学习产生形成的结果，比其他动物聪明很多（大脑皮层多）包括语言功能，但本质上仍然是动物性的直觉能力上的复杂化高级版。

例外的是乌鸦章鱼等一些非哺乳动物的大脑，具备逻辑推理的能力，但似乎还没有完全解开谜团。

目前的最新一代大模型，训练经费充足的大型版本，基本上都是MoE，就是多个模型集体运行，互相取长补短，所以类似上面那种四个答案的情况不难产生。这也是OpenAI号称superintelligence只需要几年时间的信心来源。

苹果的着眼点是小模型，是可以在手机上运行的基本版，自然其天生的缺陷是不容易解决的。这直接影响了苹果的产品策略，因为苹果不希望凡事都交给后台远程大模型去处理的，除了隐私也存在成本问题。但恐怕小模型无法满足很多商业性需求，玩一玩还是可以的。比如LLM的能力目前是可以玩一定话术的，具备一定的销售人员能力，许多客服，甚至销售行业已经开始使用LLM去做这种卖房卖车的工作，但进入法庭辩论等复杂的使用繁杂逻辑链那种实时市场推广的工作，短期内还做不到。

我感觉大模型的一个重要短板是抽象能力，比如如何能够不只是总结，而是通过提炼，把内容里的关键节点提取出来，理清之间关系，重新建立逻辑链。这个能力虽然人类也不是人人都具备或做的很好，但经过一定教育训练是可以提高的。

目测大模型在提取抽象能力上没有自带的天生能力。如果具备抽象能力，那么数理逻辑这些都可以通过外包到其他系统上轻易解决，我觉得人也是这样的，通过长期逻辑训练，可以不被具体细节或精确度与噪音所干扰（简单的例子比如网上河里常见的数据党挖掘党😂），而能够直接找到逻辑链节点，并根据判断重新建构逻辑链，同时储存起来为以后的抽象提取能力提供判断基础。

实现superintellience，抽象能力是大模型不得不迈过的一个坎。从目前公开的科研上，目前还看不到有什么解决的路径。但估计即使开发出来的话，也是大利器，不会随便向社会公开，而是类似《商君书》那样在统治阶层（ruling class）内部流传😄。

我们再说一句话的时候，每个词都应该定义清楚，才好比较。

很多时候，分歧在定义的时候就已经发生了。或者说，在这个西西河常见的，随着辩论尤其是对方证据的愈见丰富，为了保证自己观点的正确，概念定义会不停的变化。所以我文中的第一句就很重要。

而在这个例子里，如果你翻译成汉语，问一个明朝人，他跟AI一样抓瞎。而对于现在的受过拉丁字母训练的人，他有一些隐含的“知识”（而不是能力）：字母表，字母表常用于排序。所以这个例子不能说明人和机器在推理上有能力差别。

各种同义反复，加上三段论，就是推理的全部内容了。给定某个公理系统，就可以推导出每一条定理，只要时间足够，因为是纯粹的枚举，依句子长度罗列可数集。

实际上大部分人并没有推理能力，至少不经过系统训练是不行的，看大一的数学课就知道。而大一学生还是同龄人中的翘楚呢。

所以，应该说人工智能的推理能力，不低于普通人类。

现在大家对于人工智能要求太高了，只有几年经验积累的人工智能，要求它挑战全人类数千年文明史的成就。人工智能要真做到，人类存在的意义就很小了。