五千年(敝帚自珍)

主题:【原创】生成式 AI 有没有推理能力? -- 孟词宗

共:💬15 🌺76
全看分页树展 · 主题 跟帖
家园 成人与小孩比较发育成熟的主要是脑前叶

prefrontal lobe,这个至少要到二十多岁才能完全发育,主要负责executive function, 即逻辑推理的决策功能。在这之前,大脑其他部分都受原始大脑功能很大影响,比如好恶,情绪,习惯等积累学习产生形成的结果,比其他动物聪明很多(大脑皮层多)包括语言功能,但本质上仍然是动物性的直觉能力上的复杂化高级版。

例外的是乌鸦章鱼等一些非哺乳动物的大脑,具备逻辑推理的能力,但似乎还没有完全解开谜团。

目前的最新一代大模型,训练经费充足的大型版本,基本上都是MoE,就是多个模型集体运行,互相取长补短,所以类似上面那种四个答案的情况不难产生。这也是OpenAI号称superintelligence只需要几年时间的信心来源。

苹果的着眼点是小模型,是可以在手机上运行的基本版,自然其天生的缺陷是不容易解决的。这直接影响了苹果的产品策略,因为苹果不希望凡事都交给后台远程大模型去处理的,除了隐私也存在成本问题。但恐怕小模型无法满足很多商业性需求,玩一玩还是可以的。比如LLM的能力目前是可以玩一定话术的,具备一定的销售人员能力,许多客服,甚至销售行业已经开始使用LLM去做这种卖房卖车的工作,但进入法庭辩论等复杂的使用繁杂逻辑链那种实时市场推广的工作,短期内还做不到。

我感觉大模型的一个重要短板是抽象能力,比如如何能够不只是总结,而是通过提炼,把内容里的关键节点提取出来,理清之间关系,重新建立逻辑链。这个能力虽然人类也不是人人都具备或做的很好,但经过一定教育训练是可以提高的。

目测大模型在提取抽象能力上没有自带的天生能力。如果具备抽象能力,那么数理逻辑这些都可以通过外包到其他系统上轻易解决,我觉得人也是这样的,通过长期逻辑训练,可以不被具体细节或精确度与噪音所干扰(简单的例子比如网上河里常见的数据党挖掘党😂),而能够直接找到逻辑链节点,并根据判断重新建构逻辑链,同时储存起来为以后的抽象提取能力提供判断基础。

实现superintellience,抽象能力是大模型不得不迈过的一个坎。从目前公开的科研上,目前还看不到有什么解决的路径。但估计即使开发出来的话,也是大利器,不会随便向社会公开,而是类似《商君书》那样在统治阶层(ruling class)内部流传😄。

通宝推:潜望镜,Swell,铁手,
全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河