主题：ChatAI 使用初体验(0) -- shuyong

做为一个码农，自然十分关注ChatAI的编程能力。使用下来总结几句话，网络上关于ChatAI的编程能力的宣传，大多数在吹大牛瞎扯蛋。有些专家学者，不知道多少年没有亲自编码了，那见识水平，隔靴瘙痒，隔山打牛，不过尔尔。更有做自媒体的人，大多要骗点击率，而不是要做码农。所以所举的例子，要么是十分简单，网上就有很成熟的代码可用，要么是他们没有完整走完一个流程，只是简单生成了一些代码，并没有测试和部署。并且所举的例子，大多是一些用python或JavaScript实现一些简单的网页前端的例子，这些案例其实已经很成熟很成熟了，没有ChatAI，也有无数的模板可以立即使用。如果要实现的功能稍微复杂一点或专业一点，ChatAI必然抓瞎。

我们先来简单回顾一下我们开发软件的常见流程。一个稍微复杂的软件，可能会有的工作有，模块划分，架构设计，设计模式选择，然后从粗略到精细，一层层地分解下去，一直到具体的代码文件、具体的函数，再然后一块块地实现。开发时间可能从几个月到几年都有。在这期间，产生很多成果物，比如各种开发文档以及各种代码，并且还经常随时返回上游去循环迭代。

为此，在不同的阶段，我们会根据现有的成果物进行讨论和开发。我们不会记得所有的事情，但是有了成果物，比如我们翻看开发文档，在代码树里浏览代码，我们可以很快进入状态进行开发。我们可以把这想象为登山揽景，我们不可能一下子看完所有的山景，但是有路可以让我们到达大山的每一个角落，在每一个风景点，还建有凉亭，让我们在里面聚会聊天，欣赏美景。其实我们是一路登山一路遗忘，但是回家后看照片，我们又能回想起当时的场景。

但是对于使用CHAT AI辅助开发，则是另外一种体验。首先，CHAT AI可以从较高的全局高度给出建议，并进行模块划分，并给出很高级别的接口定义。但是，工作到此结束！你想要它们继续往下分解工作项，实现比较复杂的架构设计，讲述软件的运行时的状态，以及模块之间的交互关系，这些事情想都不要想。阻碍CHAT AI往下继续工作的障碍就是遗忘和幻觉的问题，以及行为不确定的问题，这些问题后面再描述。

如果我们自己往下继续分解工作，并完成到每一个函数的详细描述，就是这个函数入口/出口是什么，内部完成什么功能这类的描述，这时CHAT AI还能发挥作用，能生成最终代码。但是这代码能不能工作，还有概率问题。如果不能工作，很有可能CHAT AI会进入盲点，一直在修改，明显感觉它们在用排列组合写代码解决问题，但是就是解决不了问题。也就是CHAT AI并不是“真正地”懂得这些知识、懂得该如何使用这些API去完成所需的功能、懂得这些API该怎么调用该怎么排错，它们懂得的是概率和拼装。这问题在专业应用领域很容易出现，只要不是象建一个简单网站那样的代码在网络上到处有的，越深度越专业、参考代码越少的就越容易出现。如果使用者本身没有这方面的专业知识，那这个项目就得GAME OVER。

总结下来，CHAT AI可以在软件开发的很高层和很底层两端可用，而中间是巨大的鸿沟，还得要靠我们人脑去铺路。并且原本开发中，也是中间这段最耗费精力、时间和成本，成败都在此，最有价值的员工也在此。

前面说明的是智能聊天机器人在数理和工程知识方面的价值。这方面的知识，对错都有明确的答案，也就会有一个明确的收获。下面讨论一个人文方面的话题，说明主流知识的权重不可动摇带来的微妙影响。

前些日子，看到有人用ChatGPT写网文的故事梗概，一时兴起，也就测试了一下。测试的结果让我大失所望，打消了我借助智能聊天机器人做一个网文写手的念头。ChatGPT给出的设计平淡如水，一看就仆街的那种，加上当时没有聊天上下文，也就没和ChatGPT展开聊下去。Claude倒是给出了一些有趣或激进的想法，于是我就和它讨论了一下午，发现了一些有趣的事情。

我要求写一本残酷青春类型的成长小说，要求参考现在最流行的网络文学和网剧。然后Claude从网上摘抄说这种类型里面“充斥着热血、激情和疯狂的校园爱情”。于是我又把这段话做为条件写进小说的要求里，得到的故事梗概勉强能抓得到网剧的通用套路，但是给不出中间级别的稍微详细一些的发展过程、关键事件的安排。

不过在给出很具体的场景以后，比如给出分手多年后重逢的场景：平日里时常会有“多少恍惚的时候，仿佛看见你在人海川流”的感觉，一次无意偶遇，也只得一句“你还好吗”的寒暄。两人街头分手以后，忍不住回头，月光如春风拂面。Claude就此还是能给我写一个有点文艺气息的片段。这有点像给出具体设计的规格说明书以后，Claude还是能为此工作的，但两者的文字数量也差不多了，让人有点得不偿失的感觉。也就是说全书的故事线发展，情节串联，事件对人物的影响，人物之间的交互，各种桥段和伏笔，这些耗费人的精力的事情，还得作者本人来干。

但这些不是重点，我本来的要求是描写大时代的洪流下小人物的浮浮沉沉的命运纠葛，本意是在男女主身份有巨大差异的情况下，在一个阶级固化的大环境里，原本就是如露水般见阳光就消散的校园爱情故事。结果阶级固化的大环境被时代洪流所打破，社会激荡、阶级上下大流动，男女主各自的身份发生了巨大的变迁，也因此选择了不同的发展道路，虽然各自心里一直都深爱着对方，但是只有爱情是不够的，命运的推动，双方最终在街头上以枪炮碟血对决。写悲剧赚眼泪来钱快嘛。

但对于这些激烈的基本设定，Claude是回避的，给出的过程和情节平平无奇，让人依稀想起在某些美剧里见过，就是没啥可激烈的，动动嘴皮子就能赢的那种。后来我反过来让Claude给男女主设计步入社会后的困境。没啥生活困境，就是因为环保问题产生的冲突，冲突解决两人就和好了。我提示和纠正过多次，来来回回，总是很容易忘记我前面给出的激烈设定，最终总是要兜回环保问题上。最后我提示参考从法国大革命前期，到拿破仑上台后的历次战争，把这个背景挪到科技高度发展的近未来，男女主都主动或被动地参与到社会大变革的各种冲突中。但是Claude除了恭维我几句，还是没有给出激烈一点的故事过程和情节设定，讨论几次又忘了前面的激烈设定，还是回到看起来很时髦的环保问题中。

这个社会上比环保问题大了去的问题多了去了。比如一个没钱没背景的年轻人在大都市里打拼，如何生存就是大问题。这个世界里因为各种原因产生的战争多了去了，而且每一场大战都有可能引起全球的大动荡。但是在欧美剧的世界里，最大的问题就是环保问题，并且所有的问题都是可以靠演讲、靠辩论、靠高超的沟通手段说服对手，并以此得到解决。TMD，如果一切问题都能靠舌头解决，那这个世界还要这么多拳头做什么。看起来欧美世界里不识人间烟火的毛病，也通过各种资料进入到智能聊天机器人的知识库里，形成了主流知识，形成了绝对的权重。最终的结果就是连智能聊天机器人都在回避真正的社会冲突，不知道什么是人生和社会的困境，更不知道如何走出困境。所以就这样的三观，从人类社会进入智能知识库、再从问答中回到人类社会的循环激励，指望这样的智能体给我们提供社会问题的解决方案，那是南辕北辙的瞎想。

我用ChatAI，是奔着使用它们的长处去的。因此会尽量想着发挥它们的长处，能否帮我干活才是最重要的。因此我没有使用那些微妙的问题对它们进行测试，因此我向ChatAI提问总是简单明确，想让它们明白我的意图并给予针对性的回答。在它们有长处的地方发现问题，那才是真的问题。

这些智能聊天机器人，从学习的方面来说，还是很有价值的，但前提是我们知道我要学什么知识，因此我懂得要问什么问题，那它绝对能给我们打开一扇知识的大门。如果不是为了吹牛打嘴炮、不是为了写个文案忽悠女朋友忽悠外人、不是为了写个小白网文贩卖焦虑收割客户，而是为了好好学一点知识，那么智能聊天机器人在提供深度知识方面还是可圈可点的。

我的经验是，对所要提问的领域要有些积累、有些经验，更要有些专业常识，当然，在这些领域，我们有更多的问题需要解答。我们已有的知识，就像大海中的孤岛，我由此出发不断提问，有灵感和问题就立刻追问，然后孤岛就渐渐连成片，并且我们还能发现继续深入学习的阶梯知识。我曾经和Claude一起，相互激励相互忽悠，在某个领域的最新进展和未来展望深入追问，一直问到以我目前的知识无法理解也无法提问为止。最后查看聊天记录，第一个感觉就是：算了，别学了。这些高深的问题还是留给聪明人去解决吧。

在这期间，不要100%相信智能聊天机器人所说的话，要用专业常识去判断，有不决的疑问就找搜索引擎查找。渐渐地，随着讨论的深入，在深水领域，就会发现这些智能聊天机器人给出的错误信息(也就是幻觉)也是挺多的，越深度越多，越细节越多。其实，它们给出错误信息并不可怕，就算是我们自己，谁又没给外界提供过错误信息或散布过谣言呢？可怕的是对这些信息的无脑接受、然后再散播出去、然后再重新接受，形成了错误信息的激励放大。其实，能发现问题，并且能纠正问题，也就说明了我们有了一定的水平，能在这个谣言四起的世界里找到一个能落脚的实地。

ChatAI传授知识的最大问题就是它们无比的自信。它们永远不会说我不知道，它们总是可以在知识库里找到一些你所要问的知识片段，然后根据概率将这些知识片段拼装起来给你回答。这样，在越是专业越是深度的领域，就越容易出现幻觉。我曾经让ChatAI给我提供一些参考论文，所提供的论文，不但有名字，还有ISBN编号，结果我一查，全是不存在的。但是前面它对某个算法的解释，在关键点上确实给我点明了方向，让我一下子把握住该算法的要点。所以这种感觉是很矛盾的。

还有，我曾经让ChatAI对于某个协议栈给我提供一些开源参考代码。它们提供的github中的项目，没有一个是对的。有些是不存在的，有些是这个人根本就不是做这方面的，这项目是另外的人做的，有些项目就不是这个名字，而是另外的名字。只要我们会从github中查找项目，就会发现这些错误完全是概率拼凑造成的，还有，我认为完善程度比较好的项目，都不在它们的推荐之列。关于编程方面的幻觉还有不少严重的问题，将在后面提到。

另外，通过对错误的讨论，我发现Claude确实是试图用基本规则进行推理，然后在推理链中某个专业常识错了，于是就得到了错误的结论。还有，可以感觉到Claude还是深受主流知识的影响，权重就像是惯性，很难拉过来。比如在和Claude的讨论中，我用的某个专业术语和主流知识不一样，给它说明了几次，最后它给我的反馈说明它已经了解我所说术语的含义，但在下一个问答中，给我的文字中，讲解的是我给的术语，但给我的通用公式和举例式子，用的还是主流知识的公式，并且我给的纠正，忘记得相当快。这说明主流知识的权重不可动摇。