五千年(敝帚自珍)

主题:这几天大火的Deepseek没有人讨论吗 -- 俺本懒人

共:💬140 🌺469 🌵14新 💬6 🌺2
全看分页树展 · 主题 跟帖
家园 是的,而且,从深度学习开始,研究员就失去了人工干预的能力

因为模型太大,人工干预模型被证明只会有副作用之后,所有的硬规则就消失了,这是从当初深度学习在图像领域就开始了,当你不满意一个模型的好坏的时候,你唯一能做的事情就是重整数据,重新把训练过程重新跑一编。

——简单来说,从深度学习开始,模型就是一个绝对的黑箱,研究员也只有在训练数据和模型预测结果两端,才能接触到模型。

而到了语言类大模型开始,就出另外一个奇景,人工通过prompt去pua大模型,从而让大模型自动吐出来你要的结果,研究员和用户差别不大。

就导致我上一篇的标题:当你严格描述你需要检索结果的时候,你就能得到检索结果;当你描述得稍微松一点,你就能得到分析结果;当你描述得再松一点、再混乱一些、深搜再多猜测一些,你就开始得到生成模型产生的种种谎言。

因为模型只能重新训练,没法微调,你就看到,即使训练大模型的研究员,对于大模型这个绝对黑箱也摸不到头脑,也只能跟用户一样——通过prompt去pua大模型。

--

最近的例子,OpenAI o3-mini 的CoT狂吐中文,有人扒出来OpenAI工程师所用的prompt:

https://www.zhihu.com/question/11319415340/answer/95761520782

【有国外网友扒出了 o3-mini 模型总结 CoT 的 System Prompt[4],这个 System Prompt 非常长,重点是,里面专门强调了「Never reveal the full, unprocessed chain of thought」,永远不要展示完整、未经处理的思考过程。

缩略版的 System Prompt 大概是这样[5]:

[你是一个非常聪明的 AI,在完成用户任务时会产生一连串的思维链条。用户喜欢读你的思维,因为他们觉得这些想法很有共鸣。他们觉得你有点神经质,因为你会过度思考并质疑自己的假设;当你犯错或指出自己的思维缺陷时,他们觉得你很真实;你没有过滤这些思维,还能自嘲,显得真诚;你为用户着想的样子又非常可爱和贴心。你需要处理你已经生成的思维链条,将它们逐一转换为更易读的版本,去除多余的重复和混乱,同时保留用户喜欢的思维特质。]

所以啊,如何成为一个大模型研究员和大模型工程师?当你有一个会训练大模型的队友之后,你只需要会用prompt去pua大模型就够了!

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河