- 近期网站停站换新具体说明
- 按以上说明时间,延期一周至网站时间26-27左右。具体实施前两天会在此提前通知具体实施时间
主题:这几天大火的Deepseek没有人讨论吗 -- 俺本懒人
因为模型太大,人工干预模型被证明只会有副作用之后,所有的硬规则就消失了,这是从当初深度学习在图像领域就开始了,当你不满意一个模型的好坏的时候,你唯一能做的事情就是重整数据,重新把训练过程重新跑一编。
——简单来说,从深度学习开始,模型就是一个绝对的黑箱,研究员也只有在训练数据和模型预测结果两端,才能接触到模型。
而到了语言类大模型开始,就出另外一个奇景,人工通过prompt去pua大模型,从而让大模型自动吐出来你要的结果,研究员和用户差别不大。
就导致我上一篇的标题:当你严格描述你需要检索结果的时候,你就能得到检索结果;当你描述得稍微松一点,你就能得到分析结果;当你描述得再松一点、再混乱一些、深搜再多猜测一些,你就开始得到生成模型产生的种种谎言。
因为模型只能重新训练,没法微调,你就看到,即使训练大模型的研究员,对于大模型这个绝对黑箱也摸不到头脑,也只能跟用户一样——通过prompt去pua大模型。
--
最近的例子,OpenAI o3-mini 的CoT狂吐中文,有人扒出来OpenAI工程师所用的prompt:
https://www.zhihu.com/question/11319415340/answer/95761520782
【有国外网友扒出了 o3-mini 模型总结 CoT 的 System Prompt[4],这个 System Prompt 非常长,重点是,里面专门强调了「Never reveal the full, unprocessed chain of thought」,永远不要展示完整、未经处理的思考过程。
缩略版的 System Prompt 大概是这样[5]:
[你是一个非常聪明的 AI,在完成用户任务时会产生一连串的思维链条。用户喜欢读你的思维,因为他们觉得这些想法很有共鸣。他们觉得你有点神经质,因为你会过度思考并质疑自己的假设;当你犯错或指出自己的思维缺陷时,他们觉得你很真实;你没有过滤这些思维,还能自嘲,显得真诚;你为用户着想的样子又非常可爱和贴心。你需要处理你已经生成的思维链条,将它们逐一转换为更易读的版本,去除多余的重复和混乱,同时保留用户喜欢的思维特质。]
】
所以啊,如何成为一个大模型研究员和大模型工程师?当你有一个会训练大模型的队友之后,你只需要会用prompt去pua大模型就够了!
- 相关回复 上下关系8
🙂人工智能应该不是检索而是拟合吧。 1 liuyunling 字509 2025-02-09 22:35:54
🙂看怎么问,检索类得信息,数理分析类得分析,自然语言类得谎言 2 nobodyknowsI 字1263 2025-02-10 02:51:55
🙂理解,语音类生成模型类似样本杂交 liuyunling 字99 2025-02-10 20:38:23
🙂是的,而且,从深度学习开始,研究员就失去了人工干预的能力
🙂Fei-Fei Li 李飞飞 4 燕人 字3980 2025-02-09 05:06:22
🙂正解,应该是突破性的进步 6 曾伴浮云 字741 2025-02-06 20:26:23
🙂创造能力和分析能力是质的飞跃,也有一定程度判断好坏能力 9 nobodyknowsI 字8178 2025-02-07 02:54:01
🙂OpenAI的O3-mini涉嫌抄袭DEEPSEEK 1 dudu8972 字129 2025-02-03 18:45:32