五千年(敝帚自珍)

主题:对ChatGPT的几点思考 -- 唐家山

共:💬175 🌺1562 🌵7
全看分页树展 · 主题 跟帖
家园 你引的这一篇非常好

讲清楚了不少东西。特别是这一段:

而GPT-3涌现出的in-context learning能力(现在其他大模型也有,比如Google的PaLM,同时不确定GPT-3是第一个涌现的,希望得到指正)和上述范式有本质不同,“过往的fine-tuning”需要更改模型参数,也就是说,换了个新模型。但是in-context learning,模型并没有变化,却能在新数据上表现更好。研究甚至发现,你给大模型一堆范例,只要对应关系整体是对的,这时候改变具体对应的顺序,大模型仍然能输出正确的结果。这真的很神奇。再重新强调一遍,模型没有变化,没有被重新训练,但是能“理解”新数据,并且表现更好!

是我思考的盲区,我需要再想一想其中的道理。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河