主题:【商榷】杨世光说,我们已经掉入中等收入陷阱了 -- 哎哟
据说训练一次,就要耗电19万度,可见训练集数量庞大。毕竟美国是互联网中心,纯中文的数据相比还是太少。
虽然GPT给出的回答都是已经有的答案,理论上并没有创造力。
但昨天故意找别扭的要求GPT写一首“关于月亮上环形山下一块歪七扭八有个手印石头的五言绝句”
GPT写的诗如下:
月明环形山,歪扭手印石。
古老与玄妙,在这微光中定格。
它存在多少时光里,目睹世界变迁。
它是否曾经被爱抚,也是否受到忧伤。
它让人想知道,万物的历史与生存的意义。
在强调了要求4句每句5个字的五言绝句后,GPT又做了一首:
月影在环山,歪石印手形。
古迹玄妙存,光中永定格。
它见证历史变,知万物生存意。
爱抚忧伤有,历史与意义有自我。
显然GPT对绝句只有4行20个字不太理解。但第二首前四句,已经完成要求。
第一首中的那句:“它是否曾经被爱抚,也是否受到忧伤。”是跟命题要求中的“手印”对应,但也有那么点诗的味道了。
好的算法加上庞大训练集反复训练之下,GTP的已经不是简单堆砌文字那么简单了。国内被限制了高性能显卡和AI芯片,又没有那么庞大互联网数据的情况下,想追上确实不容易。
原来这条路谁也不知道是不是坑,国内敢砸钱的就少。现在chatGPT走通了,而他的原理其实几年前就差不多成熟了,就是花钱砸硬件,砸人力进行人工评估干预,transformer基础的超大规模预训练模型,超大规模训练集。
清华有个GLM130B的AI,一开始也是没钱没硬件,后来还是硬件厂商赞助才训练出来,效果也不错。
最多再过一年半载国内类chatGPT的文字生成AI也会遍地开花。
当然头汤是喝不着了
- 相关回复 上下关系8
压缩 4 层
🙂还有人工智能,也在拉大和美国的差距 11 东东山 字954 2023-02-06 05:15:25
🙂关键底层也得跟上 2 Swell 字241 2023-02-07 15:53:46
🙂chatGPT应该也就是牛皮更多 22 泉畔人家 字5249 2023-02-06 22:14:38
🙂GPT的技术核心Transformer模型有数百亿个参数
🙂只要知道chatGPT这条路能走通,剩下就是砸钱的事情了 3 死扛着 字519 2023-02-13 01:30:15
🙂泉大这篇有失水准啊 6 Swell 字1053 2023-02-06 23:58:23
🙂没有人搞 AI甲骨文判读? 赢大奖 字0 2023-02-06 22:46:59
🙂这里程序员多,应该知道AI最重要的不是模型而是数据集 2 亮子 字174 2023-02-06 18:51:34