五千年(敝帚自珍)

主题:铁索连环进行中?浅谈一下李强的经济操作 -- 拜吨

共:💬827 🌺4299 🌵45
全看分页树展 · 主题 跟帖
家园 openAI算摘桃子还是原创?

厘清这个问题,才能解决什么是创新的问题。

实际上是谷歌工程师2017年12月4号发表的Attention is all you need论文,大家都是在后面摸索,包括谷歌本身,对这种论文也是将信将疑。因为对于scaling law,大家都没有把握。相关性,贝叶斯条件概率等早就被业界广泛使用在自然语言处理上了。这篇论文能不能产生出乎意料的效果,事实上谁也讲不清。大语言模型的复杂性并不高,Meta开源的核心大语言程序,用C语言写的,只有几百句。

大家就是赌而已。openAI找到了微软这个大金主,最后发现了出路。从原创性来说,openAI也是孺子牛。2020年的时候,中国的阿里和华为都先后开始立项研发大语言模型,2021年华为就发表了盘古大模型,阿里旗下一直开源的通义千问,它的训练材料截止2021年3月。为什么中国没有比openAI先走一步呢?首先是算力受限制,其次是钱不多,舍不得挥霍。

中国的科研效率不高,我同意,但是建立中国的基础科研(期刊)——创新运营(花街风投)体系短期恐怕效果不大,因为基础科研绝大部分都不会产生产业效应。韩国人诈唬室温超导体的时候,中国有上千家实验室在复现,最早用理论解释的是中国科学家,最早发现关键转折的也是中国科学家。因此中国不缺优秀科学家,但是缺资本,缺敢于真的风险投资资本,而不是那些名义上的风险投资,实际上的PE。为什么呢?中国没有良好的鉴真体系。

按照我的说法,扫荡学阀体制就能大大解放中国科研。应该鼓励年轻科学家发现那些学阀们弄虚作假的证据,一旦发现严厉处罚,从解职到追究刑事责任。学术圈子里面不再人哄人,人骗人,讲真话,相信敢投资的人一大把。

通宝推:风的笑容,empire2007,闻斜阳,广宽,时间的影子,天马座,llama,nettman,脑袋,青青的蓝,东山之石,赵美成,
全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河