主题：河里程序员不少，应该知道对人工智能而言数据的重要性远高于模型 -- 亮子

AI的热门，除了这两个月语言对话的chatgpt，还有一个最近半年的图像生成的扩散模型。

扩散模型最初提出来的时候，需要3000次迭代。清华的几项研究令迭代减少到了几十次甚至极端情况的十几次。

说中国没有创新能力，这并不合适。

计算机和互联网刚刚开始普及的时候，Data Entry 的工作很吃香。大量的打字员、文秘转行干这个。但几年之后等大多数有用的旧数据都输入了，新数据输入自动化了，这个行业就基本消失了。

这个打 Tag 的工作也一样。

大项目的标签管理核验几乎不可能

从象棋开始，越来越多的研究已经开始注重自学习、自模拟

最初上网阅读的年岁里，看到很多能理解为输入法相关的错误，但是也有很多显然是OCR相关的错误识别、拆字错误。ocr的应用影响还是比较早的。

后来互联网带宽宽敞之后，更多东西直接一个图像扫描，pdf、djvu、caj什么的。

小规模的模型实验室里玩玩那种中国还能追赶下美国，到了大规模的模型，动不动几百上千亿个参数一次训练就得好几百万美金的时候中国就跟不上了。感觉归根结底还是缺钱缺数据。

很多科技“基础设施”上没有明显的回报，没人做

AI的重大突破，原创成果都是老美的，我们一般是等别人开源了，然后逮着猛灌水，美其名曰微创新。现在别人不开源了，考验的时候到了。

只不过，社会物资充裕，跌倒底层确实影响尚可。

大萧条时期，跳楼的也是一堆堆。

缺少关键步骤的原创能力。例如chatGPT里面的奖励机制，以前国内是没人做过

所谓一次训练几百万美金，那是忽悠外行的。实际对于头部大厂，早就建好了上万块卡的集群，训练一次也就花点电费。这些大厂平时也都训练无数模型在跑，横竖都是花电费。区别就是跑的模型大多数都是尝试，只能提升那么一点点。

如果堆数量能赢，中国早就胜利了。