主题:如果要走向强人工智能,openai的路线根本就是错的 -- 亮子
深度学习的基本单元是神经元,每一个神经元的输入输出关系模型是最简单的线性关系 y=ax+b,结合几个简单函数比如sigmoid,斜线段函数引入非线性。然后通过网络结构来不停试错,求极值的结果。甚至网络结构都往简单了选,层层递进,而不是完全互联。
如果在这个基础上就发展出来的AI,能够超越自然进化出来的人类大脑,我想当不甘心,为人类不值…人脑这么简单?还有很多更高级的数学没用上呢,发展出他们纯属浪费脑细胞了。
这里面用到的数学函数都简单得不能更简单,没有看到任何人解释过为什么选这些而不是别的。我特别想知道有没有文献考察过这个历史。
我隐约觉得,现在的计算量这么大,如果有更合适的数学函数,会极大提高效率…就像牛顿简化了万有引力公式,这可能要到下一次人工智能周期了。
先问问自己,蒸汽机超过人类了吗?比力气确实是超过了的,在力气几乎是一切KPI的年代(力气大的是好工人,力气大的是好士兵,力气大的是好农民等等,90%以上人口这么衡量),人们是吓尿了的。但是人类没有因为蒸汽机出现而完蛋。
深度学习达到现在这个状态的理由很简单:管用。因为他们采取了自己行业满意的KPI。而只要不需要出大钱,人民是好糊弄的。比如chatgpt让大家“感觉惊艳”了,这就是硬道理。
如果你专注自己的需求,而不是宣传,发现AI差得远。比如给失能老人擦屁股、喂饭,按小时工付费,若擦死人企业法人按小时工同样事故负刑责,我看五十年甚至一百年内没有希望。类似的自动驾驶,华为只有辅助驾驶,没有智能驾驶,出事司机全责。只要不需负责,AI好得很,一到负责的时候,立刻怂了。
神经网络里,网络结构和节点之间连接的权重比节点自身的运算能力更重要。
在同样资源消耗下,单个节点越简单,就可以拥有更多的节点组成网络。通过调整网络而非节点自身,达到函数拟合的效果。
有意思的是我也以这个为对比:现在的以神经网络为基础的深度学习就像当初极限理论还没出来时候的微积分。那时候只知道无穷小能管用,但是不能理论上完备,现在深度学习也主打一个不可解释性。
我对深度学习为基础的AI的态度,和爱因斯坦对量子理论一样:我能理解现在是你的高光期,但不相信这是星辰大海的终极真理。早晚需要一个说法。
Universal approximation theorem
这个定理和目前AI实践又不太一样,但也有一定参考价值。只不过我又懒又笨看不懂,讲不了太多。
本质上是数学和神经科学相结合发展起来的。人们发现虽然大脑很复杂,但是神经元却很简单。于是提出了一个简单的模型,每个神经元简化成一个变量,加权平均之后用来得到一个是或者否的结论。后来把它变成2层,又引入非线性。但的确没有更深的理论基础。
有没有可能跨层的传导,有没有可能每层之间它们也要互相影响。只能说即使这种非常简单的结构,已经非常接近于智能了。 假如人类突然灭亡了,硅基生物统治地球了,可能这种结构就变成智能的本质了。它们的课本上就是:世界就是线性的。
除了最后一句话。
深度学习的本质似乎是对非凸函数的一种模拟。
本质上是数学和神经科学相结合发展起来的。人们发现虽然大脑很复杂,但是神经元却很简单。于是提出了一个简单的模型,
我基本是神经科学盲,没有了解过这个理论的建立过程,到底神经元真的很简单,一个简单模型就完全解释了?还是盲人摸象一样,抓到一个特征,这个模型刚好解决了一个问题,勉强能用,就一直用着。
我直觉不愿相信能产生意识的神经元这么简单。意识只是一个简单的加法效应。
纯粹就是神经学比一抹黑强了一点,数学上找了一个最简单的模型。凑一块攒一篇文章就完了。根本没想解决什么问题。
后来说你这也太简单了。咱们加上一个中间层吧。也不知道中间层有啥道理,先加上再说。结果被数学家证明你还是绝对的线形,连一个稍微复杂点的行都分不出来。这东西其实慢慢都式微了。
奈何大数据,大计算量,开始大力飞砖了。
我是觉得神经不应该这么简单。
现代数学的发展,线性理论比较完备,线性代数,线性规划,线性算子,线性泛函,都研究得通畅,然而一到非线性领域,各种不通。一般的研究思路,就是局部线性化,或者近似。
所以说人脑有什么高级功能,有多么先进,恐怕真不见得。很多人什么察言观色,其实跟打架一样,观察和快速预测,快速反应。而打架是动物普遍的技能,不需要多么高级的大脑。
蚊虫叮人的过程,快速盘旋,定位,攻击,撤离,而耗能量极小,这不应该说是智能的范围。蚊虫有多少大脑容量?
所以拿着这把锤子把所有问题都用敲来解决,敲一次解决不了的,就继续敲…世界的门还没有摸到。世界不是线性的是显然的,不然数学就不会被迫打补丁从整数系扩到复数系,从多项式到超越函数,虽然现在还远远不够解释世界。
现在的AI计算量这么大,都是因为线性代数这个锤子不一定是最合适的工具。猜想最合适的应该是高斯算从不1到100连续整数和的那个方法和公式。
最近听了不少王德峰讲中西哲学,刚好也在断断续续读《量子之谜--物理学遇到意识》这本书,参杂在一起,极大挑战了从小到大的科学唯物主义观点。深觉意识的不可琢磨和深邃。
神经元产生意识这种机械唯物主义解释太原始,中式思想有很多可以参考,甚至未来被证明是正确的。为啥意识不可能只是附体到神经元,神经元就想起一个基站的意识电磁波接收器?
蚊虫叮人的过程,快速盘旋,定位,攻击,撤离,而耗能量极小,这不应该说是智能的范围。蚊虫有多少大脑容量?
比如蚊虫的大脑只是通过OTA下载属于这种型号大脑意识的嵌入式系统,所以只需要基本的inference,所以计算量不大?
王德峰说过中西哲学的区别在于,西方去研究外界自然(客观实在),星辰大海;中国研究人生,价值体验。
我隐约感觉量子理论的方向走向是中国式的唯心体验思维。研究微观世界到了一个光子都能影响被观测对象从而创造结果,已经无路可走了。也许找到意识的起源和本质能帮助人类知识突破,不锁死在目前这一步。
我期待几百年后,人类的知识教科书会写到,科学发展400多年后,终于又回到东方,中国的心学,理学传统帮助量子理论完备,人类知识进入下一阶段。
只是线性的东西最容易被抽象和理解而已。
用的是什么方法,和机器学习自动驾驶区别在哪里呢?
大概从新闻中看到的。
它分成几个模块,比如感知模块,决策模块。感知就是理解摄像头传来的图像。这个可能也是机器学习:前面有车,有红路灯,有人等。一般决策是传统的程序:如果前面是红灯,那么我要减速;如果是人,我要减速等等。好处是简单明了,出了问题好改。缺点是越来越复杂。哪怕万分之一的可能性你也必须处理, 长尾效应。
有一类取巧的自动驾驶就是依赖高清地图。我首先有一张地图,把3维道路,红路灯等所有东西都标注好了。所以我永远知道周围静止的东西有什么,只需要专心判断动的东西了。这难度就成倍降低,但是可以想象,风险也成倍增加:万一这个路有什么变动你不知道呢?
我一直在迷惑老兄说的传统自动驾驶是个啥东东呢,机器学习貌似也不是个新东西呀,故此请教老兄。
感知、决策、控制这三块是所有的自动驾驶所必须的吧。
至于高清地图,对于自动驾驶也是离不开的,且需要经常更新。现在高清地图有个功能是高精度定位,这块是中国的优势,北斗的全面组网和5G的全面铺开为高精度定位提供方便,再加上其他传感器协助,如果把高精度定位降低到亚分米级别,对于自动驾驶将是一大助力。华为在这方面是有优势的,但遗憾的是前段时间听说华为打算放弃这块功能,不知为啥,或许是谣传,或许我的信息有误。