主题：【原创】神经网络和人脑运作的数学原理是相通的 -- 真理
家园 【原创】神经网络和人脑运作的数学原理是相通的 神经网络起源于上世纪五十年代。在那之前，心理学家Donald Hebb已经提出了后世被称作Hebbian theory的假说，即 “neurons that fire together, wire together”。该理论基于神经可塑性原理提出，两个神经元之间的连接会因为重复性的神经活动而得到加强，反之则会削弱。这个原理经过几十年的研究已经被视作铁一般的事实。神经网络就是这一原理在图灵机里面的具体应用。神经网络用在行列式运算过程中用反馈来调整权重的办法模拟神经元的功能。这虽然人脑不能说动物大脑严丝合缝，但是数学原理是相符的。
举个例子，用于图形识别的卷积神经网络的数学原理（Convolutional Neural Networks)可以说和高等动物的视觉系统如出一辙。以人为例，人脑视皮层V1的神经元都拥有其“感受野”，也就是其视网膜上的一块区域对其的投射，区域之内，每个视网膜感光细胞对视皮层神经元都有不同的权重，该权重可以为正效果，也可以为负效果。这样的结果是神经元可以对某种特定的图像特征有反应。例如下图的感受野，对应的是一个光斑。
外链图片需谨慎，可能会被源头改同样类似的，还有的神经元能识别暗斑、直线、边缘、和特定的运动等等。人脑的视皮层神经元就这样一层一层地，把人眼看到的图像分解为大量的基本结构和元素，然后用神经元组成的实体网络的动作电位活动代表你看到的图像。
外链图片需谨慎，可能会被源头改卷积神经网络复现的，正是这样的功能。任何一副图像在计算机里都可以简化为一个矩阵。计算机可以对图像进行卷积计算，即用一个小矩阵（kernel）对图像矩阵进行滑动的求和，生成一个小一些的新的矩阵，那个小矩阵的作用就像是一个感受野。其形成的新一层的矩阵中的每一个数字就代表视皮层里的一个能感受特定位置上特定形状的神经元。Deep Learning和人类的视觉系统一样，就是通过多层的矩阵或神经元，将图形解构为一个个小的特征，用真的或者假的神经元进行量化描述。
人的视觉系统需要幼年关键期的发育和学习，而卷积神经网络同样需要学习。一个幼儿通过成年人的教导和大量观察周围环境促进自己视觉系统和认知能力的发育。而卷积神经网络也就是将大量人工标注过的图片输入其系统，从而能够真正的“看懂”这些图片。
比如，一个幼儿看到大人拿起一个苹果，告诉他这是一个苹果，从而认识了苹果。表面上幼儿似乎一下子就学会了，但他其实之前已经看到了大量的类似图形，已经积累了很多的数据。一个卷积神经网络被人输入数百张图片，里面有的有苹果，文件名也被标注为有苹果。另外没有的就说没有苹果。经历反复学习，这个卷积神经网络也能识别任意图片里面有没有苹果的存在。在这一过程中，人脑和电脑用类似的原理做了同样的学习，也就是认识了一个苹果。
人脑的优势是一些功能和结构是先天就存在的，例如很多形状的感受野在胚胎发育过程中就形成了。而计算机的卷积神经网络一般得在设计和训练过程中从头构建每一个kernel有多大，有多少个，有多少层。反过来，计算机的计算量是人类无法比拟的。所以计算机的神经网络的功能会胜过人脑。
除了视皮层，人脑的其它功能也并不神秘，如听觉其实是耳蜗将不同频率的声音用不同位置的耳蜗膜来代表，这其实就是傅立叶变换。计算机AI处理声音信号或者电讯号也是同样的数学方法。其它的运动、学习记忆也没有什么神秘不可测的新原理。因此可以说，任何人脑能做的事情，计算机的神经网络最终都能做到，而且做的更好。
我目前唯一不知道的是计算机神经网络将如何产生独立的人格。因为上面介绍的都是人脑某一方面的功能，而对应的神经网络也只能实现这一方面的功能。那么如何将人脑的功能组合起来，让部分的相加产生质变，形成一个真正的人，这一点神经生物学还没有搞清楚，而计算机神经网络怎样做到也不清楚。不过这两个问题或许是同一个问题。不久前有个实验室发表了用AI欢迎大脑神经活动为图片的论文，也就是用fMRI测大脑视皮层活动，然后用算法把这些视皮层的信号倒回来算出大脑正在思考怎样的图像。把这样的研究推而广之，神经科学家早晚能够测量整个大脑的活动，然后用计算机还原人脑的想法，在此基础之上研究人类思想的奥秘，最终让计算机拥有真正的人格。这不是高不可攀的难题，很可能我们这些人有生之年都能看到。
通宝推：bayerno,潜望镜,川普,家园 与数学无关，永远不要去做说服人的事 这个真的是我的毕生精华，与你共勉。 人只能被忽悠，因为人究其一生建立的大脑认知模型的鲁棒性很低，这很可能是人类智能的天花板，年龄越大overfitting的结果也越大，当然不是没有例外，但是能够认识到并理解自己的overfitting本身就是小概率事件。
然后遇到参数变动范围太大时，接受认知模型中可以容纳的概念比推翻认知模型重新构建的可能性要大得多，虽然也很难，这个可能是人类面临过的远远超越核聚变的不可跨越之挑战。
比如人脑就是一种AI这样一个认知，估计99%的人类无法理解与接受直到生命终结。 那么问题来了，大自然对这样的事情一般怎么处理呢，这个就不用猜了吧。
家园 事实上，大部分人根本不理解地球是圆的 他们只是从书本上读到这个句子，然后在字面意义上记住了。至于万有引力是怎样防止人 “掉下去” 的（其实根本不存在掉下去的问题，上下本身是引力方向定义的），大部分人穷其一生也搞不明白。
所以一般人听说北京到纽约的直连航线靠近北极，他们是不相信的。他们的地理概念还是四方的地图。
连地球是圆的尚且如此，别的就更不用说了。毛主席说严重的问题是教育农民，我比较悲观，我觉得大部分人永远也不会理解什么是社会主义。
换句话说，共产主义很可能实现，但未必是由人类来实现。人工智能已经出现在地平线上，居然还有人争论人工智能可能不超过人类。他们完全不相信留给人类的时间已经不多了。
家园 现在从GPT这个事回头看大脑 说明虽然AI结构也重要比如transformer这些，但是training也很重要。 人类大脑一出生就类似具备了先天的各种进化得来的硬体基础，低耗能脑细胞算力，与内置的先天各种计算结构，生物水平上同一物种内差别不大。 但后天的training，教育，环境，经验等对于最后这个产品模型的性能会导致天壤之别也就不奇怪了。 随着GPT热点引起对其生态圈的广泛关注，AI的发展对人类自身智能性质的理解也带来了很多启发。
其实现代脑神经科学与心理学对人脑的特点的了解已经比以前强了很多，随之发展起来的很多相关产业链甚至走入了日常生活并参与到塑造改变历史中去了。这一百年来人类本身对人脑的关注，利用（比如媒体）甚至借鉴（比如神经网），都是史无前例的。
夸张一点看未来的话，人脑会不会沦为一种廉价低能耗高单位输出的未来优质算力资源，细思极恐。
家园 这99%包含哥德尔吗？ 包含彭罗斯吗？
“人脑就是一种AI”还只是一种假说，不接受是很正常的。
AI如果是基于计算的话，那目前人脑不可能是AI。因为人脑能理解不能计算的东西。
比如说，计算只能得出可计算数，而可计算数只有可数多个（也就是和自然数数量相等）。而实数是不可数的，也就是说几乎所有实数都是不可计算数。随便一个都能让AI死机。
即使可计算数也不一定能算完，因为很多可计算数是无限不循环的，而计算是离散的，计算的每一步都需要时间，所以像根号2这样的可计算无理数也是永远计算不完的。
所以如果考虑到工程实现的问题，现有的计算能力要真正达到人类的水平其实也是远远不够看的。
通宝推：燕人,家园 你认为电脑不能理解根号二？这就太过分了 你说一般的计算器不能理解根号二，我是相信的。计算机随便一个程序语言，可调用的函数就极其大量，不能理解根号二？你一定是在开玩笑。
倒是大部分人类根本不理解实数。我可以跟你保证，绝大多数人对实数的理解就是字面上的无限不循环小数，跟地球是圆的一样。背下来，但是根本不理解。
家园 你这是实数和无理数搞混了吧 绝大多数人对实数的理解就是字面上的无限不循环小数
这是无理数啊。。。
家园 一时嘴快，多谢指出 反正实数基本上都是无理数，在实数轴上随机选一点，是有理数的概率为零。😄
家园 其实这个回答很简单：人脑是不是图灵机 回答是，那人脑和计算机等价；如果不是，那就不等价。
迄今为止，所有的计算机，包括人工智能，都没有跳出图灵机的范畴：这个机器可以运行一连串的指令。即使是并行计算，对于每一个CPU来说也是运行一连串的指令，只不过这些指令的输入取决于其他CPU的输出。
所以人脑是不是也是顺序处理一连串的指令。人脑的机制里面有没有非线性的部分，这个我也不知道。但是看起来像是一个非常非线性的系统，能够异常高效的处理各种信号。
通宝推：闻弦歌,家园 图灵机是一个模型，类似质点和刚体 人体当然不是质点也不是刚体，但是在许多近似条件下，使用质点和刚体模型，是合适的。
计算机也是，你说现在的二进制计算机基本可以看作图灵机，那我赞成，至于人脑在多大程度上类似图灵机那也不好说。
但是我反对的一点是，我不认为人脑高效。事实上人脑只是在处理熟悉的事物时才高效。一个人成年要十八年，接受各种训练，即便如此，到了工作岗位还需要一两年熟悉，这个效率是很低的。人工智能花同样的时间，可能进步更快。
而且人脑走捷径
家园 图灵机是上限而不是下限 图灵机是计算能力的上限，现有的计算机从能力上来说达不到这个理论的上限，即使是未来的通用量子计算机也是如此。而如果人脑的能力超过图灵机（这是有可能的）那么计算机就永远不可能超过人类（从能力上）。
.
.
.
而效率考虑的是计算的复杂性问题。这个除了硬件结构还要考虑算法。所谓的量子霸权就是指（在某些问题上）量子计算机的计算效率可以大大超越经典电子计算机。而这个问题之所以有争议就是有些算法可以使经典电子计算机在理论上表现和量子计算机差不多，所以目前的量子霸权也有可能是更有效的算法还没发现。
家园 人脑起嘛一点目前超过图灵机 图灵机里有一个关于停机的概念，就是给出一通输入之后，会不会导致无法输出，也就是死机，机器就停在这一步了，没法往下走了。
数学意义上的避免死机，即如何设计一个机制，确保这件事情不会发生，这是不可能的。
从目前的计算科学来看，即使是把问题限制在非常小的一个范围内，不涉及到所谓的人工智能，单纯的数值计算，避免死机也是不可能的。只能是死机之后重启，而且这个死机是人来定义的（对机器而言并不是，陷入死循环的计算和正常计算并没有差别）。
当然，这并不意味着人脑高于电脑，这只是问题的一个方面
家园 停机问题只是不可判定问题的一种 莱斯定理证明：关于计算机程序的任何一个非平凡特征都是不可判定的。
这里的非平凡特征简单说就是一部分程序有，一部分程序没有的特征，也就是需要判定的特征（平凡特征是所有程序都有或者都没有的特征，所以也不需要判定），包括停机，内存泄漏，被0除等等。
这些不可判定问题以及哥德尔不完全性定理，都和“自指”有关，也就是“理发师悖论”。人类虽然也不能说解开了这些悖论，但至少有跳出这些悖论的能力，但计算还不清楚有没有类似的能力。
家园 人脑当然高效啊 你不能按照年来算，得按照计算数量来算啊。
计算机通上电，没选择，每秒十的九次方。一天计算量超过人几辈子。
人脑，杂七杂八的，偷懒，睡觉，用来想正经事的时间有多少，十八年能不能抵得过计算机半个小时？
人脑的特点，有点像机器学习的学习的学习。在一层层非常抽象的概念为基础上进行总结。机器学习停在最底层。但更深层的问题是它到底能不能上来？目前都是咱们把最底层做大做强。但是飞机比汽车快10倍，不是你弄十辆汽车一起开就比飞机快这个道理。而是人脑是怎么做到的，这个问题没解决，就还不是真的智能。
目前的进步其实是：我把人的所有关于语言的问答都总结一遍。你问我一个东西，我在大模型里找一个最像答案的东西回答给你。这个模型即不懂你问的，也不懂它回答的。相当于大号搜索引擎。
- 复 人脑当然高效啊
家园 这个叫元学习 也就是关于学习的学习，目前这个也是人脑特有的能力。人如果发现通过一个方法达到某个结果很难或者很慢，或者根本就不行，会修改原来的方法或者彻底换一种新的。目前的AI还没有这样的能力。
关于这个问题，目前到是有两种模型相关，就是哥德尔机和AIXItl。两者都是业界大牛提出来的，然而遗憾的是还都没有实现，而且即使实现了也受哥德尔不完全性定理的约束，也很可能比不上人脑。
哥德尔机是一种假想中可以进行自我完善，从而以最优的方式解决问题的通用计算机程序。哥德尔机基于递归的自我提升架构 (recursive self-improvement)，即当它能够自我证明新的代码提供了更好的解决方案时，它会自动更新为更优的代码 。哥德尔机是由Jürgen Schmidhuber (LSTM网络提出者) 于2003年提出。因为Jürgen受到库尔特·哥德尔的数学理论的启发而创建该模型，所以命名为哥德尔机。