主题：【原创】围绕脑科学而发生的若干玄想 -- 鸿乾
家园 从玄想到现实：征求志同道合的研究者 自从开始这个题目以来有半年多了。通过和大家的交流，也通过激励自己（要在这里讲事情，自然要驱动自己查找资料等等），得到了很多思想上的收获。说实话，我所获得的已经远远超过了当初的想象。当初仅是想来起一个楼，把心里面的东西找个地方发散一下。但是在这个过程中，各位河友的反馈和想法引起我思路激荡，促使我学习到了很多新东西，产生了若干的新的想法。这个经历，是当初完全没有想到的。这个经历，我认为堪称宝贵。在这里衷心谢谢大家。大家都能在一起很好讨论，是非常难得的缘分。
谢谢铁手和西西河。我感到铁手开了一个很好的讨论平台。如果善加应用，可以很好帮助大家，使得大家可以自由地舒心地开展各种讨论，可以做很多很有用的事情。这种一个人主持一个题目，大家自由参加，我个人认为，是很好的形式，可能比较接近研究生院里面的读书班。我曾经经历过这样的读书班，大家集中一个题目，读几本同一个方向的书，定期交流，比较发散，但是又相对集中，没有压力，但是又有足够的动力，是一种非常有效的自我启发式的教育和科研的方式。现在可以利用现代网络技术，把这种形式的讨论开到网上，就是说全球的人都可以很容易参与，的确很好。希望能够有更多的人来发挥这里面的潜力。说不定铁手可以往这个方向发展，开发出一种能够真正用于做事的网站来。好像现在并没有这样的网站吧？SourceForge之类的，太过封闭，也太小众，界面也有大问题。那些大众的社交网站，基本上不可能做事，讨论认真的话题，做实在的东西。
当然了，这样的讨论也是有要求的。至少要求参与者基本上比较一致，而不至于形成冲突。而且要求一定的量的参与者，否则就很冷清做不下去了。建立适当的管理的机制和软件功能，也是非常必要的。
本来就是来论坛上说说自己的想法，但是，进程中，的确启发了我。讨论到这里，我想，我对某些方面已经形成了比较完整的思路，感到这些思路是很可能可行的。因此，感到不应该仅仅停留在表面，说说想想而已，而应该继续把这些思路往深入的研究方向做，进入实质性的研究，即真正投入人力物力的研究，而且要以达成某种实际目的为目标。这是一个激动人心的时代，激动人心的技术方向。
因此，来征求志同道合的研究者。是否在西西河这个圈子里面有对研究脑内回路算法和具体应用有强烈兴趣，有很强的科研能力和自我驱动能力和条件的朋友？如果有刚毕业或者即将毕业的学生，愿意找这方面工作的，欢迎来联系。在中国或者国外的都好，希望专业是计算机数学物理电机等理工科。
当然，将主要在网下联系范围内寻求。为什么要在这里征求呢？因为在这里有很好的互动，自然想到这里，而且我想试试用这种网上征求的方式，说不定是一种很好的方式。也欢迎这里的河友介绍其他的朋友来联系。
有兴趣的朋友，请用站内信箱联系，然后我们再从那里出发。
本帖一共被 3 帖 引用 (帖内工具实现)家园 今天才看到这个电视系列：Brain Game Natgeotv的电视系列，Brain Game：外链出处
看来很有意思。对我们了解脑内的活动很有启发，当然了，这个节目超级好玩。
总之，要理解一个东西，就需要对这个东西多方面玩，切开来，装回去，反复玩。对脑也如此。不过，脑比较复杂，玩起来不容易。
家园 玄想7：来幻想一下元学习机 首先推荐这个视频，The Next Generation of Neural Networks：外链出处
这是这个领域的影响最大的家伙在影响最大的公司的讲课，值得仔细看。这也是这个时代的学习的一个典型例子。倒退15年，除非你人在那个公司或者学校，是没有办法听这样的讲课的。借助现代工具，可以了。这是远程学习的开端，仅仅是开端，以后的远程学习的发展将远超于此。
杰夫韩顿在其中说得很好，目前我们不知道脑里面究竟在做什么，我们是根据从外面了解到的情况来推断，并且做一些工程上的事情来模拟。真正需要两方面的工作，一方面是从工程上根据了解到的外部情况来模拟，一方面是科学上仔细了解脑里面在做什么，然后指导工程上的工作。正是秉持这种理念，韩顿的确进了一大步。他的深度学习已经成了当今的显学。大家可以看他讲课中的那几个视频，很有趣，看了应该对这个新一代的神经网络有清晰的了解。据说他现在去谷歌专门做这个去了。是否有人了解他究竟去干什么？这个信息应该有趣。
这就要说到我这次玄想的主题了，元学习机。元学习机，就是最基本的学习的单元，或者说是最小的具备学习的单元，而且可以用这些单元来搭建更大更高级的学习机。有没有这种东西，我不知道。我也不知道在现有的文献中是否有人已经提出乃至建立了这样的东西。因此这里请教大家，如果能提供索引和链接，找出文献中和这种东西相关的，不胜感谢。但是，我相信这个东西是比较重要的，也恐怕是可以做出来的。所以加以幻想。如果真是有这样的东西，或者说，能够建立这样的硬件和软件产品，那么，就有可能开辟新的计算路线，而不再仅是用冯诺曼机了。
还是遵循那种思路，先来从外部观察脑活动，以获取支持的信息。基本的想法是，神经组织接受到外来信号后，必然要做信息处理和学习。不但人脑内部如此，就是更低级的生物，例如蚊子，更甚至于植物，都如此。我们再来看一下，简单生物，例如苍蝇蚊子，是怎么对这种信号输入做处理的。下面是网上找到的一段：
美国加州大学河滨分校的昆虫学家研究了传播黄热病和登革热的雌性埃及伊蚊（ Aedes aegypti ）会对二氧化碳气流和人体气味有什么反应。研究 报告 发表于《实验生物学杂志》（Journal of Experimental Biology）10月刊。报告指出，蚊子先是被呼出的二氧化碳吸引，然后朝向皮肤气味方向而来，最终着陆在人体上。
研究结果可能可以帮助科学家搞清楚怎样将气味用于陷阱来诱捕蚊子。黄热病每年造成3万人死亡。登革热每年感染5千万到1亿人，造成近50万人住院治疗，1.25至2万人死亡。
试验中研究者将雌性蚊子放入风道中,拍摄下它们的飞行轨迹。研究发现，蚊子发现一股二氧化碳气流时只会短暂逆风飞行，但如果二氧化碳气流浓度会像生物呼吸那样波动的话它们就会坚定地逆风飞过来。此外，蚊子也会被皮肤气味吸引，当气味范围广且强度不变时（说明蚊子接近了可吸血的对象），蚊子最受吸引。
研究者表示，相比气味，二氧化碳引发了蚊子更快更直接的逆风飞行。不同的二氧化碳浓度（100%到0.5%）所引发蚊子飞行的反应时间、运动持续时间和速度都差不多。
科学家表示，蚊子的二氧化碳感受器能让它们对哪怕最少的二氧化碳气体作出即时反应。单单是二氧化碳就能够吸引蚊子，而不需要其它气味的辅助。而皮肤的气味则在蚊子接近吸血对象时才变得重要起来。此外，在感受到二氧化碳后，蚊子对皮肤气味的敏感度也会大大提高。
通过这样的描述，我们可以理解，蚊子身体中应该有这样的感受器和处理器，即感受到不同的浓度，然后提交处理器处理，而处理器可以做出准确的判断，只有在浓度的变动幅度和人体呼吸类似的时候，蚊子才会判断有人了，要过去吸血。
据说蚊子苍蝇的神经系统中神经元不过几万到10万，而其中用来做气味感受和反应的，恐怕就更少了，大多少恐怕还是做飞行控制的吧。但是，这么些神经元，就可以做如上所说的那些相当精细的感受和反应。现代计算机的计算功能远超，是否有软件能够做如此精细的判断和控制？
因此，做下面的这些推想，就比较合理了。
最简单的外来信号是什么呢？我想，就是两个标量。这两个标量可以是同时输入，但是由不同的感受部位感受的，例如视觉和听觉，也可以是不同时间输入，例如蚊子前一时间感受到一个浓度，下一时间感受到另一个浓度，总之是两个标量输入。我猜想，恐怕没有比这种信号输入更简单的输入了。而且，其他的任何信号输入，都可以分解成若干组两个标量的输入。目前我对这个分解并无证明，也没有心思去做，这就是搞着玩而非专业的局限。但是从感觉上看，应该没有大问题。
这两个标量，输入到蚊子的最初级的处理器，那么怎么处理呢？当然应该是分别两个标量的大小了。说到这里，恐怕有人要说，这简单，做减法就可以了。但是且慢。我们知道，单个的神经元是不能做减法的。好像没有生物物理或者生物化学的机制让神经元做减法。但是，一群神经元，应该是可以做减法的，否则无法解释蚊子能够做的信息处理。那么，什么样的一群神经元，通过什么样的方式集合和联结起来，然后通过生物物理或者生物化学的机制，就可以很有效做这个减法？而且，做了减法后，可以记住若干重要的量，例如两个量的差，等等。
这个问题，就是元学习机的问题。这样的一群神经元，就是元学习机。我猜想，这样的元学习机，通过叠加，就可以组建成很强大的计算能力，以及学习能力。
最后，举一个生物界的强大的计算能力的例子。我们知道蝙蝠用声纳来抓蚊子吃。但是，空中除了有蚊子外，还有各种悬浮的东西，例如各种小的碎片。蝙蝠完全可以区分。说起来比较惊人，蝙蝠是通过多普勒效应来区分的，因为蚊子要扇翅，就可以产生超声的多普勒，蝙蝠就可以区分。那么蝙蝠的神经元有多少？有数据说，大概是5x10^7个（人脑有10^11个）。这么一些神经元，就可以做如此精密的计算。我估计现有的超级计算机和最好的软件，也未必能够做这样精细和迅速的计算。我们没有能力做一台超声多普勒雷达来探测蚊子，大型的都不行，还不要说微型的了。
家园 反射和智能的区别是什么？ 我直觉的认为元学习机只能获得反射程度的智能。元学习机可以解决，人类底层的运动能力和某些本能，但是不可能获得智能。
要想获得智能，也许需要增加部分元，建立某种基于时间的体系。这样元学习机就可以针对过程进行学习和预测。过程不一定是video，它一定要包括当时元学习机的阶段成果。这里应该存在某种反馈机制，去线性或非线性的预测未来的阶段成果（灵感）。由于存在对未来算法的预测，元学习机的效率可以大大提高。这种效率的提高就可以体现为智能。
家园 我的想法，智能是基于感受的，和感受反应有相同的原理 恐怕不能仅说反射，因为感受反应远超过反射。例如我们说到的蚊子，其感受反应是一个相当复杂的过程。可以说，如果要用现行的计算机语言来开发这个系统，是可以做到的，但是，恐怕没有很多万行程序，做不好。但是能耗就非常可观。蚊子的神经系统做这些事情，耗能是非常非常少。
对此初等生物，就是感受反应了，当然谈不上智能。但是，具备相同的底层原理的神经系统，到了哺乳动物那里，就上了一个层次，就具备了智能。并不是因为这些底层原理有什么不同，而应该是系统更大了。
基于这样的想法，我提出元学习机的概念。能够做好元学习机，就可以依靠同样的原理，来做更高级的事情，直至智能。这是基本想法。但是，目前元学习机还是处于非常非常初期的探索阶段。
家园 找到一篇很有关系的文章 Same or Different? A Neural Circuit Mechanism of
Similarity-Based Pattern Match Decision Making 外链出处
不过他们做的还是比较复杂的，还没有深入到最简单元学习机上。他们的方法和里面的资料都很有意思。有兴趣的可以很仔细看看这个文章。
家园 仔细看看蚊子苍蝇的神经系统：极端高效的元学习机 这里是网上找到的，THE NERVOUS SYSTEM：外链出处
蚊子是通过触须来感知气味的，因此处理这些感知信息的就是那个很小的脑。其实它们的脑还不是真正的脑，就是大一些的神经节。
Deutocerebrum: The second pair of ganglia process sensory information collected by the antennae.
这就是处理气味感知的部分。从图上看，很小。我做个大胆的估计，也就是几千个神经元。不知是否有昆虫的专家来说明一下，是否我是对的。如果我是对的，这几千个神经元组成的气味信息处理器，的确是非常高效，非常成功。进化真是神奇。现有的软件系统对这样的高效处理器，就是望尘莫及。如果能够搞清原理，完全可以大幅度提高软件系统的效能。
我猜想，这几千个神经元可能组成若干个元学习机。这样看来，一个元学习机，可能也就需要几百个神经元。下面晓兵好像有些嘲笑神经元的效能（不能做减法，只能做系综平均），那么看看这样的高效信息处理器。当然了，究竟这些神经元是怎么做的？不能做减法，但是可以区分浓度，可以区分大小。这就是问题了，这就是大问题了。
家园 继续玄想：元学习机和韩盾的Autoencoder的关系 看树河友最近没有来了。但是他的帖子应该提上来：比如Google那个发现猫的工作：链接出处 这是很有趣的帖子，请大家不要错过。
他的这个帖子中说到的Autoencoder就是韩盾的工作，可以见我前面所引的韩盾的视频。
这个Autoencoder是一个很大的人工神经网络，估计要用很大的硬件资源来运行。不过，这个人工神经网络中，有一个最基本的部件，即RBM，就是限制的波尔芝曼机器。整个网络就是用这个部件堆砌起来的。这个东西，在最近几年中极大推进了机器学习的研究。看树河友讲到的这段：
写到这里，我真的是非常非常的兴奋，我们可没有告诉机器，说你要给我抽象出个人脸，我们只是让机器不断的看，机器也没什么方向，它只是觉得，我得找到一种最好的抽象的关于图像的模型，让最后一层我还原出来的图像和输入图像一模一样，免得你又骂我！结果，“人脸”出现了！为什么会如此神奇？也许是因为，我们的算法和上帝的算法一样，我们的大脑和人脑结构一样。同样的输入，自然会产生同样的结果。如果上帝的算法变了，也许人都无法形成“人脸”这个概念。
这种兴奋感，就是这种科学进展的准确描述。
那么这个RBM和我讲的元学习机有什么关系呢？我不清楚。但是隐隐感到，可能的确有什么比较重要的联系。
家园 找到了google的那个人脸猫脸的文章，链接在这里 Building High-level Features
Using Large Scale Unsupervised Learning外链出处
还有就是纽约时报的这个文章：
家园 路径积分 vs 机器学习 when I get time, I will read and comment on the following:
"Path Integral Reinforcement Learning"
http://homes.cs.washington.edu/~etheodor/papers/LearningWorkshop11.pdf
1.
相关搜索- 上载www.pudn.com 程序员联合开发网
s.pudn.com/search_uploads.asp?k=lingo
轉為繁體網頁
... 最优,并在此基础上以路边约束、动态避障和路径最短作为适应度函数,提出(322KB, .... 72. jiqixuexi.rar - 这是博弈论算法全集第三部分:机器学习,其它算法将陆续推出. ..... 它所做的工作是将积分方程化为差分方程,或将积分方程中积分化为有限求和, ...
和机器学习和计算机视觉相关的数学- godenlove007的专栏- 博客频道 ...
blog.csdn.net/godenlove007/article/details/8510392
轉為繁體網頁
2013年1月16日 – 和机器学习和计算机视觉相关的数学之一（以下转自一位MIT牛人的空间文章， ... 而在统计学中，Marginalization和积分更是密不可分——不过，以解析形式把 ..... 目录的路径不能含有中文，不能含有空格，以字母开头，路径别太长。
科学网—《李群机器学习》李凡长等- 中国科大出版社的博文
blog.sciencenet.cn/blog-502977-684746.html
轉為繁體網頁
2013年4月28日 – 从历史经验看，研究机器学习应该“以认知科学为基础、数学方法为手段、 ... 途径，并沿着这样的路径来构建机器学习的理论、技术、方法和应用体系”.
一篇演讲By 浙江大学数学系主任刘克峰- bluenight专栏- 博客频道 ...
blog.csdn.net/chl033/article/details/4888555
轉為繁體網頁
2009年11月27日 – 物理学家学习数学的方式也许值得我们借鉴，Witten他们大概从来不做 ... 虽然Feynman的路径积分还缺少严格的数学基础，该理论因其物理上的 ...
机器学习前沿热点–Deep Learning - 大枫叶_HIT - 博客频道- CSDN ...
blog.csdn.net/datoubo/article/details/8596444
轉為繁體網頁
2013年2月20日 – 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络 ... 这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。 .... 访问：1889次; 积分：113分; 排名：千里之外 ...
2.
the following papar
"Path Integral Reinforcement Learning"
http://homes.cs.washington.edu/~etheodor/papers/LearningWorkshop11.pdf
Abstract—Reinforcement learning is one of the most fundamental
frameworks of learning control, but applying it to
high dimensional control systems, e.g., humanoid robots, has
largely been impossible so far. Among the key problems are
that classical value function-based approaches run into severe
limitations in continuous state-action spaces due to issues of
function approximation of value functions, and, moreover,
that the computational complexity and time of exploring high
dimensional state-action spaces quickly exceeds practical feasibility.
As an alternative, researchers have turned to trajectorybased
reinforcement learning, which sacrifices global optimality
in favor of being applicable to high-dimensional state-action
spaces. Model-based approches, inspired by ideas of differential
dynamic programming, have demonstrated some sucess if models
are accurate, but model-free trajectory-based reinforcement
learning has been limited by problems of slow learning and the
need to tune many open parameters.
In this paper, we review some recent developments of
trajectory-based reinforcement learning using the framework of
stochastic optimal control with path integrals. The path integral
control approach transforms the optimal control problem into
an estimation problem based on Monte-Carolo evaluations of a
path integral. Based on this idea, a new reinforcement learning
algorithm can be derived, called Policy Improvement with
Path Integrals (PI2). PI2 is surprising simple and works as
a black box learning system, i.e., without the need for manual
parameter tuning. Moreover, it learns fast and efficiently in very
high dimensional problems, as we demonstrate in a variety of
robotic tasks. Interestingly, PI2 can be applied in model-free,
hybrid, and model-based scenarios. Given its solid foundation in
stochastic optimal control, path integral reinforcement learning
offers a wide range of applications of reinforcement learning
to very complex and new domains.