主题：【原创】围绕脑科学而发生的若干玄想 -- 鸿乾
家园 我的工作是这样的 我写了个程序，程序的目的是“学习词语”，我希望它可以达到2岁左右小孩的水平。
每个神经元都是一串字符，例如 0A，10，0A0B等等。
初始的神经元从00-FF,一共256个。
规则只有一个，拼接：就是把两个神经元的字符拼接在一起去形成新的神经元。
我提供一个训练文本，就是把一段文本用二进制方式输入。
——————————————
程序逻辑是
1、按照神经元权重随机激活一个神经元
2、被激活的神经元去拼接一个未拼接过的神经元并形成一个新的神经元
若新神经元在训练文本中存在，则被激活的神经元权重增加，否则不变。
持续重复以上过程。
——————————————
通过各类不同的训练文本的输入，通过大量的迭代，来观察整个程序的运行结果。主要观察形成了哪些神经元及其权重。
所形成的神经元和训练文本密切相关。
一些不完整的经验总结
1、由于汉字是由2个字符组成的，在全随机的情况下，识别出汉字的时候的概率相当低。但是只要教一个文本中有的汉字（就是预先生成一个2个字符的汉字神经元，并且把权重+1），整个程序的汉字识别概率就大幅度上升。
2、先输入一段中文训练文本，10000次迭代后“学会”中文字词，在此基础上输入一段英文训练文本，经过10000次迭代基本很难“学会”英文单词。
如果是直接输入英文训练文本，10000次迭代后可以“学会”若干英文单词。
本帖一共被 1 帖 引用 (帖内工具实现)- 复 我的工作是这样的
家园 我现在好像有些理解你的东西了 就是说，你实际上是在学习有价值的时间序列，就是组词，词是有字符组成的，前后两个字符组成一个中文字，前后若干中文字，组成一个中文词，等等。对否？
如果是那样，你应该可以不需要增加神经元，仅增加链接就可以了。我想我们就不讲你执行的细部了。但是，是否请你把你的结果比较完整地讲一下，例如，用了什么中文来训练，训练的时间，训练后的结果，再用英文训练，结果，和没有先训练中文的比较，等。
就是说，你的这个东西可以仅通过观察输入，就可以达到第一步，第二步的理解。这的确是很有趣的。
- 复 我的工作是这样的
家园 很好的实验 我把你的这个放到了我的那个存放链接的文章中，希望有更多的人看到，并且加以评论。
我个人感到你的这个东西，很有意思，就是说通过无监督的输入信息，你的程序学会了若干以前不知道的东西，并且显现出某种生物上才有的特征（学会了某种东西，其他的东西就难以学会了）。
但是，有个问题，你的这个网络必须要不停地增加节点。好像生物的东西，是节点不增加，但是链接增加。总之我感到这里面有东西，但是我现在想不清楚。想想看再说。
家园 给个链接：中国记者谈国防先进科技局（DARPA） 因为我这里提到DARPA，因此在这里给个链接：
解密DARPA的机制与文化
http://www.1000plan.org/qrjh/article/24773
希望大家有兴趣读。就我自己的经验看，这个记者的描述还基本上接近实际情况。美国人的这个科研经费管理和科研方向和进度管理的制度有其独特的优势（当然也有其很大的劣势）。中国需要，至少是部分需要，类似这样的一种能够创新能够突破的制度。目前的各种计划都不是能够创新能够突破的制度，还是紧跟和山寨的根子。
本帖一共被 1 帖 引用 (帖内工具实现)家园 DARPA的数量众多成果 在连线上随便搜了一下
http://www.wired.co.uk/search?q=darpa
家园 我相信中国军方也有类似机构 一开始可能是研究气功之类，那时也不敢向美国看齐。现在，肯定是“让美国同志先走，然后我跟着走，你们别打岔”。
但是，中国确实需要一个不随大流的机构，一年“烧”个几十亿，做一些全世界都没想到的东西。这样的机构，应该也有了吧。
送花 关闭
送花成功。感谢：作者获得通宝一枚。恭喜：你意外获得 4 铢钱。1通宝=16铢
作者，声望:1；铢钱:16。你，乐善:1；铢钱:3。本帖花:1
家园 谢谢。我正在想写一个帖子，谈中国版的先进科技局 到时还要请你捧场。
烧钱支持科技企业，特别是小科技企业，的好处很多。至少，这些钱基本上都花在国内，对国家经济是非常好的促进。很多时候，可以看成是国家级别的风投，是本小利极大绝不亏的买卖。但是，要真做起来也不容易，这不，中国还没有嘛，而俄国，根本就不可能有。怎样花钱支持小科技企业，是一个社会的大事，是一个社会的活力的标志。
家园 玄想2：从信息处理机到学习机，从学习机到。。。 终于可以坐下来写帖子了。
首先感谢各位在过去几周的回复。总之，读了各位的回复，我是感到我很值得了。写的东西不怎么样，但是大家回复都很认真，信息量很大，我受教多多。特别是Fuhrer河友，他推荐的书很有趣。我在旅途中读了一些。感到很受启发。因此也愿意再次推荐给各位。不过也愿意推荐一个对这本书提出相当严苛批评的文章，链接是：http://www.newyorker.com/online/blogs/books/2012/11/ray-kurzweils-dubious-new-theory-of-mind.html
正反两方面的意见都读，比较有意思。其实批评无非是说那个Ray的论调早就不是最新科技，很过时。这个对于我们外行来说，不是问题。
正因为读了这本书，也算是应当几位河友的回复，就先来谈玄想：从信息处理机到学习机，再从学习机到更高深的机器。本来的想法是先谈其他认识论方面的玄想。不过，事情已经发展到了这里，先谈学习机，正对时景。也希望同样可以获得河友们的积极讨论，而有很好的收获。
我个人的意见，我们可以按照这样的层次来划分人脑的活动：1）信息处理活动；2）学习活动；3）其他更深层次的活动。这样的分类，当然非常粗糙，而且显得功利性极强。不过，我就是因为功利而这样分的。权且这样分吧。不过，我还是有些相信，这样的分类事实上反映人脑的活动和功能的某种内在的指标。
那么什么是信息处理活动，什么又是学习活动，什么又是更深层次的活动？
信息处理活动当然范围很广，但是，最典型的信息处理活动，可以用图书馆管理员的活动来标示。分类，整理，简单的算术，登记，等等。很多更深层次的脑力活动，例如，计算初等代数，计算微积分，二值逻辑运算和推理，等等，其实也应该算到信息处理活动里面。我想，这里的深入讨论恐怕需要相当的精力，还是让我们利用论坛的特点，先把下面的话说了，以后再在互动讨论中来细致讨论。总之，信息处理活动，基本上就是现有的计算机可以做的，而且做得很好的那部分。人脑的这部分的能力，其实是相当晚近才发展起来的能力，也就是文明时代才逐渐发展起来的能力。在信息处理方面，机器已经比人做得好得太多，现代计算机已经在这方面全面超越了人脑的能力。
计算机具备处理信息的能力来源于编程。而人具备处理信息的能力来源于学习。因此学习活动是比信息处理活动更高层次的活动。现代技术机仍然具备上不具备学习能力。虽然有了若干成功的学习机器，例如，Siri，Watson等等。这些机器（或者说程序）已经在实际上具备一定的学习能力，也就是说，可以在训练过程中获得一定的处理信息的能力，然后在使用过程中，运用这种能力。但是，如果更深入看，这些机器的基本能力其实还是来源于编程，其学习过程事实上是一种获取外部数据而充实到自己的内部的过程。人脑的那种学习活动，目前还没有机器可以比较完善地实现。人脑的学习活动，我们还不需要走得很深，从婴幼儿的发育说起。我们仅以一个比较简单的例子，小学生学习算术，来说明。老师讲几个原则（其实这几个原则以及远远超过了皮亚诺公理，如果人脑是电脑的话，这几个原则就可以编程人脑的算术能力了），发一些练习，学生做作业，老师批改作业，逐渐地，学生就能够理解原则，可以举一反三，做所有数的算术了。当然这个逐渐是好几年，甚至有些人永远都不能获得这种算术能力。这就是学习，而不是编程。
超过学习活动的人脑活动，我们可以认为是更深层次的，我们目前还不能触及，也没有必要触及。人工智能其实是一个比较不很实际的课题。在目前的情况下，我们没有必要非常深入探究人脑智力的全部，我们完全可以局限在信息处理，和学习这两层上。现代计算机已经可以很好做信息处理，但是还不能做学习。下一步的发展就是要让计算机能够学习，或者说具备类似学习的功能能力。计算机发展了这两层能力，离开真正的智能，其实还差很远。提出人工智能其实不过是计算机发展初期人类的一种意识混淆，一种人为恐惧而已。机器发展离开人工智能还非常远。我们用不着操这个心，也操不了这个心，操心了不能产生什么成果，围绕这个话题的大量的工作其实并不很有效，很有生产力。
但是，让计算机器具备学习能力，是已经推上日程的重大课题。这是几个方面共同促成的。一方面，很多信息处理任务已经很难为有效的编程来达成。玩Jeopardy的那个Watson就是很好的例子。自动驾驶也是这样的例子。另一方面，最近若干年，计算机的机器学习技术也有了很大的提高。虽然我认为，大的理论的突破还是没有的，但是很多方面的确有很好的进展。这里给一个链接，是斯坦福的公开课程，还是很有意思的。https://www.coursera.org/course/ml 看视频学新技术，不费力，还好玩，我是下载后，在旅途中等等时间片段，看看这些视频，感到很好。还有就是市场需求也正在积累，对具备学习功能的机器和程序的要求也越来越大。因此，我深感下一步的重大发展就是让计算机器具备学习能力。
其实即使是计算机器具备了学习能力，例如理想地讲，可以从空白开始学习算术，这种计算机器也并不能和人的智能匹配。人的智能远比这种学习能力要深。我们没有必要现在就陷入这个题目。等到几十年后，学习机已经很发展了，那时再来谈机器智能也不迟。
那么如何实现这种具备学习能力的机器？还是必须要从两个方面进行。一个方面是理论的，学习的理论，一个是实际的，就是建造一些的确具备某种学习能力的机器，哪怕是很粗陋的机器很低级的学习能力。另外，我认为，重要的是建立通用的学习机。目前的那些学习机，例如Siri，Watson等，都是非常专用的，是采用了特殊数学模型的，采用了特殊编程的机器。这样的机器，和通用的学习机将很不相同。通用的学习机和现有的那些专用学习机比较，恐怕就像通用计算机和历史上的那些专用计算机（例如计算弹道的模拟计算机等）比一样。
究竟怎么入手考虑通用的学习机？下个帖子再继续了。非常欢迎各种设想和意见，反正我们是玄想，什么想法都是好的。
家园 有关Kurzweil新书的那个评论当时也读过 但是我认为他的评论中除了指出Kurzweil观点的来历与一些其他人的研究成果外，这个评论其本身观点也有很多问题。
比如，Kurzweil不是唯一提出hierarchical pattern-recognition的人，以前的不了解但是几年前Jeff Hawkins的那本On Intelligence（现在国内有中文译本了）就是总结了许多前人的经验提出过HTM的架构理论（youtube上有的是他的演讲），类似的批评一直就没断过（他的书一出来我就读过，2005年的光景），无非就是Hawkins本人不是行业内人有抄袭之嫌等等，但是把AI与神经科学领域多年（八，九十年代的AI是低潮）的零散发现，研究总结概括并作为一个单独的理论结构推向大众，Hawkins的工作还是很有意义的，虽然他据此的实践（numenta）这几年的发展并不像他早年的Palm手机那样成功。
Kurzweil的书中也提到了Hawkins并比较过两者的区别。Kurzweil不同的是他本人是行业中人，而且还是著名的语言识别软件Nuance的founder，他提出的观点自然比Hawkins的信用度要高得多。重要的是多人的肯定甚至批评者也没有否定的是这个hierarchical的大脑皮层结构以及模式识别的基本原理在多个层次中的重复理论（recursive）。Kurzweil本人对这个架构的数学实现据他书中提到的也是八十年代九十年代的事情了。因此这个当然不是什么新的理论，只不过他没有出书宣讲就是了，他自己这么多年在做什么，还都要拿出来讲么，出书的肯定是最基本的原理部分，能告诉大家都就是仍然还是那个原理就是了。
这个原理的意义是说，这些都是在大量脑科学临床，科研多年的发现基础上得来的结论，不但比较公认而且是很基础的。我的理解是类似飞机是如何飞到空中这样的空气动力学基本问题，是中学物理中就会教的。但是因为属于科学中比较近期的发展，以后可能会进入中学课本，但是现在只是做为一个比较基础的原理存在，别人就可以不必在脑科学这些基本原理上重复做发现工作了，因此没有所谓过不过时的问题，只是一个基础性的工作而已。至少大家不需要把大脑想的很神秘，或者对大脑神经元的信息流动与知识/思想/意识是如何产生的去重复以前这几十年的发现工作。人工智能仍在发展，但是脑科学已经有了不少重要的基础性原理了，只是仍需普及罢了。
我在读到这个原理时印象最深的部分是这个hierarchical的塔形结构，实际上是世间万物的结构，人脑的认识，后者智能的产生于自然界中这个结构上分不开的，因此意识也只能是如此构造的，包括人的语言。比如刚看到一个问题，http://www.cchere.com/article/3834387， 提到以人的思想去理解思想的产生，这是一个悖论。似乎听起来有理，但是如果理解了人的思想产生本身就是人对外界（包括自身）这样的结构的映射，就不会产生类似悖论的困惑了。
至于在此基础上使用的数学模型，大概就不能简单的把问题归因于这个基本理论上了。 不同的人实践不同，产生的结果也不同。比如google这个识别猫脸的实验，记得哪里看到过是做的deep-belief NN，以此来评论Kurzweil的基本观点，似乎不妥，因为NN的实现虽然与这个hierarchical的模式识别类似，但结果不理想更多可能是实现起来的做法与模型上的问题，到不了推翻理论的程度。这方面现在实践的很多，加拿大多伦多大学最近的那个做的就不错。
猫脸实验后google把Kurzweil找去，更说明了google在这个实验上的态度，我们大可拭目以待。
本帖一共被 1 帖 引用 (帖内工具实现)家园 我的理解是这样的：他的最核心的思想 是认为人脑的基础过程是hierarchical pattern-recognition，而且他估计人脑大概有3亿个基本的pattern recognizer，而这些基本的pattern recognizer通过相当复杂和灵活度相当大的链接组成更复杂的更高层次的pattern recognizer。
这个思想当然不是他的最初原创。事实上Hawkins的书也如此说明过。不过我认为他比Hawkins说得更加明确和直接。其实谁有最先发现权这个问题不是大问题，我们应该留给这方面的专家去评论。对我们来说，核心的是，是否接受这种关于人脑内部的基础过程的见解？
其实这种接受与否，很难说是科学的，很大程度上是一种信念，一种相信，一种说不清楚的情绪。坦率讲，我个人是信的。那么，如果相信这种见解，是否可以利用这种见解来做什么事情？这才是更令我们关心的事情。
我完全同意你的比拟。十九世纪末期，人们观察鸟的飞行，幻想能够像鸟一样飞行。但是，各种努力都失败了。成功的是怀特兄弟，他们认识到，其实最核心的已经不是像鸟一样飞行，核心的是如何利用气动升力（在他们之前，人们对气动升力已经有了足够的理解）来获得对飞行器的控制力。一旦思路对了，很快也就获得突破。现在的情况，我想也是如此。核心的已经不是全面模拟人的智能（事实上是还非常早，基本上还不可行），核心的是，如何从简单的pattern recognizer入手，以及这些pattern recognizer的上层，更上层结构入手，来达成一些比较实际的目标。如同怀特兄弟时代一样，谁能够先掌握这样的基础结构，谁就能先行飞起来。
家园 喜欢pattern recognizer，但不喜欢 hierarchical。
我就瞎猜啊。
人脑里的确有无数的pattern recognizer，或者说function。这些function可以相互调用。
他们没有hierarchical的结构，但是存在不同的weight，常用的weight就高，好用的weight也高。
解决问题的时候先捡weight高的几个用，建立temporary的调用结构，处理问题。如果这个temporary的结构经常被用到，weight就高，这个temporary的结构逐步成为一种新的pattern recognizer。
家园 谢谢回复这个老帖子。不过，层级是不可避免的 我们来设想一下你说的调用。那么调用的和被调用的，就成了层级结构。当然，理论上讲，完全可能在某些时候，被调用的反过来成立调用的，而调用的，成了被调用的。不过，这个可能性非常小吧。因此在这个意义上，层级不可避免。
我理解你的意思，那就是，最初恐怕也没有层级，不过是在逐渐的发展过程中出现的。这也对。但是，脑中，应该还有天生的遗传的。天生的，遗传的，事实上还处于某种核心位置。这些遗传天生的层级结构，就是脑与生俱来的了。
家园 早知道您这个系列一定好看 所以一直攒着，今天才开始爬楼。
我觉得由相对单一的层次机构会不会有很强的创造力。
首先人类大脑能够同时调用的基本思维模块不可能太多。内存里会先以某个思考模式为基点，调用一系列的思考模式，最终形成一个层次结构。如果这个层次结构不管用，人会选择暂时放弃，玩一会或者搞搞别的。玩着玩着，一个苹果掉下来了，于是可能就以这个苹果下落相关的思考模式为基点，启动完全不同的另一临时层次机构。这种树种的多了，说不定有一天问题就解决了。而解决这个问题的基点就是灵感。
我这样认为，是因为人脑的瞬时调用能力有限，而存储的思维模式可能数量非常庞大。
至于遗传带来思维模式可能一部分是无意识的后台进程，一部分是一些非常必要的基础思维模式（这些模式可能带给我们一些固有的偏见）。
家园 我的感想1：生物脑的原理应该是基于一个简单原理的大量重复 不能把脑的原理想得太复杂。
回溯历史，人一直把生物体想得过于复杂神秘化。
开始的时候，认为生物体和非生物体是完全不同的材料组成。直到发现人工氨制成，才破除对生命体材料的神秘感。
后来遗传机制也想象得很神秘很复杂。后来直到发现DNA结构才恍然大悟，原来其原理极其简单，就是4位编码大量重复。
根据这些历史规律，我有理由推理，生物脑只是基于一个简单原理的大量重复。应该没有什么特异的算法，生物脑的算法原理应该是很简单的。
如果想从生物方向研究人脑，应当退回去研究线虫的神经或果蝇的神经系统。从线虫得到的基本原理，将会解开所有生物脑功能的基本原理。
感想2：人工智能不应当去模仿人脑。
即使有一天，我们从果蝇身上发现了脑细胞运作的基本原理（这必然是一个极简单的原理的大量重复，猜想也是效率极低的），也对人工智能没有任何帮助。因为这种基于化学信号为基础的，链接可随意变更的系统，我们没有任何办法模仿。
如同下面有人提到的，我们不能模仿鸟飞翔一样。
人工智能应当抛弃模仿生物脑的想法。
感想3：过去一些人工智能误区
曾经很多人想出稀奇古怪的算法为目标。认为人脑一定是基于一些稀奇古怪的神秘算法来运作的。
发明很多没有明确的内涵外延的稀奇古怪的词，智能，灵感，艺术，自主意识，自我意识。。。并以此为追求。
这些词和想法，在科幻小说中很吸引人，但其实并无实质含义。谁也说不清在找什么，属于车库中隐身喷火龙。
感想4： 人工智能应当以功能为导向。
应当抛弃一些虚无缥缈的想法，模拟人脑，自我意识。甚至“人工智能”这个词本身就应当抛弃。“人工智能”这个词就不是有科学含义的概念，只是一个吸引人，骗经费的噱头。应当以一个个具体的功能为导向。语言识别，图像识别，人脸识别，空间定位，机械手控制，电脑医生，自动驾驶。。。
这些功能就是人工智能，但并不存在一个笼统的泛称的“人工智能”。“智能”这个虚幻的词本身就把公众搞得神秘化。
这些功能的组合就是人工智能。如果一黑盒子，看上去像智能，听上去像智能，摸上去像智能，那就是智能了。
（图灵的黑盒测试想法，非常有深刻的远见，图灵和过去一般认识的所谓“智能，灵感，创造”是不同的。）
所以，我认为，现在Google，IBM这种基于大量信息搜索的办法，就是人工智能，虽然和几十年前的我们心目中的“人工智能”完全不同。
感想5： 一些所谓的“灵感，创造，艺术，自我意识”，到那时候就自然出现了。
我们现在做的如同蚯蚓智能。蚯蚓，并没有刻意去发明什么自我意识和灵感，创造。蚯蚓只是千方百计去做一个更好的蚯蚓。
只要我们不断去做一个更好的蚯蚓，更复杂的蚯蚓，终有一天，我们就不知不觉地发现，那个黑盒子好像感觉起来有了“自我意识和创造力”。
通宝推：明心灵竹,牛栏山二锅头,不远攸高,
本帖一共被 1 帖 引用 (帖内工具实现)