主题：【原创】围绕脑科学而发生的若干玄想 -- 鸿乾
家园 谢谢鸿乾推荐！一些胡思乱想 我自己的工作算是较浅的机器学习。和真正的人工智能只算是稍微擦点边。所以，发表的东西只好说成是胡思乱想了。
不过，现在严肃的学术期刊上也较少提真正的人工智能（如果我们把本楼中的各种畅想当作真正的人工智能），因为没法量化定义，实用主义的倾向比较重。
河里有一个好帖，可以带我们感受一下学术界的气氛。
[URL=【原创】抛砖！模式识别和机器学习、数据挖掘的区别与联系]/article/3014945[/URL]
有时间的时候，我会看看能不能结合现在的学术研究进展，做一些尽量严肃的猜测。
本帖一共被 1 帖 引用 (帖内工具实现)家园 河里的泥还是真不少 这个贴子没有看到过，其中尤其对几本书的推荐很不错。
还有一个不错的入门介绍，感谢这两年的网上开放课程兴起，Stanford的Andrew Ng那门机器学习课程基本把这些内容都概括了，这个领域发展太快，每年都是一大堆新书与paper，但是这个课程让人至少对分门别类，名词解释有个了解，少走点弯路。https://class.coursera.org/ml/lecture/index
家园 借宝地感谢Fuhrer Spaun我之前一直都偷懒没看。多亏你介绍，我才又想起这回事。Spaun也挺有意思的。
看的出你对这个方向有着长期的跟踪，是兴趣还是专业啊？我记得你不是学哲学的吗？
家园 以学习为目的，要感谢是学到知识的 我不是这个专业里的，但是华人圈子里做这方面的人很多，自然就经常会聊到这个话题。更主要是早年做股指的过程中开始对此感兴趣的，那时AI还是低潮期，机器学习与模式识别可能是在自动化领域里的提法，计算机方面概率统计比较多，专门找机器学习与模式识别方面的信息还不容易，不像现在机器学习与模式识别成了流行词。
类似楼主，我们的希望都是交流拓展，吸引你这样的专业中人增长知识，因为知识更新的很快，跟踪也是难题。一个原因是，随着年龄的增长，做任何事都越来越讨厌走弯路，大概意识到人生的短暂时间的有限，而科技发展的高速很大程度与互联网开始以后的广泛交流有关。举个例子，前几天看到一个词，叫现在的人为“Google”一代，意思是说我们都已经习惯与把最基础的知识交给google了，用的时候找一下就好，这样每个人的知识领域都可以扩大许多，而扩充眼界的一个好处是一个领域要解决的问题可以从更多更高的角度着眼，得到事半功倍的效果。有趣的是，这个曾经被当作问题仅仅在两年前还被广泛辩论过会不会让人变傻，如今人们不但习以为常而且接受了这个事物。这种意识上的快速发展有时让人有时不我待的感觉。
从这个角度出发，要感谢的是我与楼主，能够让这个话题跨越已经比较普及的常识阶段，比较快的进入一些有深度的话题，比如你提供的那个河里的链接，虽然是两年前的，但是他的那个有关predication与data mining的解释作用的分类方法就很开眼界，如果他能够继续讲一些什么样的问题比较适合用哪些算法，尤其是比较新的发展就更好了，我想这些对你们这个专业中的人也是有用的。
我一般常去看看quora那样的网站，与一些相关的新闻聚合，可以节省不少力气。更重要的是，每个行业里都有重要的战略方向的争论，往往是许多专业fulltime的人在第一线的经验，这个是局外人很难接触到的。好在这两年这个话题忽然热起来，各行各业的人都开始介入，对知识分享与传播的好处大大，但是同时一些本来透明的project，大牛却忽然开始销声匿迹起来，不由让人更加好奇，也许是商业化价值的出现让人如此，那就很可惜了，因为我认为这个领域还有不短的一段路要走，泡泡有好处，但是现在许多半生不熟的产品挂个机器学习的牌子就出来卖钱，噪音太多，promise太多，但是对真正做的不错的产品神秘感又太强，引起许多没必要的争论。
我记得你不是学哲学的吗？呵呵，这个不敢当，完全不靠谱。顶多自以为是说一些常识性的wisdom。记得有个笑话是说苏格拉底是如何成为哲学家的，颇以为然。人生越挫折就越会经常苦思冥想，是不是啊？ 人们常说，we don't know what we don't know. 人越接近未知，就会越后悔把精力花费在不重要的事情上是多么的无谓。有天赋的人从年纪轻轻的时候就明白这个道理，幸运的是每个人的大脑是长在自己身上的，想什么如何想实际上是可以自己做主的，也许这样的幸运也不会很久了，所以就更应该珍惜。家园 十五有志于学，三十而立，四十不惑 我很向往这种境界。花时间在自己感兴趣的事，不怕慢，反正人生的意义只有自己懂。不在乎非要达到什么高度，反正天赋勤奋摆在那里。思考学习中有一点收获，就窃喜不已。能和人分享最好，但也不为了证明什么。
老兄的帖给我这种感觉，冲淡平和，自强不息。
家园 过奖了 最羡慕的还是你们这样的，赶上这样一个好时候，又能投身其中，这种改写历史的机遇就在手边，不知比帝王将相的机遇还要幸运多少倍。说到平和可不敢当，呵呵，其实我心中还想多活500年的愿望，可能比乾隆还强烈。电影limitless里的寓意，曾经让我兴奋的几天睡不好觉。
说回楼主的正贴，你既然提起了Hawkins的HTM，可能也了解Numenta的兴衰，他的那个团队现在也分家了，能不能说说你对HTM的看法，有些什么问题？想到哪说到哪，反正大家都是随便聊。
- 复 过奖了
家园 之前只读过<on intelligence> 没有跟踪Numenta的故事和HTM的算法。
如果直接写第一反应，也许过两天我的想法又变了，这种质量的东西就不好意思些出来了。
等我研究一下HTM再贡献原创吧。
您能谈谈Numenta的故事就好了。
家园 很好。我们就等你的评论 HTM是Hawkins提出的一种模型，在On Intelligence中仔细讲过。我认为有若干道理，但是，比较肯定的是，模型还是过于简化而且很难具体实施。不过，反正他有钱，就成立了公司来建立他的软件，这就是Numenta。但是好像软件并不成功，而且他们内部有了重大分歧，于是就停止了Numenta。他们好像是开发了新的软件，正在积极推销新的软件。
如果能够评论一下他们的软件和他们的开发思路，以及和其他同行的软件和思路的比较，对大家都有很好的启发。
家园 谢谢你的好文。我很有共鸣。准备写一个解析你的帖子并且和我 的想法混合的帖子。不过要等几天了。
其实，不提人工智能就对了。因为现在我们已经很清楚，当初的那个人工智能热，其实是偏了方向，至少是文不对题。但是，实用主义就对了。如果能够从人脑的一些线索出发，获得一些有实用价值的软件硬件产品，就很好，事实上是对人工智能的有力促进。
你提的那个帖子没有读过。谢谢推荐。看来是好帖，需要仔细读读。
下面就看你的了，请介绍你的这些想法：“那些参数是在试图抽象什么东西”。这是非常有趣的。
家园 比如Google那个发现猫的工作，具体含义是这样 Google从Youtube上找了许多视频截图，然后把这些视频截图送入一个多层的autoencoder。
什么叫autoencoder? 视频截图有200*200个点，每个点上的颜色又可以是255个灰度值。也就是说，所有可能的截图数量是255的400次方，大概是10的323次方。Wow，好复杂的世界！但是人会抽象啊，人在这些图上看到的不过是：克林顿、希拉里、汤姆汉克斯之类的东西。更抽象一点，看到的不过是人、汽车、猫之类的东西。
那么好，机器能不能抽象出这些概念？autoencoder就能干这个事情。它是一个三层神经网络，第一层是200*200个神经元，第二层吝啬一点，只给1000个神经元，第三层又是200*200个神经元。相邻层之间有连接，第一层和第三层之间没有。然后逼着机器学，给你一堆截图，你必须用1000个神经元尽量记住这堆截图，我不管你怎么记，反正在第三层你得尽量给我把截图给还原出来。
机器会很苦闷，但是还是被逼着学。基本上学出来的是一些线条。人可能会大失所望，我要你学概念呢，你怎么学出线条来了？机器会想，要是你脑子只有1000个神经元，你也会和我一样傻！你不觉得线条很有美感吗？这是艺术家的头脑啊！
不管怎么说，人是不满意的。于是仿造人脑，多给机器几层神经元、多给机器一些神经元。毕竟人脑的每个脑区有6层，这些脑区还有上下级关系，至少也是几十层。现在第一层不变，第二层20000神经元，第三层10000，第四层5000，第五层4000，第六层2000，后面层依次是2000、4000、5000、10000、20000神经元。(每层的数量是随手写的，但思路没错）
好了，现在有一个这么复杂的大脑，机器该聪明一些了吧？
事实果然如此。在训练完这个大脑之后，Google的研究人员在这个大脑中寻找这样一个神经元：它每次看到人脸就兴奋，看到其他图像就发呆。如果这样的神经元存在，我们能不能说抽象产生了，概念产生了，知识产生了？我觉得可以。
这个神经元……很遗憾……哈哈……我在开玩笑！这个神经元真的存在，它能够达到大概~80%的正确率！！
写到这里，我真的是非常非常的兴奋，我们可没有告诉机器，说你要给我抽象出个人脸，我们只是让机器不断的看，机器也没什么方向，它只是觉得，我得找到一种最好的抽象的关于图像的模型，让最后一层我还原出来的图像和输入图像一模一样，免得你又骂我！结果，“人脸”出现了！
为什么会如此神奇？也许是因为，我们的算法和上帝的算法一样，我们的大脑和人脑结构一样。同样的输入，自然会产生同样的结果。如果上帝的算法变了，也许人都无法形成“人脸”这个概念。
另外，还有两个副产品是猫脸和人上半身的图片，反正机器形成了这个概念，我们也不知道它怎么想的。
通宝推：桥上,钻石象,
本帖一共被 2 帖 引用 (帖内工具实现)家园 80%的正确就很好了，人也未必百分之百 家园 这就是挖到宝了，从杂乱的现象中剥离出东西，这是很好的进展 谢谢。这个描述很好。是否有公开文献？还是仅是内部的知识？如果是这样的话，那就更加宝贵了。
你讲到的这个实验，这么多元的神经元（什么样的神经元暂且不说），这么多层次，不是小实验室能够做得出来的，花费其实很大。元之间的连接是关键，如何连接，如何提取参数，如何监视，如何训练，都是特殊技术。这些都是需要逐渐摸索的。而一旦谁摸索出一套可行的方式，谁就可以占到极强的先手。
我想，如果更深入挖，可能还可以显示里面的统计实质。据说，很多神经网络连接，在深挖后，多少和隐马尔科夫有关系。如果能够通过深挖而获得理论性的进展，就可能更进一步，那时上帝的算法就成了人的算法，飞跃就产生了。
祝贺你，能够亲自经历这样的发现，是难得的快事。我们能够尽快听到这样的发现，也是快事。希望多多分享。
家园 你把这个东西想的太复杂了 这个东西说难不难，说易不易，关键是算法是否足够简单。
我写过一个程序，程序本身只认识字符，只做字符连接操作。
输入大量文章后，可以形成各类常用词语。
我目前正在考虑如何形成句型。
家园 是类似narrative science那样的吧 有的可以写金融报导，有的可以提炼文章梗概，比如我现在就想做个可以自动生成文档报告的，这个实用性很大。各行各业的人都喜欢看报告要文档，能够把人从文山会海中解脱出来的工具是急需的。
另一个对中国人比较有用的是英文润色，有个国内的网站做这个，但是人工的要收费。比如自己打个草稿，用电脑来把文法造句重新写一遍，这个对老中的国际交流，日常工作都有很大助益。不过这种比较复杂，要用到NLP了。
家园 你的这个东西应该很有趣，请多多讲讲 你不能写在这个后面，恐怕没有人能够看到。请专门写个帖子，来仔细讲讲你的想法，做法。如果你的东西，能够从学习字符，进而形成词语，那是非常好的东西。但是，我想和你证实一下，不是你制定规则，规则中有若干参数未定，你通过数据输入，让你的东西通过学习把这些参数搞定，而是你的东西没有这些规则，但是通过学习，就懂得了这些规则。