主题：【原创】围绕脑科学而发生的若干玄想 -- 鸿乾

Hawkins如果有象Vicarious那样把CAPCTHA破解的成果，就比较令人信服了。而Vicarious与Numenta他们的区别，按照上面那篇文章说的，也就在于对使用数学方法的态度了。

稀疏表达似乎主要是在计算机视觉上面应用比较多，许多都是早在2010年就很热门了，好像以前叫压缩传感（compressive sensing）。科学松鼠会上曾经有过相关科普介绍，不过松鼠会海外访问非常之慢，很少去了。

四年前的文章，比如这篇连线上的

http://www.wired.com/magazine/2010/02/ff_algorithm/all/

不过，陶对稀疏表达做过重要的事情，就是证明了稀疏表达的数学解的确存在。

这是我们的这个系列中的去年的帖子：链接出处

看过压缩感知那几篇文章后， 一个想法是人脑每天每时每刻都在进行同样的算法……用已感知的部分填充余光和盲点。

就是说人脑的感知是稀疏的，在你去年放的那个链接http://paley.mydiscussion.net/?p=83#comment-71

里说的， 大脑皮层的稀疏编码是知识的获取过程，可以从大脑随时随刻面对的大量信息中完成存储的过程（不需要压缩），而信号的模式识别过程很可能就是通过对稀疏信号的比较搜索实现的。

而反向的恢复，就是压缩感知的重建过程，大脑并不擅长，比如让证人描述或指认罪犯就非常不可靠。

从这个角度看，Hawkins的稀疏设计，就是他的稀疏编码实现的设计。

那句“我们喜欢类比和联想就是底层应用字典编码倾向的表层反映”是什么意思呢？ 难道说类比与联想是大脑在做稀疏编码的反映么？ 这个不太理解。

人的大脑的确比较喜欢使用类比联想去理解新的事物，似乎我们的大脑中有个自动分类器。而且信息在大脑中的存储是通过联系的方式，比如忘记某件事，我们会通过之前之后的回忆最终忆起中间的空白。

Douglas Hofstadter说过，联想力是智能的本质，而人类的联想通常是不由自主的，但是这与稀疏编码有什么关联呢？

怎么看怎么个不靠谱

人际关系处得还很不错。

我想绝大多数河友没有办法理解你的思路。

遗传的事情，是超级复杂的。特别是神经链接这类的非常精细的东西，我们知道是如何遗传的吗？恐怕仅知道一些皮毛而已。但是，从宏观来看，的确是遗传了若干神经链接的。马生下来就可以走，人要学习很多个月才能走，就是因为神经链接的不同。

Sparse Distributed Memory 外链出处

引用其中的一段：

我想，这段话对很多讨论都是有教益的。寻求知识的生物之根，的确是一种想法，一种冲动，甚至一种时髦。至于是否能够产生有益的效果，谁又知道呢？其实对现有的科学体系的长远前景，谁又知道呢？

但是不管如何讲，在众多前驱者的努力下，类脑计算已经站住了脚跟，而且正在壮大。我们应该很快可以看到相关硬件的出现。

人脑的问题似乎是连接无法减少，或很难减少。

可以确认智商在200以上。每次我觉得自己聪明的时候就想想他，每次觉得自己笨的时候就去看看微博。

“我们喜欢类比和联想就是底层应用字典编码倾向的表层反映”是什么意思？

我了解字典学习，但是类比与联想不知道有什么关系。

而不是外部刻意追求的。

具体怎么讲？首先从反面讲，即从现有的计算技术中的记忆存储和相应的功能讲。在现在的计算机中，你存一个图像就是一个图像，你取出来，还是那个图像，非常精确，如果有所误差，你就根本取不出来。而且这个图像的记忆和对这个图像的理解一点关系都没有，记忆是记忆，理解是理解，记忆是存储体中的，理解是存储外面的软件的运行的结果。因此，这个计算技术体系中，不可能产生类别和联系，即使有，也不是自然产生的，而是外部刻意追求而加进去的。扩大了讲，就是说，基本上没有可能产生智能。

但是在脑中，完全不同。记忆的东西，是神经系统分解进而理解（这个理解的含义，请注意，有所不同）的东西。因此，在这个基础上，如果有所误差（有意的，比如说放开了幻想，或无意的，比如说醉酒），那么就自然产生有些不同的记忆提取，但是其主体又是同样的。这样就产生了类比和联想的神经基础。现在大家都比较认同，这其实是智能的最基础的属性和特征。

当然了，具体究竟神经系统是如何分解信息，进而在不自觉的程度上做了理解（含义，再次提醒），又怎么做的存储，这些都是未知的。但是，我认为Hawkins对这些方面正在做的工作是非常好的，非常有意思的。遗憾的是，整个学术界对此做了几乎全部的冷待遇。他做的对或者错都不重要，但是重要的是，是一个很好的方向。

这个Pentti Kanerva的工作，也应该对Hawkins的影响很大。他是Hawkins的研究所的成员。

这位朋友说的：底层应用字典编码倾向的表层反映，其实就是说如何分解信息等（他称为字典编码）。现在的DNN也不是没有这个分解信息。他们的分解基本上是解很大的不定线性方程组，但是加上极值限制。这种分解，有很强的数学指导，因此容易为大家接受，分解也就是线性组合，理解起来容易。但是，可以明确讲，我的观点是，这样的数学，明显不是脑中的活动，差得很远，恐怕因此效果就差了。

现在似乎都对稀疏的作用比较认同，hawkins特别大力推崇，但是做法比较机械，如你所说，没有使用数学方法。最近看了稀疏信号与压缩感知的一些文章后，稍微理解了些为什么这个方向有可能符合大脑的信号接受原理，换句话说，稀疏信号识别而不是原信号恢复，反而很象大脑的运行过程。

如果在稀疏信号的条件下做信号存储，所谓的字典学习（dictionary learning)，是不是类比与联想的过程就是必不可少的步骤？这个还是不很清楚，大概有做信号处理的行家来给分析一下就好了。