主题：【原创】机器学习的基础是什么？(0) -- 看树的老鼠

(0)

深度学习登上了《时代》杂志。大家大可以热烈的谈论机器学习的未来前进，机器如何代替人完成各种工作。

我始终记得十年前的我，有着相同的憧憬和梦想。那时候，我一边做着无聊的方向，这方向刚刚开始使用数据挖掘技术。那时候，我看不懂论文，可这并不妨碍我梦想，有那么一个神奇的算法，帮助我瞬间解决手头的问题。

但是，当过几年我能看懂论文的时候，我心里又大失所望。机器学习的整个框架在我看来如此的不神奇。学习这个字眼多么漂亮，可是做起来怎么这么丑陋和简单。

这篇文章，就想略略的谈谈，机器学习到底是什么？也谈谈这些年，关于机器学习那些我过不去的坎。

请大家尽管拍砖，欢迎讨论。

• 四中全會强渡长江: 用孩子喂狼, 资本(信息)市场开放

(1)

在机器学习领域有一个著名的数据集，叫做Olivetti Faces。是AT&T剑桥实验室在1992年做的。找了40个人，每个人有一个编号，然后每个人拍了10张照片。

具体的学习任务呢，就是把数据集分成两半，保证训练集中每个人都有7张照片和人的编号，测试集中有另外3张照片。机器能看到训练集，学完之后呢，就去测试集上，猜每张照片对应的编号。

训练数据大概是:

测试数据大概是：

表情很不一样，对不对？

我想告诉大家，最简单的线性分类算法也能把这个问题解决的很好。请看下面的图像。纵轴是真实的编号，横轴是机器猜出来的编号。对角线上的颜色，表示猜对的次数，其他位置的颜色，表示猜错的次数。越靠近红色，次数越多，越靠近蓝色，次数越少。整个图中，除了对角线上，基本都是蓝色，这充分说明，线性分类算法做的不错。

有一个帅哥被机器当成是上面的美女了：

很神奇，不是吗？可是后面的算法很简单。

就是一个线性分类器。原理是：每个图像都由4096个像素点构成，每个像素点的颜色是一个数字。这样，每个人脸就是一个4096维的向量。我们就把这些向量放到4096维的向量空间中去，然后画直线，找到一些直线，能够把每个人的八张照片和其他人的所有照片分开，就像下图中的红线一样。在测试的时候呢，对于每一幅图片，就看看它落在直线的左边还是右边（当然在高维空间中，没有左边右边这个概念，这里只是为了方便起见）

我一点也不喜欢这个算法，因为我不相信人脑是这样工作的。

如果教科书上用这样的句式对我说：“xxxx年，在经过艰苦卓绝的工作后，顿牛先生露出了满意的微笑。他发现人脑在学习和思考的时候，使用的是线性分类器。”

那么，我对这个算法的接受程度也许会高一点。

这就是我思考的起点，我希望教科书斩钉截铁的告诉我一些事情。让我可以充满自豪感的使用公理、定理、定律。

如果教科书上用这样的句式对我说：“xxxx年，在经过艰苦卓绝的工作后，顿牛先生露出了满意的微笑。他发现人脑在学习和思考的时候，使用的是线性分类器。”

那么，我也许会接受线性分类器。这就是我思考的起点，我希望教科书斩钉截铁的告诉我一些事情。让我可以充满自豪感的使用公理、定理、定律。

可是，没有一本教科书敢这么对我说。所以，我开始询问这个问题：什么是可以相信的，什么是不可以相信的？

比如我深深信任的牛顿第二定律，除了教科书的背书，为什么我可以信任它？

于是，我进入了挂羊头卖狗肉的阶段。表面上我在思考机器学习，可我实际上在思考物理。感谢changshou兄的雄文《牛顿定理到底说的是什么》，http://www.talkcc.com/article/3729441

希望本文够的上狗尾续貂的标准。

最初我想，如果我是一个原始人，每天看着太阳昼伏夜出，潮起潮落，思考人生的意义。有一天，我正躺在地上晒太阳呢，突然发现远处有一个石头被我的敌人推着冲过来了。我能不能继续在地上躺一会，还是应该立刻跳起来？

这是一道典型的物理题，可是我是一个原始人，我什么都不知道。所以我的选择是立刻跳起来。

1. 但是在跳起来之前，我还是有功夫想到一些事情。前几天部落长老发现，大家都觉得用一打苹果和一打梨是公平的，因为看起来个数一样，为了聊天方便，全部落共同决定，以后管一打叫12，有个聪明人还一口气写出了一百个符号，管他们分别叫1、2、…、100。我觉得石头和我的距离快从100个苹果的距离缩短到80个苹果的距离了，或许距离也能用数字表示？另外，那块大石头挺重的，大概有100个苹果那么重，我是不是可以管它叫100果。

回到部落后，我发现一群人兴致勃勃的围成一个圈在讨论着什么，圈中站着我的老师德多士里亚先生。

“竟然真的一样？”“我是不相信，以后我还是准备一个一个数。”

我拉过朋友拉拉，问他：“到底发生了什么事情？”

拉拉兴奋的说：“今天德多士里亚先生来集市买东西。你知道为了避免把苹果压坏，我们都把苹果分成5个一堆。德先生要了3堆，我还在数呢。德先生立刻就说，总共15个。我当时想，哪有数的这么快的。15个苹果呀，我眼睛都看花了。结果数出来果然和德先生说的一样。他还吹牛，说随便要几堆，他都能立刻数出来。大家听着都觉得新鲜，就这么围上来了。结果德先生每次都对了，真是奇迹。”

我向来不爱理这些事情，每天德先生都神神叨叨的，老人们还总让我们跟他学习，反正他天天都吹牛，我早晚都会知道的。

2. 后来我听说，德先生发明了四则运算，就是加法、减法、乘法、除法什么的。反正我只关心，我是不是可以继续躺着，我喜欢躺着。

说到躺着，德先生后来发明的一些东西倒是很有趣。他说：“大家有没有发现，背阴出的水滴，每落下5000次，太阳就会升到头顶？或许，我们可以用水滴的数量来代表太阳的运动？”这是一个好的想法，也许我可以用水滴的数量代表时间的长度？

3. 德先生还发现，有些东西跑的快，有些东西跑的慢。比如我们部落里的夸父，跑100苹只需要2滴的时间，像我就需要5滴的时间。然后呢，5滴时间，夸父就能抛出250苹去。他发现，如果用除法定义一个叫做速度的东西，比如夸父的速度是50苹/滴，就可以猜出需要多少时间，夸父能够跑出一千万苹，虽然夸父从来也没跑过那么远。

我喜欢这个发现，看起来，如果大石头的速度小于5苹/滴，我的偷懒计划就能够成功了。可是，我不知道石头的速度，我只知道，那个部落的家伙力气挺大的。

可是什么是力气，德先生也不知道。那之后，我有好长时间没有想我的偷懒计划。

德先生觉得：“如果一个物体在运动，那一定是因为有力的作用。如果你看不到力，那么力一定在物体里面。就好像夸父能跑那么快，不是因为他力气大吗？”部落里的智者修莱克卢不同意德先生的说法，他说：”那你说扔石头的时候，石头离开了手，为什么还能继续飞呢？你觉得石头想夸父一样，有理智，能用力吗？对于这个问题，我倒有一种解释。那就是任何物体都有很懒，它总是保持它原有的运动状态。所以石头总是会继续飞。”德先生觉得这个问题很好回答：“石头和夸父自然是不一样的。但肯定是空气在推着石头跑。我们没有见过石头用力，但我们都见过风，不是吗？你的解释简直滑稽，我们都知道跑步得用很多力气，你不用力，倒是给我跑跑看？”

很少有人相信修莱克卢先生的说法。倒是一个叫尼白哥的小伙子，觉得太阳每天东升西落，从来不曾停止，这证明了修莱克卢的说法。不过德先生的支持者还是更多，毕竟德先生举的例子明显更贴近生活。天上的运动和尘世间的运动，毕竟是不同的。

后来，有个叫略利伽的流浪者来到我们部落。他喜欢和尼白哥讨论问题，就住了下来。他发现，如果有两个斜面，从一个斜面滚下来的球总是会几乎升到和球出发点同样高的高度。如果把右边的斜面做的越来越平缓，那么，球就会滚得越来越远。他想，如果把斜面做的很平，那么，球是不是会滚到无穷远处呢？如果能滚到无穷远，不就证明了修莱克卢的说法吗？

4. 我不是很感兴趣。因为斜面完全做平，会发生什么我们都知道。球最后还是会慢慢停下来呀。虽然略利伽写了一篇什么《关于两大世界体系的对话》，好像小姑娘还迷的不行不行的。但我觉得大家讨论来讨论去，听起来都挺有道理的。我不太聪明，没办法知道谁是对的。德先生发明了那么多东西，或许他比较靠近真理。

5. 我的想法后来发生了一些变化。这都是因为天气太冷，把长河都冻起来了，孩子们在冰面上滑来滑去，有一次拉拉用力的把自己的孩子推出去了（我很怀疑这不是他的孩子），那孩子兴奋的滑了好几百米，我从来没见过一个物体自己运动这么长时间，我也不相信空气能把孩子推这么远。风的力量毕竟是有限的。也许略利伽他们说的对，物体总是保持原有的运动状态，只是因为地面不太平，产生了一种叫做摩擦力的东西。

如果物体总是保持原有的运动速度，如果物体有惰性，那么，力到底改变了什么？对了，力让石头、孩子停下来，那么是不是说，力使得速度变慢呢？而且，好像重的东西很难拉动，轻的物体很容易拉动。仿造德老师关于速度的猜测，正如 距离 = 速度 * 时间， 是不是 力 = 重量 * 速度的变换呢？

如果我的假设是对的，那么怎么做实验? 德老师发现速度的时候，请夸父跑了好多次，才发现 距离=速度*时间。可是，平时生活中，做实验总是有摩擦力在干扰，我到哪里去找没有摩擦力干扰的实验呢？

6. 对了，尼白哥的天体运行数据！从他的数据看来，天体总是沿着一个椭圆轨道运行，从数学推理可以发现，天体的速度变化方向始终指向椭圆的一个焦点，那么就意味着有一种力在指向焦点，我管它叫引力，看起来有根绳子在牵引着星球，不是吗？在某些天的思考过后（不得不承认的是，一个叫做顿牛的家伙总在梦里和我讨论），我发现这种力服从平方反比定律。同时运用 力=重量*速度 和平方反比定律，我发现我可以以极高的精度预言天体的运动！

7. 我是幸运的。如果 力不等于重量乘以速度，我不可能预言的这么准确。这个世界上有很多很多不同的数学公式可以定义力，比如重量乘以速度的平方，或者力不只与重量、速度这两个因素相关，还有更多因素。如果我猜了另外一个公式，那么天体数据可能根本就不能导出一个优美的数学公式。我也许会错过这个发现，不过幸好，如果我错过了这个公式，我的预测就会很不准，天体会告诉我，我犯了个错误。

8. 从今以后，我还要继续大胆猜测，我只知道重量和速度与力有关，我能有的最简单的猜测就是我今天的发现。

他们都说我是操纵星辰的人，我不这么看。我现在知道对面部落人人都有100果*苹/滴*滴的力量了，连个小孩子都能在2滴的时间打中我。可我不敢告诉大家这是我最关心的问题，因为他们会嘲笑我：“我不知道星辰是怎么运行的，可是猪都知道你该快跑。”

[参考资料]

http://www.talkcc.com/article/3729441

http://en.wikipedia.org/wiki/Inertia#cite_note-4

http://zonalandeducation.com/mstm/physics/mechanics/forces/galileo/galileoInertia.html

http://physics.stackexchange.com/questions/2644/how-did-newton-discover-his-second-law

http://galileoandeinstein.physics.virginia.edu/lectures/Newtons2ndLaw1.htm

在牛顿定理的发现一节中，我列了许多小的有标号的段落。每一段都说明了我的一些想法。

1. 但是在跳起来之前，我还是有功夫想到一些事情。前几天部落长老发现，大家都觉得用一打苹果和一打梨是公平的，因为看起来个数一样，为了聊天方便，全部落共同决定，以后管一打叫12，有个聪明人还一口气写出了一百个符号，管他们分别叫1、2、…、100。我觉得石头和我的距离快从100个苹果的距离缩短到80个苹果的距离了，或许距离也能用数字表示？另外，那块大石头挺重的，大概有100个苹果那么重，我是不是可以管它叫100果。

想法：没有人能够解释为什么数字能够描述现实。我们猜测“数字能够描述现实”是对的，从我们做出这个猜测时起，几万年来，这个猜想没有辜负我们。

2. 后来我听说，德先生发明了四则运算，就是加法、减法、乘法、除法什么的。反正我只关心，我是不是可以继续躺着，我喜欢躺着。

想法：加法、减法、乘法、除法建模了现实，所以，他们实际上是有实验保证的。

3. 德先生还发现，有些东西跑的快，有些东西跑的慢。比如我们部落里的夸父，跑100苹只需要2滴的时间，像我就需要5滴的时间。然后呢，5滴时间，夸父就能抛出250苹去。他发现，如果用除法定义一个叫做速度的东西，比如夸父的速度是50苹/滴，就可以猜出需要多少时间，夸父能够跑出一千万苹，虽然夸父从来也没跑过那么远。

想法：从苹果得出的运算规则，竟然可以被用于计算速度。没有人知道为什么。距离=速度*时间。虽然在今天，每个人都觉得再自然不过。我们甚至会觉得，它就是公理。但是，我觉得在做出实验之前，原始人很可能根本就没有这样直觉。如果实验证明距离不等于速度乘以时间，那么不管它多么符合直觉，我们也应该否定掉它。直觉并不可靠。

4. 我不是很感兴趣。因为斜面完全做平，会发生什么我们都知道。球最后还是会慢慢停下来呀。虽然略利伽写了一篇什么《关于两大世界体系的对话》，好像小姑娘还迷的不行不行的。但我觉得大家讨论来讨论去，听起来都挺有道理的。我不太聪明，没办法知道谁是对的。德先生发明了那么多东西，或许他比较靠近真理。

5. 我的想法后来发生了一些变化。这都是因为天气太冷，把长河都冻起来了，孩子们在冰面上滑来滑去，有一次拉拉用力的把自己的孩子推出去了（我很怀疑这不是他的孩子），那孩子兴奋的滑了好几百米，我从来没见过一个物体自己运动这么长时间，我也不相信空气能把孩子推这么远。风的力量毕竟是有限的。也许略利伽他们说的对，物体总是保持原有的运动状态，只是因为地面不太平，产生了一种叫做摩擦力的东西。

想法：哲学的思辨真的只是思辨。伽利略的思想实验，对于和他思想不同的人来说，也只能产生微弱的说服作用。如果最后伽利略的惰性（惯性）概念被实验证明是错的，那么他的思想实验只具有审美的价值，很漂亮，但是不对。

6. 对了，尼白哥的天体运行数据！从他的数据看来，天体总是沿着一个椭圆轨道运行，从数学推理可以发现，天体的速度变化方向始终指向椭圆的一个焦点，那么就意味着有一种力在指向焦点，我管它叫引力，看起来有根绳子在牵引着星球，不是吗？在某些天的思考过后（不得不承认的是，一个叫做顿牛的家伙总在梦里和我讨论），我发现这种力服从平方反比定律。同时运用 力=重量*速度 和平方反比定律，我发现我可以以极高的精度预言天体的运动！

7. 我是幸运的。如果 力不等于重量乘以速度，我不可能预言的这么准确。这个世界上有很多很多不同的数学公式可以定义力，比如重量乘以速度的平方，或者力不只与重量、速度这两个因素相关，还有更多因素。如果我猜了另外一个公式，那么天体数据可能根本就不能导出一个优美的数学公式。我也许会错过这个发现，不过幸好，如果我错过了这个公式，我的预测就会很不准，天体会告诉我，我犯了个错误。

想法：天体运动数据同时证明了平方反比定律与牛顿第二定律。

8. 从今以后，我还要继续大胆猜测，我只知道重量和速度与力有关，我能有的最简单的猜测就是我今天的发现。

想法：人们还是可以大胆的运用直觉来猜测，但是，实验数据是永远的最高标准。

总之，可以相信什么，不可以相信什么？

我们可以相信我们看见的实验数据和被实验数据证明的猜想。被越多实验数据证明的猜想就具有越高的价值。

为什么数学看起来可以脱离实验数据？因为数学只依赖的最基础的几个逻辑猜想，除此之外，别无其他猜想。而这些逻辑猜想每天都在被无数个人使用和检验，一旦它们出错，我们会在第一时间得到反馈。

有理论分析证明，对于任何一个机器学习算法，我们总可以构造出一个数据集，使得这个机器学习算法具有最高的准确度。所以，实验数据并不能证明线性分类假设或者现有的机器学习领域中的任何假设可以被信任。

现在，大家满足于接受George E.P. Box所说的：“Essentially, all models are wrong, but some are useful。”

我们都在等待更高智慧的降临，来找到一些机器学习领域可以依赖的、应用更加广泛的基础性公理。

可不可以讲讲学习啥？我看了上面七张照片，可还是对另三张一头雾水，不知道怎么猜这些编号，这算不算学习的最初状态啊？

训练集中，每个人都有七张照片。

第一个人叫bob，有七张照片

第二个人叫alice，有我们文章中所看到的七张照片。

机器能够看到这些照片和名字。

然后，从测试集中随便拿一张新照片出来，假设是alice的三张新照片之一，机器如果能猜出这是alice，那就对了。如果猜成是bob，那就错了。

如果给机器一张bob的照片，它猜成是alice，那也算错了。

你是不是不太明白，机器是怎么学出来的？如果有兴趣，我可以再写一篇。

我也很想知道机器是怎么猜出来的，期待更多内容。

所谓学习，就是别人告诉你一些规律，你去验证一下，发现很对呀，然后就把它扩大应用到所有可能的地方。

而更进一步的学习，就是“发现规律，运用规律”。

我记得有一个经典的故事，是说养鸡场里有一群火鸡，他们中间有一个智者，这个智者火鸡发现，每天早上太阳起来的时候，就会有食物从天而降。智者火鸡把他的发现告诉了众火鸡，火鸡们都很拜服，认为他发现了宇宙真理。日子一天天过去，每天在太阳升起来的时候，都会有食物从天而降，直到有一天，食物没有出现，那一天，是感恩节。

其实人们所能发现的，也就像那个火鸡一样，是在一定范围内适用的规律。机器学习，也是这样，如果有个一个机器火鸡，他知道那些食物是人投给他们的，而且他也知道人投食物并不像伙计们人为的那样那么准时，但是别的火鸡们并不知道这些，而且他们对时间的认知并不像机器火鸡一样精确到秒，而是误差在一个小时之内对火鸡来说是没有区别的。那么这智者火鸡能够发现的那个规律，这机器火鸡是发现不了的。最终结果这机器火鸡得不到众火鸡的拜服，虽然他知道的比智者火鸡更多更精确。

像xiaobailong在下面所说，第2节和第3节有点跑题了。用了整整两章，才说了一个最简单的道理：“实验是检验真理的唯一标准，除此之外，别无标准。”不过我自己在思考之初，确实没有这么深刻的感觉。

好吧，既然实验是检验真理的唯一标准，怎么检验？

牛顿当年提出了引力的平方反比定理，他怎么知道自己的定理是对的？

他选择了在第谷总结的太阳系几大行星的运行轨道上测试。然后，假设误差是E。如果E足够小，不管是牛顿还是读者您，都会觉得这个定理是正确的。

但是，谁说精度高就正确。假设上帝精心准备了一组数据，这一组数据阴差阳错的正好符合平方反比定理。任何其他行星、恒星、天体都不符合这组数据。牛顿同学和尊敬的读者就都被坑了。

所以，人总是假设一个原理：“我们观察到的运行轨道没有任何特殊性，它们是这个宇宙中所有物体的运行轨道的一个平凡的样本。”

这个原理，只是人的一厢情愿而已。没有人能够保证正确。在此引用xiaobailong网友所说的故事。

我们都只是火鸡罢了。

1，观察星体，并从中挑选出五大行星是因为观察结果的周期性重复。这一点不光第谷，而是几乎所有文明都分辨出了五大行星的存在。

2，其他星体之所以不被归类到五大行星一类是因为他们的周期性规律与五大行星不同，而几乎可以简单地用地球为中心的天球模型加以描述。

3，五大行星和太阳加月球也可以用地球为中心的天球模型加以描述。但是相比其他星体而言，五大行星在天球上的周期性描述过于繁琐。

4，所以才会出现日心说与地心说的争论。因为在日心说里边五大行星加上地球和月亮可以完美地简单地加以描述。

5，日心说里边其他星体的描述何以地球为中心的天球模型没有大的区别 -- 毕竟相对于其他星体距离太阳系的距离，选择地球，太阳或者月亮为模型中心差别实在太小。

6，但是五大行星加地球和月亮就有明显的简单和繁琐之分。

7，所以才会有开普勒定律出现和平方反比率的出现。

8，这和火鸡还是不太一样。

看树网友的题目非常有意思。我认为，基本上就是和我的那个脑科学的题目类似的。当然可能着眼点有所不同。

好像是老乔姆斯基说的，科学的进展总是在对事情的本质有了认识后达成的。

的确，现在的机器学习，事实上还没有能够达成对事情的本质认识。我想，机器学习的前沿基本上可以参考斯坦福的那些公开课程。如果用尽可能简单的话来概括的话，可以说：机器学习是试图采用已知的数学统计方法对复杂事物做尽可能好的分类。例如看树网友的人脸的例子。可以说，离开事情的本质还非常远。

我们现在知道（其实几十年前，就有很多天才的猜测），人脑并不是对人脸这样的复杂事物做什么统计处理，而是把这个复杂信息分解成很多更加细小的信息，处理这些细小信息，然后再逐级集合起来处理，最终达成分类/认知/辨识等等。但是，具体是怎么做的呢？里面的规律是什么呢？现在还没有很好的理解。

但是，我这里大胆预言一下，快了，我们离开获取这样的规律并不太远了。美国国防先进科技局的那个著名的难题，就是对达成这样的突破的期望。这是激动人心的时代。

基本上有两条紧密相关的途径。一条途径是期望从了解神经元的工作原理，神经元的各种细微组织，神经元的连接出发，逐步破解脑内部的工作规律，从而进一步理解脑是如何处理复杂事物的。另一条途径是更多从软件模拟上来做，就是说，考虑各种处理细小信息的模式识别器，以及这些模式识别器的各种组织关系，看是否可以搭建起有效的可以处理复杂事物的大规模模式识别器。目前来讲，这两方面都有了非常巨大的进展。例如看树网友以前提到过的google的猫脸识别的深度学习网络。不过，还没有人达成了突破性的进展。突破性的进展谁也不知道来自何方，但是，完全可能从什么地方就突然冒了出来。我是坚定相信，快了，突破性的进展可能很快就来了。

这里回顾一下科技史。20世纪的20-30年代，是科技大突破的年代。在欧洲，量子物理得到突破。而在美国，通讯理论，计算理论等也得到突破。这两者相加，现代计算才有可能。现在全球的经济的非常大的一部分就是建立在这两个突破上的。我猜想，可能下一个重大突破就是关于人脑做认知基本认知的规律。如果实现了这个突破，完全可以设想以后的发展，就将和这个突破非常紧密相关。

很有些遗憾的是，目前还看不到中国本土的各类人员在这些方面有积极的活动。大概国家的科学组织部门对此的态度也不积极。

a=f(x)，使得当x＝alice时a>0，当x！＝alice时a<0

再把f(x)线性化＝b0+b1*x+b2*x*x+b3*x*x*x

剩下的就是线性优化，求出b0，b1，b2，最简单的就是最小二乘法

不过大脑显然不是这么工作的。。。

但是，现在人能够构造的函数，恐怕都很简单，不足以解决复杂问题。

真正复杂的函数，恐怕很难构造，特别是人为构造，即用现有的数学工具来构造。除开多项式等，我们还有什么东西呢？没有了。而且函数那么多，至少有很多是图灵机做不出来的，怎么构造？

但是人脑是怎么工作的呢？其实恐怕并不特别复杂，但是我们就是还没有达到全面懂得的地步。

绝大部分只能用线性方程做近似而已。

一个两个容易点，要是有一堆非线性方程就彻底傻眼了。

生物体里有大量非线性的现象，所以。。。

大家往往喜欢把生物想得很简单，比如20年前大家以为知道DNA编码以后，癌症啊，艾滋病啊就解决了，结果现在一看，知道这些还是搞不懂。。。

弄清人脑，远着呢