主题：【原创】机器学习的基础是什么？(0) -- 看树的老鼠

还是先跳出来说一句吧，我希望自己不是民科，但是我保证不了我说的代表学术界主流意见。因为我很少发现有什么论文去做这么长远的预测，毕竟没有太多证据，除非你是本领域最顶尖的人物，写了也发表不了。如果谁能找到相关的论文，欢迎分享。

我就是突然意识到机器学习能够发现的理论还处于前科学阶段，差不多就处于本草纲目的时代，知其然而不知其所以然。（机器学习领域自己的研究方法当然属于科学方法）

正如人类的认知逐渐从前科学阶段过渡到科学阶段，但基于同样的人脑结构。

所以我认为科学方法和前科学方法没有本质的区别。我觉得智能的本质就是用最简洁的理论最准确的解释现象。因果、严格逻辑、融贯性这些特点，都是人类发现的简化理论、提高精度的一些原则。但他们本身也是基于同样的人脑结构自动创造出来的。就好像人类语言相对于动物的音节，其实没有本质的变化，只是复杂性提高的自然结果。

但是，我相信机器学习会逐渐演化出科学方法的。而且我感觉现在的研究正在往这个方向走。通过外加一些非常抽象的原则，如奥卡姆剃刀、因果原则，引导机器智能往这个方向走。还有一个缺失的原则，我认为是融贯性。今天有人做multi objective optimization，有点这个意思了。但是模型复杂度还是很有限。如果学习理论没有进步，在今天的方法上简单的加上更多机器，是没什么希望的。

如果真到了那个阶段，机器做科研说不定会比人更强，毕竟人脑的尺寸有限，而机器的尺寸受到的限制要小的多。人类发现模式的能力其实很有限，所以实验必须做的简单又简单，人才能得出一些结论。但是机器的能力有可能更强。如witten1推荐的那篇文章，基于那些非实验环境下生成的数据，人其实不敢做决定的，但是机器敢。鸿乾曾经谈到每个研究机构配置一个智能机器，说不定真会有这么一天。

是的。如果我们能在机器学出来的网络中发现概率1（注意不是correlation=1，这是witten1推荐的那篇文章明确强调的,correlation!=因果)，因果关系其实就出现了。比如之前我写过的那篇deep learning文章，有一个节点识别猫的精度到了70%，如果到了100%，我觉得就说明机器发现了一个定理。

所以，我猜测严格的逻辑不会是强加于概率逻辑（今天的机器学习对于概率的依赖很大）或者你说的相关性分析的另一个成分。很可能是我们外加了一些很抽象的原则，这些原则要求机器给出最简洁的模型（从能量损耗的角度来说，也许人脑就遵循这个原则），然后严格逻辑成为这个原则的一个必然结果。

科幻一点，也许曙光就在前头。