主题：【原创】醉汉的漫步 -- 淮夷
最近忙于一个A股IPO的项目，每天读招股书，读到要吐为止。中文招股书的逻辑普遍不太好，又爱堆砌大量套话，读来更像一份政府工作报告而非一份招股文件，不明白证监会的老爷们为何喜欢这样的调调。
为了不被招股书恶心死，抽空读了一本有趣的闲书，换换眼睛。此书是2008年出版的畅销书《The Drunkard’s Walk》（醉汉的漫步），作者是美国物理学家Leonard Mlodinow。
我近几年读到最好的社会科学作品似乎全都是物理学家写的，此书也不例外。作者利用统计学的知识揭示了很多社会现象中隐藏的规律，其中一个重要的规律，就是无所不在的随机性。
随机性在作者看来是人生的常态。小到一个人的生活轨迹、大到历史事件的次第展开，尽管人们试图用“后见之明”去倒究原因，可那些事件的轨迹也许不存在什么必然理由。
此书名字“醉汉的漫步”本身是一个生动的比喻，在统计模型中这种现象也称作Markov chain (马尔可夫过程)。如果用计算机做一个马尔可夫过程的运算，去模拟一个醉汉的步伐路线，你会得到类似下面的结果：
图中看得到，从起点到终点的行进路径毫无规律。历史和未来是缺乏关联的，无法用已发生的历史事件对未来的走向进行有效的预测。这种特性也称作“memorylessness”。
这话题本身，其实不只是一个统计问题，更像是一个哲学问题。
哲学上，有一种观点叫“决定论”，意思是，世间万物存在必然的因果关系，倘若知道全部的层层细节或曰原因，你一准儿能测知结果。
这个观点最有名的代表是法国数学家拉普拉斯（Laplace）。1814年，在牛顿物理学达到顶峰时，拉普拉斯写过一段话（大意）：“如果一个智慧生物知道运动的规律，且知道影响这些规律的力量，那么，大到天体运行小到原子活动，都是可预知的。对智慧生物来说，没什么是不确定的，未来与过去都如在眼前。”
他所说的智慧生物，听起来好像是帝哥的感觉。
拉普拉斯的“有因必有果，万物皆可知”的观点，在科学家眼中似乎有它的道理。譬如你随手扔出一个石子，若能充分的计算投掷的角度、力度、风速、石子形状、地面摩擦等因素，理论上可以精准预测它终将停于何方。
基于这样的理念，一些科学家热衷于创设各种模型用来模拟历史再现，或是用于预测未来。科幻小说中关于“创世模型”的情景可谓比比皆是。现实世界中，芝加哥大学化学家Stanley Miller也曾做过一个著名的实验，在烧瓶里添加化学气体并制造人为闪电，模拟早期地球的大气环境，观察地球生命最初是如何起源的。
尽管有这么多的尝试在前，可是自然世界的复杂性绝非任何计算机模型有能力模拟出来的。某些细小之极的差异，有可能在一个复杂性系统里被放大，导致面目全非之果。这方面亦有一个很知名的例子，60年代美国数学家Edward Lorenz用计算机做了一个气象模拟实验。他的前提是，若输入同样的气象参数，且告诉计算机这些气象参数如何相互影响，理论上，计算机能重复“制造”出一模一样的气象结果。
如果这个模型足够稳定，那么人们也许可用它预测未来的气象风云了。
Lorenz很意外的发现，尽管每次都输入同样的参数，但模型输出的结果每次都不同。换言之，该模型无法很好的预测未来气象。Lorenz后来发现了原因，原来计算机存储数据时，保留到小数点后6位，而Lorenz只输入了前三位。比如某个参数的初始值是0.293416，Lorenz输入了0.293，于是，这个细小的初始差异造成了下面的结果：
在图中，系统的某个初始值只发生了极微小的变异，这种差异的来源可能是完全随机的、无法预料的。起初，两次模拟的拟合度很高，几乎是重叠的线路，但是慢慢的开始分叉了，到最后，人们看到迥异的路径结果。
在自然界尤其是人类社会这些复杂性系统之中，随机性因素引致的蝴蝶效应，对机械式的“决定论”提出了很大的质疑。但是，人们总是对随机现象视而不见，人们更愿相信，一件事的发生肯定有它的模式，肯定有一些“背后的理由”。
这方面我最近读到一个很有趣的例子是二战时期，1944年，德国新研制的V-2火箭对伦敦进行大范围的袭击。这种火箭的速度极快，是音速五倍，还没听到火箭的呼啸声，火箭已击中目标了。
V-2火箭在伦敦市民中制造了广泛恐慌。伦敦的报纸发布了火箭的落点地图：
这个火箭落点图看起来似乎有点规律。市民的猜测是，没有被火箭炸到的地方，也许是德国间谍活动的区域。军方的猜测则是，德国的轰炸重点是关键性的军事目标。
1946年，二战结束之后，英国统计学家 Clarke对V-2火箭的落点做了一个研究。他把伦敦地图分割为576个小块，每块边长半公里。在这些小块里，有229个块区完全没遇到任何轰炸，而有8个块区被轰炸了4次以上。他的统计分析结论是，这份轰炸地图其实是遵循了随机性分布的原则，换言之，不存在任何有意义的轰炸模式。V-2火箭没炸到的229个块区并没有德国间谍，而被重复炸了4次的块区也不是什么重要的军事目标。
与V-2火箭相仿的关于 “随机vs模式”的例子，是英国数学家George Spencer-Brown提出的一个模型。这个模型是一个计算机随机生成的数字序列，序列只有0和1 两个数字，类似于01001101010010111010……这样的没有任何规律的序列。
但是，如果这个随机序列足够的长，例如数字的个数多达10的1百万次方，那在这个超长序列里，你至少将有机会看到10次漫长的0的出现，每一次漫长的0都有1百万个，连绵不断。
想象一下你漫步于0和1的无规律交替的数字序列之中，突然间你遇到了1百万个连续的0，是什么感觉？
你的第一印象很可能是，计算机程序搞错了吧，怎能出现这般有规律的分布？实际上计算机模拟的随机序列并没有出错，此间的关键点在于：一个完全随机的过程，在概率上是完全可能产生出“看来”极有规律的结果。
当这种“有规律”的结果屡屡出现于人类生活各个层面，人们用各种理论和原因对这些现象进行事后解释，并且以为找到了因果律。人们总是遗漏一个简单的事实：某些规律只是随机性制造出来的幻觉，您以为看到了精妙的“凌波微步”，而真相也许只是踉跄的“醉汉漫步”。
明白这个道理可帮我们看清一些社会问题。
譬如在体育比赛中有一个有名的“热手效应”(hot hand effect)，指某个运动员连续性的发挥优异。比如，在一场篮球赛里，某人连投连中，这时他的状态就被称作”hot hand”。
人们普遍相信存在所谓的热手效应，这效应本身亦符合人类的常识：打球时突然感觉来了，怎么打怎么有，听来也属合理。况且，一个人发挥越好，同伴更愿传球给他，他的得分机会就会越大。
1985年，美国的认知心理学家Tversky研究了棒球赛的球员得分序列，发现那些被称作“热手”的球员，其得分规律在统计上，与抛硬币产生的随机序列并无实质的差异。
这个统计分析并不复杂，需要计算的是一个条件概率。这意思是，球员出现一次成功得分之后，下一次得分的概率有多高。该条件概率必须高于该球员的整体得分概率，才能证实热手效应。而Tversky的研究证明，尽管人们给热手效应赋予了许多看似合理的解释，实际上，这个效应只是一种假象。
在金融和经济领域，亦有众多类似的热手假象。这些假象已经被许多的实证研究揭破。以股票基金的投资业绩为例，1991-1995年美国800家股票基金按相对获利能力排名，可以绘成如下表格。
此表取800个基金的平均收益率为横轴（0），左侧是高业绩基金，业绩高于均值。右侧是低业绩基金。
时光回到91-95年间，高业绩基金的经理就像体育赛事的“热手“运动员，他们肯定能讲出许多成功之道，比如选股策略好、行业研究水平高、财务模型更准确、等等。
同样800家基金，针对它们未来五年的真实业绩（1996-2000年），再绘一个图表，就变成这个面目皆非的样子。
显然，用基金的历史业绩预测它们的未来，一准儿要大面积的测错。大量的明星基金在未来五年的业绩很低，而曾经很差的基金，未来不乏成功者。简言之，历史上的高下秩序在未来的时空全部土崩瓦解，基金的业绩不存在统计意义上的规律，看来更像是一个醉汉的漫步，或曰一个随机的噪音。
除了上面的社会现象，在微观个体的层面，一个人的生平际遇，也充满了随机性。下面这些文艺界大拿的怪事儿，个个都很寸，但这样的事情也同样会发生在普通人身上：
- 乔治奥威尔的《动物庄园》成为世界名著之前，被美国出版商拒绝，理由是“美国没有人感兴趣买一本动物故事的书”。
- JK Rowling的《哈利波特》第一部，被出版商拒绝了9次。
- 美国法律小说大腕John Grisham的《A Time to Kill》成为畅销书之前被拒绝27次。
- John Kennedy Toole写的《A Confederacy of Dunces》被拒N次之后，看不到前途，选择了自杀。书稿被他母亲保留11年后出版，获得普利策奖，卖出了2百万册。
我最近常听到一句话是“人最重要的是向前看”，一个人不能总被过去的生活困扰。我们的一生遭际可能更像一个醉汉踉踉跄跄的步伐，无从预测踩在何方。历史的轨迹也并没有我们想的那么重要，一个人的过去不管如何曲折变幻，对未来的生活都没有指导意义。
人生到处知何似，应似飞鸿踏雪泥。--- 东坡先生早就看透了。
想起另一句，“巧者劳而知者忧，无能者无所求。饱食而遨游，泛若不系之舟，虚而遨游者也。”
“泛若不系之舟”这样随机漫步的人生，其实更加难得。
斯蒂芬·金的处女作《Carrie》先后被退稿30次，某位编辑还告曰：“我们对描绘负面乌托邦的科幻作品不感兴趣，这种书根本没人看。”
而约翰·勒卡雷的成名作《柏林谍影》(The Spy Who Came In From The Cold) 当初也曾几度碰壁。某出版商在将书稿转给同事时批注：“聊备一阅，依鄙见此君渺无前途”。
其实就是你最后那句话：“历史的轨迹也并没有我们想的那么重要，一个人的过去不管如何曲折变幻，对未来的生活都没有指导意义。”
据说有学术研究表明猩猩扔飞镖选股票，盈利并不比多数专业人士差呢……
先送花得宝
送花成功。有效送花赞扬。恭喜：你意外获得 16 铢钱。1通宝=16铢
参数变化，作者，声望:1；铢钱:0。你，乐善:1；铢钱:15。本帖花:1
淮夷读到书很多都是用自然科学方法和观点去研究社会科学。更严谨地说，其实当代社会科学已经大量使用诸如数学工具来做研究，这些传统自然科学工具已经不再被自然科学独占。
社会科学的一个问题是复杂性。自然科学可以从很简单的隔离的现象研究起，还可以做思想实验。但是社会科学做实验很困难，比较难以做到隔离其他因素干扰。还有就是比如历史学，几乎只能做案例研究，不能做实验重现历史。对已经发生的现象进行解释，又无法有效囊括所有因素和排除干扰，可能出现千人千解的现象。所以有人说经济学家总是能很好地解释过去，而在预测未来上表现糟糕。
但是人类探索社会发展的毅力和雄心显然不会被这些困难所吓倒。很多独特的社会现象，比如淮夷说的那些被拒绝出版的事情，看起来很不可思议，无法预测。但是问题是在整个社会现象研究上只是个别现象，无法用大趋势预测。这相当于在物理研究去预测单个原子的行为，由于研究对象非常弱势非常随机，充满不确定性。我想科学研究的是大趋势，解释小现象往往无能为力。
拿历史学来说，历史学是票友最多的社会科学。比如在论坛上，人们津津乐道某段帝王家事，秦始皇如何残暴、闵天王如何杀胡、李自成到底死于何处。即便是有些讨论大趋势的，也是信口开河，自己怎么想就怎么说，同民科非常接近。其实这都是历史的细枝末节，在严肃的历史研究者看来都是野狐禅。甚至有些人拿历史说事，对历史人物进行思想审问，重新“发现”历史事件，做翻案文章，以满足自己虚幻的洞彻感，这本身同民科无数次宣布推翻相对论异曲同工。还有的出于某种目的去解释历史，同某些人在全球变暖研究中混水摸鱼心心相印。
当然本人也是历史学爱好者，票友都算不上。我最近接触了几部书，鼎鼎大名的《Guns, Germs, and Steel》，以及《War and Peace and War: The Rise and Fall of Empires》，还有《Secular Cycles》。后两部书都是一个叫做Peter Turchin的俄裔美国教授写的，他们在研究一门科学叫做“Cliodynamics”(历史动力学），就是用人口统计学的工具去研究历史趋势。虽然目前研究还嫌粗糙，但是我觉得这是一条很有希望的路，它可以把历史科学研究或多或少的定量化、自然科学化。当然历史学的自然科学化是老话题了，已经提出几百年了。有空我也写点读书笔记。
我想以后历史学会走上两个分支：一个是科学化的、专业化的科学历史学，其内容枯燥，理论和工具不为专业外人士所掌握。其实大多数现代科学技术，非经专业训练，门外汉两眼一抹黑，无可置喙。那些个别英雄的事迹或者秽迹，都不是这门科学观察的对象。另一个是文学化的、传统的历史研究。人民群众喜闻乐见津津乐道，可以继续在里面取乐。
又想起另外一个话题。曾经看网友评论，说待在英语世界的一个好处，是可以享受到大量新鲜的、原创的、活跃而严肃的英文读物。这个阅读世界比起中文的阅读世界广大得多。我自认对中英文阅读世界都有一点了解，不能不承认他说的有点道理。国内热销的、或者是被读书人关注的，大量还是炒老祖宗的冷饭。无论是藏书人还是读书人，真正值得关注的中文图书，大部分作者都作古了。整个读书届偏文。而英语世界，有大量的类似淮夷阅读的，新鲜的有启发性的养料。
“我最近常听到一句话是“人最重要的是向前看”，一个人不能总被过去的生活困扰。我们的一生遭际可能更像一个醉汉踉踉跄跄的步伐，无从预测踩在何方。历史的轨迹也并没有我们想的那么重要，一个人的过去不管如何曲折变幻，对未来的生活都没有指导意义。”
读招股书，也能得证大道？这文章中的“积极”两字，让我眼前一亮，惊为神人！
这难道是不久前写“失败是失败之母”的同一个人？这当中到底发生了什么事情！是随机事件吗？
放在sky drive上了，需要.net framework 2.0运行。
下载MarkovToy.zip，把包里的MarkovToy.exe解压出来，双击即可运行。
一共用了一二十分钟，保证不是病毒，不保证没有bug...
<iframe title ="Preview" scrolling="no" marginheight="0" marginwidth="0" frameborder="0" width="98px" height="120px" style="padding:0;background-color:#fcfcfc;" src="https://skydrive.live.com/embed?cid=61AA10BE791E4DAA&resid=61AA10BE791E4DAA%212382&authkey=AGjgVn9CDZ08pC4"></iframe>
官二代，富二代，名校文凭，个人素质.....
都很长的“记忆”，决定着一个人的未来。
人生也许也是分形的。
人生到处知何似，应似飞鸿踏雪泥。
泥上偶然留指爪，鸿飞那复计东西。
第一次见到东坡的这首诗应是在梁羽生的某本小说中。萍踪侠影？不记得了。当知只觉口有余香，过后却总感到不太对头。后来明白了，东坡老先生忒也啰嗦。五言二十字可说清楚的东西，偏偏拉成二十八字，颇有”一个孤僧“之弊：
人生知何似，飞鸿踏雪泥。
偶然留指爪，鸿飞自东西
一笑。
又：这四句是《和子由渑池怀旧》前两联，全诗做：
人生到处知何似，应似飞鸿踏雪泥。
泥上偶然留指爪，鸿飞那复计东西。
老僧已死成新塔，坏壁无由见旧题。
往日崎岖还记否，路上人困蹇驴嘶。
其实全可以裁成五言：
人生知何似，飞鸿踏雪泥。
偶然留指爪，鸿飞自东西。
老僧成新塔，坏壁见旧题。
崎岖还记否，人困蹇驴嘶。
仔细观察，如果从平均意义来说，还是91-95年图左侧的在未来5年的排名更好一些。换句话说，整体意义上的基金经理们还没完全喝醉。
楼主这个系列很好，鲜花。
本帖一共被 1 帖 引用 (帖内工具实现)
或者80年代的广告，“省优部优国优”
首先，根据我这个计算机N把刀的理解，所有的计算机产生的随机数都是“伪随机数”，即看起来是随机数，但实际上不是。不知道文中提到的那个实验是否有同样的问题。
其次，基金业绩应该是“同类”基金之间互相比，例如某个股票基金的业绩应该和其他股票基金对比，而不是把所有基金放在一起比。受基金投资方向的限制，当大势不对的时候，即使是最好的基金经理也要亏钱。文中关于基金业绩的比较可能受到这个因素的影响。另外，我记得有研究表明业绩好的基金在未来获得好的业绩的可能性大于业绩差的基金。楼下液化的回帖也指出了这个现象。