主题:【讨论】信仰怎么产生的呢? -- 不爱吱声
而且,多半这个“极大似然”是一个local maximum,还不是global maximum。(补注: 另外的一个影响是, 采用了强的、偏离实际统计数字的prior,而不是noninformative的prior。)
为什么会这样?因为若要得到贝叶斯估计,需要对概率空间进行积分,可这往往不可行(譬如,高维的空间的体积巨大,故而难以遍历所有的可能性)。实际只能采用Monte Carlo算法,来估算某个量(比如各阶的moment)在某个山峰邻域内的分布。Hopefully这个山峰是global maximum,但实际上Monte Carlo算法往往会陷在一个local maximum 而难以自拔(当然,若要扣中文字眼,应该说陷在山谷里才对,这不难,只要将目标函数事先乘以-1,于是任务就变为将它(<-Log(P)>)最小化)。
这样的山峰就是“信仰”。其产生的根本原因是软硬件的限制,从而无法得出对现实的最优估计。 其实人人都有信仰, 都是在抱着某一座山峰, 而且往往还鄙视别的山峰, 作"一览众山小"状.
有趣的话题是: 如何才能逼近global maximum? 如果我们每一步的迭代都试图把目标函数最大化, 那么我们多半将永远陷在一个local maximum. 好比我们试图登上地球的最高山峰, 如果我们每一步都向高处走, 这样可行吗? 绝大绝大多数的情况下不可行 (除非你恰好在珠穆朗玛峰主峰脚下)! 譬如你现在在一个写字楼内办公, 你每一步都往高处走的结果是你将爬到楼顶, 便再也无计可施矣!
"模拟退火"(在1983年首发于 Science) 是一种能发现global maximum的算法. 其要点是: 容许某些情况下向低处(也即更糟糕的方向)爬! 再回到那个登上地球的最高峰的比方, 如果你在美国, 你先要开车去机场, 这个路途肯定是高低起伏, 你不可能一直在上坡. 然后坐飞机去靠近珠峰的某个城市, 再从那儿出发换坐汽车到山下, 再开始登山, 这中间同样可能或高或低地前进. 如果以前没有飞机,得坐轮船去. 这更显著: 你先得下降到海平面, 然后才能指望登上珠峰.
好, 科普完了. 回头来看关于中医的争议, 即使它不算科学, 就应该将它彻底抛弃吗? 这显然不是一个好的优化策略! (更别说中医确有疗效, 在某些方面胜于西医.)
- 相关回复 上下关系5
🙂你是对的。事实上也没有方法能证明发现的是全局最大值,除非 衲子 字20 2006-11-02 02:49:04
🙂你的不无道理,但是所答非所问啊 不爱吱声 字100 2006-11-02 09:41:37
😥神经系统就是为了估算/预测环境的统计数字,进而驱动生物体 衲子 字563 2006-11-02 16:14:54
😭很简单。“信仰”是采用了极大似然估计,而舍弃了贝叶斯估计
😜生产来自需要,比如:急来抱佛脚。 wanderer 字138 2006-11-01 10:36:38