主题：【原创】Simpson悖论 -- frnkl
家园 【原创】Simpson悖论 Simpson悖论
有1000个男生，1000个女生同时申请某学校，结果该校录取了男生420人，女生285人，请问该校的录取工作中是否有性别歧视？
你或许会说，这不很明显吗？当然有！
且慢表态，还有下文。
这个学校只有两个系A和B。A系有800个男生申请，录取400人；有女生300人申请，录取180人。B系有200名男生申请，录取20人；有700名女生申请，录取105人。A系男生录取率是50%，女生录取率是60%；B系男生录取率是10%，女生录取率是15%。
现在你的看法如何呢？
这就是有名的Simpson悖论。
从逻辑学角度说，如果你想看一个因素（这里是性别）是否影响了结果（这里是录取率），你必须在其他条件相同（这里是男生女生申请各系的比例相同）的前提下比较。而在我们的例子里，恰恰是违反了这条规则，使得直接使用全校的数据而不考虑系里更细节的数据进行比较得出一个荒谬的结论。Simpson悖论正是这条规则使用的一个例子。
附：约翰·斯图亚特·密尔（John Stuart Mill）的求因果五法
Mill's five methods in searching of causal connections
There are four experimental principles, or canons, on which causation may be established or partly proven:1: AGREEMENT: If several instances of a phenomenon all have only one circumstance in common, then that one circumstance is the cause (or effect) of the phenomenon.
2: DIFFERENCE: If a phenomenon occurs in some circumstances but not in others, that which is common to the occasions when it does happen (but not the ones where it doesn't) is the cause.
3: DIFFERENCE AND AGREEMENT: Both the above.
4：RESIDUE: Where a range of factors are believed to cause a range of phenomenons, then take away what is know to cause what and the remaining phenomenon can be attributed to the remaining factor.
...and one more..
5 CONCOMITANT VARIATIONS. Where something varies as another thing varies, so one causes the other (though this one can be tricky).
（中文译文见http://www.chinabaike.com/article/baike/wli/2008/200801221139457.html）。
思考题：我们的例子可以用密尔五法的哪一法解释？
通宝推：唵啊吽,上古神兵,胡一刀,
本帖一共被 2 帖 引用 (帖内工具实现)家园 河里的另一个讨论 家园 有意思，我用大白话科普一下？ 问题出在AB两系招生人数不一样，难度也不一样。
这个例子，高考报志愿时很有用。我们老师分析过。
想象A系是个一般院校，招人多，门槛低， 很一般。
B系是精英院校，招人少，门槛高。
在此例中， 男生们只要上了大学就行，报大路货的多，大部分也就上了。
女生们爱学习，非Ivy League（藤校）不上，结果在龙门前互相撞死的鲤鱼们，雌鱼居多。
所以，把AB混起来，得到自己想要得到的答案，就可以混淆视听。
这也是西方媒体经常采用的攻击中国的方法之一，可惜ZXB的同学们不爱学习，反击大都无力。
家园 这是诡辩的技巧 含糊其词和偷换概念
家园 谬误之源——1.问题的范畴 绝大多数情况下，我们解决问题的时候，对什么是问题本身根本就不清楚，急急忙忙的结果可想而知。
人类难以获得智慧，这是根本原因之一。
家园 谬误之源——2.罗生门 屁股决定脑袋，文化决定命运
转一位河友的
其实她不觉得自己在撒谎 26
关于你的感想，这个太正常了。我朋友曾经因为一个什么事儿去采访过一群小学生，结果同样的事情在孩子们的嘴里有着若干完全不同的版本——全都特诚恳的说是自己亲历的，整个一罗生门。不说远的，就说我父亲，有时候给他打电话，说起家乡的某些人某些事，如果仅仅从字面上理解，我应该非常生气才对，可是出于对老家那些人说话方式的理解，我只会不急不慢的一点点问他：你说的这个几十平米到底是几十啊？是不是十几平米啊？他们到底说过这个话没有？原话是什么？什么时候什么环境下说的……
我觉得有时候人们并不觉得自己在撒谎——他们认为“稍稍的”夸大或扭曲完全不等同于说假话。胡编乱造是假话，但只要与事实沾了一点儿边的都不算。在那个大姐眼里，几个人没有拿到大棚 = 所有人都没有。想要靠近事实，只有通过尽量多的独立的信息来源。而且，千万不要认为他们在撒谎——他们会生气的，这和是否淳朴无关。
家园 思考题答案 出错的原因是试图将Mill第二法用于校级数据，但前提条件不满足。其实在混合数据条件下，用一般简单的估算方法得不出有意义的结果。在本例中，比较 p*R1 + (1-p)*R2 和 q*S1 + (1-q)*S2 毫无意义，即使 p=q 意义也不大。深究一点，只有在 R1=R2 和 S1=S2 的前提下，即二者都是homogeneous population 而不是 mixed population的前提下，直接用样本proportion比较才有意义。
如果确定两个样本皆为混合总体（mixed population），可以考虑使用Mill第四法（Residue法）比较。统计学里一个可以使用的方法是广义线性模型（generalized linear models）。
这篇有点太技术化了，如果难以理解可以忽略。
- 复 思考题答案
家园 我的一些见解与楼主不同 希望楼主也参与讨论：
- 复 思考题答案
家园 何必那么复杂 而且你上面的计算也不能导出究竟是否有歧视。
如果认为性别分专业录取率存在系统偏差，正确的做法是统计全社会性别分专业录取率并与该校的数据进行比较。单纯用该校性别分专业录取率并不能得出想要的结论。
这里涉及的问题其实是一个有偏系统的估计问题，即我们如何把系统本身的偏置扣除以进行比较。我认为你上面的方法用在想要的结论上是错误的，系统偏置的扣除必须以系统外的数据为基准，或者以系统过去的数据为基准，而不能以系统本身的数据为基准。
- 复 何必那么复杂
家园 最后一段略有不同见解 对于混杂的处理，并不一定必须系统以外的数据或者过去的数据。关键还是是联合分布是否能够无偏地估计出来。
家园 用系统本身的数据如何估计系统本身的偏差？ 我的尺子有系统偏差，但它测出来的数值仍然非常符合测量数据应用的分布。通过这些数据本身，如果不与其它尺子比较，无论如何不可能知道它是否有系统偏差。
以你的例子来说，就以你的分系的录取数据，你说这个学校究竟有没有性别歧视？
A系男生录取率是50%，女生录取率是60%；B系男生录取率是10%，女生录取率是15%。也许你会说，女生录取率都比男生高，因此没有歧视。但是，如果全国平均（最好的比较，应当是同等条件学校平均），A系男生录取率是30%，女生录取率是70%，那么请问在知道这个信息情况下，该校A系是否有性别歧视？
所有这些数据，必须放在全局的一个背景下考察，才有具体的意义。
家园 系统误差有不同类型和来源 矫正方法自然会有不同
Simpson Paradox并非源于选择偏倚或者测量误差，所以和尺子之类没什么太大的关系。
而全国学校的平均值也不过是假定公平情况下该校的counterfactual结果近似值而已，而这个插入的值是根据所需要的结论由命题定义范围所决定的，是可变的，是需要根据不同情况标准化的。而其中有多种方法，即可以不需要外部信息，固有所谓并非一定需要。
你后面的论证实际是扩大了原来的命题吧。
家园 你的原命题究竟是什么？ 请你写出数学的定义，再看看你的数据是否可以支持你的结论？或者，看看你的数学的定义是否符合我们通常对“性别歧视”的理解？
不是我扩展了你的原命题的定义，而是你用自然语言的混淆性重新定义了你的原命题。“性别歧视”这样一个命题，如果你要考虑系统本身对性别的偏差，那我是想不出如何不依赖系统外的数据来定义之。如果你不考虑系统本身的偏差，那么直接1：1，没有别的选择。
本帖一共被 1 帖 引用 (帖内工具实现)