这里，我还要提到一个比较沉重的例子：“9·11”恐怖袭击事件。2001年9月11日清晨，当我们从梦中醒来时，大部分人都想不到恐怖分子的飞机会撞向曼哈顿世贸中心大楼。但是，世贸中心第一次遭遇袭击之后，我们才意识到这也许是一次恐怖袭击。直到第二座高楼被袭击之后，我们才相信确实遭遇了恐怖袭击。
贝叶斯定理可以复制这个结果。比如，在第一架飞机撞击大楼之前，我们预测曼哈顿的高楼遭遇恐怖袭击的概率只有1∶20 000或0.005%。当然，我们还是会认为世贸中心意外遭遇飞机撞击的概率是非常低的。人们靠经验也能准确地预测出0.005%这个数字：9月11日之前的25 000天，一直有飞机盘旋在曼哈顿的上空，而期间只发生了两次这样的意外事故：一次是1945年的美国帝国大厦事件，另一次是1946年的川普大厦事件。这样看来，此类意外事故的日发生概率只有1∶12 500。在第一架飞机撞上世贸中心大楼的那一刻，如果用贝叶斯定理计算这些数据（表8–3A），发生恐怖袭击的概率便会从0.005%剧增至38%。
表8–3A?贝叶斯定理——遭受恐怖袭击的例子
先验概率
恐怖分子驾机撞击曼哈顿世贸中心大楼的初始概率预估 x 0.005%
新事件：第一架飞机撞击世贸中心大楼
恐怖分子驾机袭击曼哈顿世贸中心大楼的概率 y 100%
恐怖分子未驾机袭击曼哈顿世贸中心大楼的概率（意外事故） z 0.008%
后验概率
在第一架飞机袭击世贸中心大楼的情况下，恐怖分子袭击曼哈顿世贸中心大楼的概率预估 ???xy???
xy＋z（1－x） 38%
然而，贝叶斯定理暗含的意思并不是说，我们对概率的预测只可以作一次更新，相反的，鉴于新证据的不断涌现，我们需要不断地更新自己的预测结果。于是，第一次恐怖袭击的后验概率38%，在第二次袭击之前就会变成先验概率。这时再来进行世贸中心遭遇第二次恐怖袭击的概率运算，我们遭遇袭击的概率就变成了99.999%，这就表示恐怖袭击必会出现。在阳光灿烂的纽约出现意外事故的概率很低，而就像我们推断出来的可怕结果一样，第二次恐怖袭击很有可能会发生。
表8–3B?贝叶斯定理——遭受恐怖袭击的例子
先验概率
在第一架飞机袭击世贸中心大楼的情况下，恐怖分子再次袭击曼哈顿世贸中心大楼的概率 x 38%
新事件：第一架飞机撞击世贸中心大楼
恐怖分子驾机袭击曼哈顿世贸中心大楼的概率 y 100%
恐怖分子未驾机袭击曼哈顿世贸中心大楼的概率（意外事故） z 0.008%
后验概率
在第二架飞机袭击世贸中心大楼的情况下，恐怖分子第三次袭击世贸中心大楼的概率 ???xy???
xy＋z（1－x） 99.99%
恐怖袭击、癌症、出轨等，这些富有挑战性的例子都是我精心挑选的，因为它们更能体现出贝叶斯定理的应用十分广泛。贝叶斯定理不是什么神奇的公式，在本书使用的简单形式中，无非是加、减、乘、除这些运算。我们还需要添加更多信息，特别是对先验概率的估计值，这样才能得出有用的结果。
即使是涉及我们不愿称为“偶然事件”的事件，贝叶斯定理也会要求我们用概率的方法思考问题。拉普拉斯认为，世间万物，不论是行星的运行轨迹，还是最小的分子运动，都是受牛顿定律支配的，这对于发展贝叶斯定理也是极有帮助的。不同的是，贝叶斯定理并不是要求我们认为世界在本质上和理论上都是不确定的，这一定理研究的是认识论的不确定性，也就是我们认识的局限性。
为什么大数据时代的预测更容易失败？
如果不能按照贝叶斯定理来思考问题，不单是乳房X光片会出现“假阳性”报告，所有科学都会出问题。2005年，埃尼迪斯发表了一篇非常有影响力的文章，题为“为什么大多数发表的研究成果都是骗人的”。埃尼迪斯在文中引用了大量统计论据和理论论据，就是为了说明医学期刊和其他学术或科学领域中，大量被视为真实的假设实际上都是不真实的。
正如我们提到的那样，埃尼迪斯的假设看上去还算是真实的。拜耳实验室发现，当他们试图利用实验再现医学期刊中的阳性结果时，却发现约2/3的结果都无法复制。检查一项研究发现是否真实的另一条途径是，看其在真实世界中能否做出准确的预测，正如本书所示，大多数情况下，这些发现都无法做出准确的预测。各个领域，从地震学到政治科学，预测的失败率实际上相当高。
埃尼迪斯告诉我：“过去20年里，可供使用的信息、基因组学和其他技术皆呈指数增长，有几百万个有趣的变量供我们测量。因此，我们希望利用这些信息和技术使预测成真，我这样讲并不是说我们过去没有取得多少进步，几百万份论文铺天盖地，如果真是没有什么进步，那将多么令人惭愧。但我们的新发现的数量明显比不上论文的数量，在创造新知识方面，大部分论文所做出的贡献真是微不足道。”
这也是为什么我们的预测在大数据时代更容易失败。拥有的信息量呈指数增长，需要验证的假设也正在以同样的速度增长。比如，美国政府现在发布了约45 000份关于经济的统计数据，如果你想要探究这些统计中所有两两组合之间的关系，比如亚拉巴马州的银行优惠贷款利率和失业率之间是否存在因果关系，则需要对10亿个假设进行验证。
但是，数据中那些有意义的关系组合——这里指的是因果关系而非相关性组合，而且这些组合能够证实这个世界是如何运转的——少之又少，增长的速度也不及信息本身的增长速度快，如今的真实信息也并不比互联网和印刷机问世之前多多少。大多数数据都只是噪声，就像宇宙的大部分都是真空区一样。
与此同时，就像贝叶斯定理所讲的那样，在某一个群体中，当某事的潜在发生率很低时（如年轻女性患乳腺癌的概率或庞大数据的真实性），如果我们不够小心，错误的判断就会主导事件的结果。图8–3生动地体现了这一点。在图中，80%的“真实”科学假设都被视为正确，而90%的错误假设则遭到抵制，这看似没问题。然而，因为真实的发现非常少有，而其中却大约有2/3的发现被认为是真实的发现，其实是错误的。
不幸的是，就像埃尼迪斯指出的那样，大部分进行统计学检验的领域所发表的研究著作，大概都如图8–3所示。错误率为什么这么高？本书在一定程度上解答了这个问题。原因有很多，有些与我们的心理偏见有关，有些与普遍的错误方法有关，还有一些与错误的动机有关。然而，归根结底是因为这些研究应用的统计学思维方式存在缺陷。
当统计数据偏离了贝叶斯定理
托马斯·贝叶斯最主要的思想劲敌大概要数英国统计学家及生物学家罗纳德·艾尔默·费希尔了。费希尔在贝叶斯去世将近120年后（1890年）才出生，他天性活泼，几乎可以成为克里斯托弗·希钦斯笔下的英国传统智慧型人物。费希尔长相清秀却衣衫不整，不是叼着烟斗，就是抽着香烟，还时不时地与真实存在的竞争对手或假想敌发生冲突。他在讲课方面平淡无奇，可做起文章来却深刻透彻，在戏剧创作上也极具天赋，另外大家都很喜欢和他共同进餐。费希尔兴趣广泛，是当时最杰出的生物学家和遗传学家之一，但作为精英人物，他却毫不掩饰地抱怨社会贫困阶层的生育率高于知识分子阶层的生育率。（而他本人就有8个孩子。）
统计学方法在当今之所以能够得到广泛使用，费希尔功不可没。他提出了“统计学显著性检测”的术语及方法论。虽然费希尔在他发表的一篇论文中第一次使用了“贝叶斯定理”这个术语，但其本意是想贬损贝叶斯。费希尔的另外一个主张是“将贝叶斯定理完全摒弃”，也可以说，他对贝叶斯和拉普拉斯完全不感兴趣。
费希尔和他的同代人在本质上对所谓的贝叶斯定理没有异议，因为贝叶斯定理不过是一个简单的数学公式。可贝叶斯定理的应用却让他们十分担忧，对贝叶斯先验概率这一概念格外忧心，他们认为这一概念似乎过于主观。
于是，费希尔等人力图建立一套统计学方法，为的是让我们不再受到主观偏见的干扰。现在，尽管这种统计学方法偶尔才会用到，但人们通常称之为“频率主义”。
“频率主义”的隐含意思就是，仅从人口样本（而非所有人口）中收集数据是导致统计学问题中出现不确定性的原因。这一点在政治民调中体现得淋漓尽致。在加利福尼亚州，有800万人要为即将到来的选举投票，如果只选出其中的800人进行抽样调查，结果就会出现人们所说的抽样误差。你在政治民调中看到的误差幅度就是用来量化抽样误差的：从800万人的投票结果中取出800份样本，究竟会出现多大的误差。“频率主义”的统计学方法正是用来量化误差的。
然而，即使是在政治民调中，抽样误差也并不总能反映事情的全貌。2008年，艾奥瓦州民主党举行了决策会议，而新罕布什尔州进行了美国民主党初选，短暂的间歇时间里，在新罕布什尔州约有15 000人接受了调查——对于这个面积比较小的州来说，这个数目实在算得上巨大了，从理论上来讲，这个受访者的数量足以将误差幅度控制在±0.8%。然而，实际的误差却达到了8%左右：民调显示希拉里在这个州的选票数会输给奥巴马8个点，而实际上，希拉里却以领先3个点的优势获胜了。抽样误差——这个“频率主义”唯一可以直接解释的错误类型——在新罕布什尔州的政治民调中可能只是一个小问题。
同样的，一些民调公司总是显示出对某一党派的倾向：他们可能对2亿美国成年人进行调查，但仍然得不到正确的结果。早在250年前，贝叶斯就解决了这个问题。如果使用的工具本身就带有偏见，那么作了多少测量并不重要，因为你的目标定错了。
从本质上看，“频率主义”解决统计学问题的方法是极力摆脱使预测出错的最常见原因——人为错误。“频率主义”认为不确定性是实验本身所固有的特质，而非我们认识真实世界的能力中所固有的特质。“频率主义”的方法还意味着，你收集的数据越多，所犯的错误最终就会越趋近于零：这是解决所有问题的充分必要条件。本书中提到的预测问题比较严重的领域中，有用信息都十分稀缺，而收集更多的信息确实非常有价值。然而，如果使用不当，“频率主义”也不一定是通往完美统计的星光大道。正如埃尼迪斯指出的那样，大数据时代似乎只会使研究文献中的假成果问题更加严重。
不论在理论上还是实践中，“频率主义”的方法都不是很客观，要依赖大量的假设。种种方法总是假定，某一个测量方法中潜在的不确定性遵循贝尔曲线或正态分布，这是正确的假设，却不适用于股票市场。“频率主义”方法要求对样本总体下定义，在政治民调中，这一点十分明确，但在其他许多实际应用中，样本总体却存在很大的随意性。从“9·11”恐怖袭击事件中，人们能得到什么样的样本总体呢？
然而，更大的问题是，在力求设计完美无瑕的统计程序时，不能受研究者个人偏见的干扰，这就使得“频率主义”的方法总是与真实世界相隔离。这样的方法让研究者忽略了假设的基本环境和合理性，而这正是计算贝叶斯先验概率所必需的。于是，你必然会看到，一些发表了的权威论文中出现了蟾蜍是如何预测地震的，或是塔吉特百货这类大商场如何引起了种族仇恨等话题，并通过“频率主义”测验，最后产生了“具有统计学意义”（但显然是十分荒谬）的研究成果。
费希尔在其职业生涯末期变得成熟、温和，甚至偶尔还会赞扬贝叶斯一番。在费希尔漫长的职业生涯中，他的一些方法（尽管不包括当今广泛使用的方法）确实在贝叶斯定理和“频率主义”方法之间做出了妥协和让步。然而，在其生命的最后几年，费希尔出现了极为严重的错误判断，这表明了费希尔研究方法的局限性。
在吸烟和患肺癌之间的关系问题上，费希尔出现了失误。20世纪50年代，人们作了大量研究，有些研究运用标准统计学方法，有些则运用贝叶斯定理，这些研究都表明吸烟与患肺癌有关，这一点在当今社会已被广泛认同。
费希尔晚年的很大一部分时间都在跟这些结论作斗争，他在《英国医学会杂志》和《自然》等颇具声望的杂志上发表了许多文章，旨在证明这一结论有误。他并不否认吸烟与患肺癌之间的统计学关系十分显著，而正如英国的苹果进口量和结婚率之间的历史关联性一样，他认为这只是把相关性误认为是因果关系，他一度还认为，是肺癌让人们更想吸烟，而不是吸烟引起了肺癌。这一思想明显是让人们无忧无虑地继续吸烟，而忘记了肺癌的困扰。
许多现在被广泛接受的科学发现，曾一度被视为一派胡言。有时是因为当时的文化禁忌（如伽利略的日心说），但多数时候是因为可用于分析问题的数据并不存在。如果直到20世纪50年代还没有明显的证据证明吸烟与肺癌之间的必然联系，那我们就不应该质疑费希尔。然而，一些学者重新调查了当时已有的迹象并得出结论，这两者之间确实存在必然联系——许多研究人员在许多领域进行了各种统计学测验及临床试验，得出的结论都表明吸烟与肺癌之间存在因果关系。这一个观点迅速成为科学共识。
那么，费希尔为什么拒不接受这一理论呢？或许他是烟草公司的受薪顾问？或许他本人就是终身烟民？或许费希尔喜欢与别人背道而驰，喜欢备受争议，而且不愿受清教主义的束缚？简而言之，费希尔在许多方面都心存偏见。
但更大的问题可能是费希尔的统计方法更倾向于假想世界，更注重实验的客观程度——只有收集到足够的数据，所有假设才能通过检验并得出完美的结论。然而，要想达到费希尔要求的那种客观程度，就不得不否认贝叶斯先验概率的必要性，还要与其他混乱的实际环境脱节。这样的方法既不要求也不鼓励我们考虑假设的合理性：认为吸烟引起肺癌与认为蟾蜍可以预测地震这两种观点相类似。费希尔意识到相关性并不总是代表因果关系，这一点是值得赞扬的，但是，费希尔的统计方法并没有鼓励我们认真地考虑哪些相关性是因果关系，哪些不是。费希尔倾其一生都以这样的统计学方法思考问题，也难怪他始终无法辨别相关性与因果关系的区别。
成功践行贝叶斯定理的体育赌客
在贝叶斯的世界观里，预测是衡量进步的标尺。我们可能无法得到百分之百的真相，但只有正确的预测才能让我们更加接近真相。
