( 第二次世界大战期间，阿兰·图灵发展贝叶斯法则，破解了德国海军的密码 )

从贝叶斯到拉普拉斯

18世纪英国业余数学家托马斯·贝叶斯（1702～1761）提出过一种看上去很显而易见的观点——贝叶斯法则，它因为简单而显得平淡乏味：“用客观的新信息更新我们最初关于某个事物的信念后，我们就会得到一个新的、改进了的信念。”

贝叶斯法则诞生于1740年左右英国的宗教纷争：人能不能根据周围的世界的证据，对上帝做出理性的结论？1748年休谟发表了一篇论文，攻击基督教的一些基本教义。因为上帝被认为是第一因，休谟对因果关系的怀疑论尤其令人不安，而很多数学家相信自然法能够证明第一因和上帝的存在。为了研究因果关系，贝叶斯设计了一个思想实验，他背对一张桌子坐着，一位助手往方桌上扔一个母球，因为背对着方桌，他不知母球落在何处。接着他让助手再往桌上扔一个球，并报告它落在了母球的左边还是右边。如果是左边，贝叶斯就知道母球很有可能落在了桌子的右侧。贝叶斯的助手继续扔球并报告它落在母球的左边还是右边，如果是右边，贝叶斯知道母球不会在桌子特别靠右的位置。赌徒和数学家已经知道，丢硬币的次数越多，结论越可信。贝叶斯发现，随着扔出的球越来越多，每一条新的信息使他想象着的母球在一个越来越小的区域跳来跳去。这种方法不会得出一个准确的答案，贝叶斯永远也不能知道母球的准确位置，但他可以越来越自信地说出它最有可能在某个确定的范围内。他这个方法从对世界的观察追溯到了它们可能的来历或起因。