似是而非的答案:概率論悖論 | 張?zhí)烊貙冢ǘ?/h3>
2017/03/31
導(dǎo)讀
基于經(jīng)驗(yàn)的直覺(jué)往往并不靠譜!很多時(shí)候都需要用概率的計(jì)算去打破直覺(jué)的錯(cuò)誤。

?你知道嗎?天氣預(yù)報(bào)其實(shí)是一種隨機(jī)變量預(yù)報(bào)
導(dǎo)語(yǔ):
如今,“概率”一詞在我們的生活中隨處可見(jiàn),被人們使用得越來(lái)越廣泛和頻繁。這是一個(gè)多變的世界,一切都在變化,由變量構(gòu)成了我們的世界,其中包括決定性變量。例如,新聞中提到的“北京時(shí)間2016年11月3日20時(shí)43分,長(zhǎng)征五號(hào)在海南文昌成功發(fā)射”,此處的時(shí)間、地點(diǎn)都是固定的決定性變量。我們的生活中還有許多隨機(jī)變量,比如明天霾污染的程度、某公司的股票值等等,都是不確定的隨機(jī)變量。
隨機(jī)變量一般用概率來(lái)描述,生活中處處是隨機(jī)變量,因而處處有概率。氣象預(yù)報(bào)員會(huì)告訴你今天早上8點(diǎn)鐘的“降水概率”是90%;股市的信息可能是一種股票3個(gè)月之后翻倍的概率是67%;你的朋友會(huì)告訴你,你所買(mǎi)彩票的中頭獎(jiǎng)的概率只有一億分之一!概率可以被粗糙地定義為事件發(fā)生的頻率,即發(fā)生次數(shù)與總次數(shù)的比值。更準(zhǔn)確地說(shuō),是總次數(shù)趨于無(wú)限時(shí),這個(gè)比值趨近的極限。
今天,我們就來(lái)聊聊概率中的隨機(jī)變量以及其中的概率論悖論。
撰文 | 張?zhí)烊?(美國(guó)德州大學(xué)奧斯汀分校理論物理博士)
責(zé)編 | 呂浩然
● ● ●
概率論專欄:
雖然概率的定義不難懂,似乎人人都能理解,但你可能不知道,概率計(jì)算的結(jié)果經(jīng)常違背我們的直覺(jué)。概率論中有許多難以解釋、似是而非的悖論,從中人們得到的結(jié)論是:不能完全相信直覺(jué)!
人類的大腦有它的誤區(qū)和盲點(diǎn),就像開(kāi)汽車(chē)的駕駛員視覺(jué)中有“盲點(diǎn)”一樣,需要幾面反光鏡來(lái)幫助克服。我們的思維過(guò)程中也有盲點(diǎn),需要計(jì)算和思考來(lái)幫助澄清。概率論是一個(gè)經(jīng)常出現(xiàn)與直覺(jué)相悖的奇怪結(jié)論的領(lǐng)域,連數(shù)學(xué)家也是稍有不慎便會(huì)錯(cuò)得一塌糊涂?,F(xiàn)在,我們就來(lái)看看經(jīng)典概率中的幾個(gè)著名悖論和謬誤。
基本比率謬誤(Base Rate Fallacy)
先看一個(gè)生活中的例子。
王宏去醫(yī)院作驗(yàn)血實(shí)驗(yàn),檢查他患上了X疾病(患病比率為千分之一)的可能性,其結(jié)果為陽(yáng)性。網(wǎng)上的資料顯示,實(shí)驗(yàn)總是有誤差的,這種實(shí)驗(yàn)有“百分之一的假陽(yáng)性率和百分之一的假陰性率”。這句話的意思是說(shuō),在得病的人中做實(shí)驗(yàn),有1%的人是假陽(yáng)性(即實(shí)際是陰性,卻得到陽(yáng)性的結(jié)果),99%的人是真陽(yáng)性。而在未得病的人中做實(shí)驗(yàn),有1%的人是假陰性,99%的人是真陰性。于是,王宏根據(jù)這種解釋,估計(jì)他感染X疾病的可能性(即概率)為99%。王宏想,既然只有百分之一的假陽(yáng)性率,那么,百分之九十九都是真陽(yáng)性,那我感染X病的概率便應(yīng)該是99%。
可是,醫(yī)生卻告訴他,他被感染的概率只有0.09左右。這是怎么回事呢?王宏的誤區(qū)在哪里?
醫(yī)生說(shuō):“99%是測(cè)試的準(zhǔn)確性,不是你得病的概率。你忘了一件事:這種X疾病的患病比率并不大,每千人中只有一個(gè)人患X病?!?/p>
醫(yī)生的計(jì)算方法是這樣的:因?yàn)闇y(cè)試的誤報(bào)率是1%,1000個(gè)人將有10個(gè)被診斷為假陽(yáng)性,而根據(jù)X病在人口中的比率(1/1000=0.1%),真陽(yáng)性只有1個(gè)。所以,大約11個(gè)測(cè)試為陽(yáng)性的人中只有一個(gè)是真陽(yáng)性(患?。?/span>的,因此,王宏被感染的幾率是大約1/11,即0.09(9%)。
實(shí)際上,王宏犯了“基本比率謬誤”的錯(cuò)誤,即忽略了“X病患者在人口中的基本比例為千分之一”這個(gè)事實(shí)。
談到基本比率謬誤,應(yīng)先從概率論中著名的貝葉斯定理[1]說(shuō)起。托馬斯·貝葉斯(Thomas Bayes ,1701-1761)是英國(guó)統(tǒng)計(jì)學(xué)家,貝葉斯定理是他對(duì)概率論和統(tǒng)計(jì)學(xué)作出的最大貢獻(xiàn),是當(dāng)今人工智能中常用的機(jī)器學(xué)習(xí)之基礎(chǔ)框架,它的思想之深刻遠(yuǎn)出一般人的認(rèn)知,也許貝葉斯自己生前對(duì)此也認(rèn)識(shí)不足。值得一提的是,如此重要的成果卻并未在他生前發(fā)表,而是在他死后的1763年才由他的朋友發(fā)表。本篇將對(duì)貝葉斯定理稍作介紹,我們?cè)诒鞠盗械暮髱灼瑢⒂懻撠惾~斯學(xué)派以及貝葉斯理論在人工智能中的應(yīng)用。
粗略地說(shuō),貝葉斯定理涉及到兩個(gè)隨機(jī)變量A和B的相互影響,專業(yè)注釋為:利用B帶來(lái)的新信息,應(yīng)如何修改B不存在時(shí)A的“先驗(yàn)概率”P(pán)(A),從而得到B存在時(shí)的“條件概率”P(pán)(A|B)?;蛘哳愃频兀部梢詫、B反過(guò)來(lái)敘述,即如何從B的“先驗(yàn)概率”P(pán)(B),得到B的“條件概率”P(pán)(B|A)。正反兩種敘述方式分別對(duì)應(yīng)于下圖中的實(shí)線和虛線。

通過(guò)前述王宏的經(jīng)歷我們就能很好的理解這個(gè)公式:隨機(jī)變量A表示“王宏感染X病”;隨機(jī)變量B表示“王宏的檢查結(jié)果”。先驗(yàn)概率P(A)指的是王宏沒(méi)有檢查結(jié)果時(shí)得X病的概率(即X病在公眾的基本概率0.1%),而條件概率(或后驗(yàn)概率)P(A|B)指的是王宏“檢查結(jié)果為陽(yáng)性”的條件下得X病的概率(9%)。也就是說(shuō),王宏的檢查結(jié)果將先驗(yàn)概率P(A)( 0.1%)修正成為9%。
貝葉斯定理是十八世紀(jì)的產(chǎn)物,卻在二十世紀(jì)七十年代遇到了挑戰(zhàn),該挑戰(zhàn)來(lái)自于卡尼曼和特維爾斯基提出的“基礎(chǔ)概率謬誤”(Base Rate Fallacy)。丹尼爾·卡尼曼(Daniel Kahneman,1934-)是以色列裔美國(guó)心理學(xué)家,2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主。基礎(chǔ)概率謬誤并不是否定貝葉斯定理,而是探討一個(gè)使人困惑的問(wèn)題:為什么人的直覺(jué)經(jīng)常與貝葉斯公式計(jì)算的結(jié)果相悖?如同剛才的例子所示,人們?cè)谑褂弥庇X(jué)的時(shí)候經(jīng)常會(huì)忽略基礎(chǔ)概率??崧仍谒奈恼?《思考,快與慢》 (<Thinking, Fast and Slow>)中舉了一個(gè)出租車(chē)的例子來(lái)啟發(fā)人們思考這個(gè)影響人們“決策”的原因:
某城市有兩種顏色的出租車(chē):藍(lán)和綠(比率為15:85)。一輛出租車(chē)夜間肇事后逃逸,一位目擊者認(rèn)定肇事的出租車(chē)是藍(lán)色的。然而,他“目擊的可信度”如何呢?公安人員經(jīng)過(guò)在相同環(huán)境下對(duì)該目擊者進(jìn)行“藍(lán)綠”測(cè)試得出結(jié)論:正確識(shí)別率為80%,20%的情況不正確。也許有讀者立刻就得出了結(jié)論:肇事車(chē)輛是藍(lán)色的概率應(yīng)該是80%。如果你作此回答,你便是犯了與前文提到的王宏同樣的錯(cuò)誤,忽略了先驗(yàn)概率,沒(méi)有考慮在這個(gè)城市中“藍(lán)綠”車(chē)的基本比例。
那么,肇事車(chē)輛是藍(lán)色的(條件)概率應(yīng)為多少?貝葉斯公式能給出正確的答案。首先我們必須考慮藍(lán)綠出租車(chē)的基本比例(15: 85)。也就是說(shuō),在沒(méi)有目擊證人的情況下,肇事車(chē)輛是藍(lán)色的概率只有15%,即“A=藍(lán)車(chē)肇事”的先驗(yàn)概率P(A)=15%。現(xiàn)在,一位目擊者的出現(xiàn)改變了事件A出現(xiàn)的概率。目擊者看到車(chē)是“藍(lán)”色的。不過(guò),他的目擊能力也要打折扣,只有80%的準(zhǔn)確率,即也是一個(gè)隨機(jī)事件(記為B)。
我們的目的是要得出在有目擊證人“看到藍(lán)車(chē)”的條件下肇事車(chē)輛“真正是藍(lán)色”的概率,即條件概率P(A|B)。后者應(yīng)該大于先驗(yàn)概率的15%,因?yàn)槟繐粽呖吹健八{(lán)車(chē)”。如何修正先驗(yàn)概率?需要計(jì)算P(B|A)和P(B)。
因?yàn)锳=車(chē)為藍(lán)色、B=目擊藍(lán)色,所以P(B|A)是在“車(chē)為藍(lán)色”的條件下“目擊藍(lán)色”的概率,即P(B|A) =80%。最后還要算總概率P(B),它的計(jì)算麻煩一點(diǎn)。P(B)指的是“目擊證人看到一輛車(chē)為藍(lán)色的概率”,等于兩種情況的概率相加:一種是車(chē)為藍(lán),辨認(rèn)也正確;另一種是車(chē)為綠,錯(cuò)看成藍(lán)。所以:
P(B) = 15%×80% + 85%×20% = 29%
從貝葉斯公式:

可以算出在有目擊證人情況下肇事車(chē)輛是藍(lán)色的幾率=41%,同時(shí)也可求得肇事車(chē)輛是綠車(chē)的概率為59%。被修正后的“肇事車(chē)輛為藍(lán)色”的條件概率41%大于先驗(yàn)概率15%很多,但是仍然小于肇事車(chē)為綠的概率0.59。
幾何概型和貝特朗悖論[2]
拋硬幣、擲骰子之類游戲中涉及的概率,是離散的,拋丟結(jié)果的數(shù)目有限(硬幣僅有兩種結(jié)果,骰子為6種)。如果硬幣或骰子是對(duì)稱的,每個(gè)基本結(jié)果發(fā)生的概率相等。這種隨機(jī)事件被稱為古典概型。數(shù)學(xué)家們將古典概型推廣到某些幾何問(wèn)題中,使得隨機(jī)變量的結(jié)果變成了連續(xù)的、結(jié)果數(shù)目無(wú)限多的概型,這種隨機(jī)事件被稱之為“幾何概型”。古典概型向幾何概型的推廣,類似于有限多個(gè)整數(shù)向“實(shí)數(shù)域”的推廣。了解幾何概型很重要,因?yàn)榕c之相關(guān)的“測(cè)度” 概念(長(zhǎng)度、面積等),是現(xiàn)代概率論的基礎(chǔ)。
布豐投針問(wèn)題,是第一個(gè)被研究的幾何概型。

?圖1:布封(Buffon)投針問(wèn)題
十八世紀(jì)的法國(guó),有一個(gè)著名的博物學(xué)家:?jiǎn)讨巍げ钾S伯爵(George Buffon,1707-1788)。他研究過(guò)不同地區(qū)相似環(huán)境中的各種生物族群,也研究過(guò)人和猿的相似之處,以及兩者來(lái)自同一個(gè)祖先的可能性,他的作品對(duì)現(xiàn)代生態(tài)學(xué)影響深遠(yuǎn),他的思想對(duì)達(dá)爾文創(chuàng)建進(jìn)化論影響很大。
難得的是,布豐同時(shí)也是一位數(shù)學(xué)家,是最早將微積分引入概率論的人之一。他提出的布豐投針問(wèn)題(圖1)是這樣問(wèn)的:
用一根長(zhǎng)度為L(zhǎng)的針,隨機(jī)地投向相隔為D的平行線(L < D),針壓到線的概率是多少?
布豐投針問(wèn)題中,求的也是概率,但這時(shí)投擲的不是硬幣或骰子,而是一根針。硬幣投下去只有“正反”兩種基本結(jié)果,每種概率1/2。骰子有6種結(jié)果,每一個(gè)面出現(xiàn)的概率為1/6。而布豐投針卻不同,按照?qǐng)D1a所示的數(shù)學(xué)模型,投針投下之后的狀態(tài)可以用兩個(gè)隨機(jī)變量來(lái)描述,針的中點(diǎn)的位置x,以及針與水平方向所成的角度θ。x在-D/2到D/2之間變化,θ在0到2π間變化。因?yàn)閤和θ的變化是連續(xù)的,所以其結(jié)果有無(wú)限多。古典概率中的求和在幾何概率中用積分代替,使用積分的方法不難求出布豐探針壓線的幾率為2L/(Dπ)。
因?yàn)椴钾S投針中的概率是對(duì)于x和θ的2微積分,所以概率的計(jì)算可以簡(jiǎn)化為如圖1b所示的幾何圖形的面積計(jì)算,即所求概率等于圖1b中陰影面積與矩形面積之比。
布豐投針的結(jié)果提供了一個(gè)用概率實(shí)驗(yàn)來(lái)確定圓周率π的方法(蒙特·卡羅法)。因?yàn)棣?2L/(DP),當(dāng)針投擲的次數(shù)足夠大,得到的概率P足夠精確時(shí),便可以用以上公式計(jì)算π。這種方法的確有些出乎意料之外,用一根針丟來(lái)丟去也能丟出一個(gè)數(shù)學(xué)常數(shù)來(lái)!
從上面的介紹可知,幾何概型將古典概型中的離散隨機(jī)變量擴(kuò)展到了連續(xù)隨機(jī)變量,求和變成積分,變量的樣本空間也從離散和有限擴(kuò)展到了無(wú)窮。幾何概型和古典概型都使用“等概率假設(shè)”。然而,只要涉及到無(wú)窮大,便經(jīng)常會(huì)產(chǎn)生一些怪異的結(jié)果。布豐投針問(wèn)題中條件清楚,因此并沒(méi)有引起什么悖論。而著名的幾何概型悖論——法國(guó)學(xué)者貝特朗(Joseph Bertrand,1822 –1900)于1889年提出的貝特朗悖論則不同。
貝特朗提出的問(wèn)題是:在圓內(nèi)任作一弦,求其長(zhǎng)度超過(guò)圓內(nèi)接正三角形邊長(zhǎng)L的概率。奇怪之處在于,這個(gè)問(wèn)題可以有三種不同的解答,結(jié)果完全不同但聽(tīng)起來(lái)卻似乎都有道理。

?圖2:貝特朗悖論
求解貝特朗問(wèn)題中的概率,不需要用微積分,只需要利用幾何圖形的對(duì)稱性便能得到答案。與計(jì)算布封投針問(wèn)題中概率的情況類似(圖1b),一般來(lái)說(shuō),可以將幾何概率的計(jì)算變換成幾何圖形的計(jì)算,即計(jì)算弧長(zhǎng)或線段的長(zhǎng)度,或者計(jì)算面積、體積,從如下計(jì)算貝特朗問(wèn)題的3種不同方法,讀者可以更為深入地理解這點(diǎn)。
方法1:首先假設(shè)弦的一端固定在圓上某一點(diǎn)(比如A),如圖2a,弦的另一端在圓周上移動(dòng)。移動(dòng)端點(diǎn)落在弧BC上的弦,長(zhǎng)度均超過(guò)圓內(nèi)接正三角形的邊長(zhǎng)L,而其余弦的長(zhǎng)度都小于L。由于對(duì)稱性,BC弧長(zhǎng)占整個(gè)圓周的1/3,所以可得弦長(zhǎng)大于L的概率為BC弧長(zhǎng)與圓周長(zhǎng)之比,即P=1/3。
方法2:首先選擇圓的一個(gè)直徑,比如圖2b中的AD。過(guò)該直徑上的任何點(diǎn)作直徑的垂線,與圓相交形成弦。從圖2b中可以看出:當(dāng)直徑上動(dòng)點(diǎn)的位置在B和C之間時(shí),所得弦的弦長(zhǎng)大于正三角形的邊長(zhǎng)L,動(dòng)點(diǎn)位置在BC之外的弦長(zhǎng)小于L。因?yàn)榫€段BC的長(zhǎng)度是整個(gè)直徑的一半,所以由此可得弦長(zhǎng)大于L的概率為P=1/2。
方法3:如圖2c所示,作一個(gè)半徑只有圓的半徑的二分之一的同心圓(稱為小圓),稱原來(lái)的圓為“大圓”。考慮大圓上任意弦的中點(diǎn)的位置可知:當(dāng)中點(diǎn)位于小圓內(nèi)部時(shí),弦長(zhǎng)符合大于L的要求。因?yàn)樾A的面積是大圓面積的1/4。所以,概率也為P=1/4。
以上3種方法聽(tīng)起來(lái)都“振振有辭”,但得出的結(jié)果卻不盡相同,如何解釋呢?
按照傳統(tǒng)解釋,關(guān)鍵在于“隨機(jī)”選擇弦的方法。方法不同,“等概率假設(shè)” 的應(yīng)用區(qū)間也不一樣。方法1假定端點(diǎn)在圓周上均勻分布(即等概率);方法2假定弦的中點(diǎn)在直徑上均勻分布;方法3則假定弦的中點(diǎn)在圓內(nèi)均勻分布。圖3給出了3種解法中弦的中點(diǎn)在圓內(nèi)的分布情形。圖4則是用3種方法直接畫(huà)出弦,以比較弦在圓內(nèi)的分布情形。也可以說(shuō),貝特朗悖論不是悖論,只是問(wèn)題中沒(méi)有明確規(guī)定隨機(jī)選擇的方法,方法一旦選定,問(wèn)題自然也就有了確定的答案。

?圖3:弦的“中點(diǎn)”在3種方法中的分布情況

?圖4:“弦”在3種方法中的分布情況
概率論中的悖論還有很多,基于經(jīng)驗(yàn)的直覺(jué)判斷很多時(shí)候往往并不靠譜。下一篇將介紹的本福特定律,也是一條初看起來(lái)有些奇怪、不合直覺(jué)的定律,不過(guò)這條定律用處卻很大,甚至還能幫助偵破“財(cái)務(wù)造假”,且聽(tīng)下回分解。
參考資料:
【1】維基百科-貝葉斯定理:https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86
【2】wikipidia:Bertrand_paradox_(probability)
https://en.wikipedia.org/wiki/Bertrand_paradox_(probability)
?你知道嗎?天氣預(yù)報(bào)其實(shí)是一種隨機(jī)變量預(yù)報(bào)
導(dǎo)語(yǔ):
如今,“概率”一詞在我們的生活中隨處可見(jiàn),被人們使用得越來(lái)越廣泛和頻繁。這是一個(gè)多變的世界,一切都在變化,由變量構(gòu)成了我們的世界,其中包括決定性變量。例如,新聞中提到的“北京時(shí)間2016年11月3日20時(shí)43分,長(zhǎng)征五號(hào)在海南文昌成功發(fā)射”,此處的時(shí)間、地點(diǎn)都是固定的決定性變量。我們的生活中還有許多隨機(jī)變量,比如明天霾污染的程度、某公司的股票值等等,都是不確定的隨機(jī)變量。
隨機(jī)變量一般用概率來(lái)描述,生活中處處是隨機(jī)變量,因而處處有概率。氣象預(yù)報(bào)員會(huì)告訴你今天早上8點(diǎn)鐘的“降水概率”是90%;股市的信息可能是一種股票3個(gè)月之后翻倍的概率是67%;你的朋友會(huì)告訴你,你所買(mǎi)彩票的中頭獎(jiǎng)的概率只有一億分之一!概率可以被粗糙地定義為事件發(fā)生的頻率,即發(fā)生次數(shù)與總次數(shù)的比值。更準(zhǔn)確地說(shuō),是總次數(shù)趨于無(wú)限時(shí),這個(gè)比值趨近的極限。
今天,我們就來(lái)聊聊概率中的隨機(jī)變量以及其中的概率論悖論。
撰文 | 張?zhí)烊?(美國(guó)德州大學(xué)奧斯汀分校理論物理博士)
責(zé)編 | 呂浩然
● ● ●
概率論專欄:
雖然概率的定義不難懂,似乎人人都能理解,但你可能不知道,概率計(jì)算的結(jié)果經(jīng)常違背我們的直覺(jué)。概率論中有許多難以解釋、似是而非的悖論,從中人們得到的結(jié)論是:不能完全相信直覺(jué)!
人類的大腦有它的誤區(qū)和盲點(diǎn),就像開(kāi)汽車(chē)的駕駛員視覺(jué)中有“盲點(diǎn)”一樣,需要幾面反光鏡來(lái)幫助克服。我們的思維過(guò)程中也有盲點(diǎn),需要計(jì)算和思考來(lái)幫助澄清。概率論是一個(gè)經(jīng)常出現(xiàn)與直覺(jué)相悖的奇怪結(jié)論的領(lǐng)域,連數(shù)學(xué)家也是稍有不慎便會(huì)錯(cuò)得一塌糊涂?,F(xiàn)在,我們就來(lái)看看經(jīng)典概率中的幾個(gè)著名悖論和謬誤。
基本比率謬誤(Base Rate Fallacy)
先看一個(gè)生活中的例子。
王宏去醫(yī)院作驗(yàn)血實(shí)驗(yàn),檢查他患上了X疾病(患病比率為千分之一)的可能性,其結(jié)果為陽(yáng)性。網(wǎng)上的資料顯示,實(shí)驗(yàn)總是有誤差的,這種實(shí)驗(yàn)有“百分之一的假陽(yáng)性率和百分之一的假陰性率”。這句話的意思是說(shuō),在得病的人中做實(shí)驗(yàn),有1%的人是假陽(yáng)性(即實(shí)際是陰性,卻得到陽(yáng)性的結(jié)果),99%的人是真陽(yáng)性。而在未得病的人中做實(shí)驗(yàn),有1%的人是假陰性,99%的人是真陰性。于是,王宏根據(jù)這種解釋,估計(jì)他感染X疾病的可能性(即概率)為99%。王宏想,既然只有百分之一的假陽(yáng)性率,那么,百分之九十九都是真陽(yáng)性,那我感染X病的概率便應(yīng)該是99%。
可是,醫(yī)生卻告訴他,他被感染的概率只有0.09左右。這是怎么回事呢?王宏的誤區(qū)在哪里?
醫(yī)生說(shuō):“99%是測(cè)試的準(zhǔn)確性,不是你得病的概率。你忘了一件事:這種X疾病的患病比率并不大,每千人中只有一個(gè)人患X病?!?/p>
醫(yī)生的計(jì)算方法是這樣的:因?yàn)闇y(cè)試的誤報(bào)率是1%,1000個(gè)人將有10個(gè)被診斷為假陽(yáng)性,而根據(jù)X病在人口中的比率(1/1000=0.1%),真陽(yáng)性只有1個(gè)。所以,大約11個(gè)測(cè)試為陽(yáng)性的人中只有一個(gè)是真陽(yáng)性(患?。?/span>的,因此,王宏被感染的幾率是大約1/11,即0.09(9%)。
實(shí)際上,王宏犯了“基本比率謬誤”的錯(cuò)誤,即忽略了“X病患者在人口中的基本比例為千分之一”這個(gè)事實(shí)。
談到基本比率謬誤,應(yīng)先從概率論中著名的貝葉斯定理[1]說(shuō)起。托馬斯·貝葉斯(Thomas Bayes ,1701-1761)是英國(guó)統(tǒng)計(jì)學(xué)家,貝葉斯定理是他對(duì)概率論和統(tǒng)計(jì)學(xué)作出的最大貢獻(xiàn),是當(dāng)今人工智能中常用的機(jī)器學(xué)習(xí)之基礎(chǔ)框架,它的思想之深刻遠(yuǎn)出一般人的認(rèn)知,也許貝葉斯自己生前對(duì)此也認(rèn)識(shí)不足。值得一提的是,如此重要的成果卻并未在他生前發(fā)表,而是在他死后的1763年才由他的朋友發(fā)表。本篇將對(duì)貝葉斯定理稍作介紹,我們?cè)诒鞠盗械暮髱灼瑢⒂懻撠惾~斯學(xué)派以及貝葉斯理論在人工智能中的應(yīng)用。
粗略地說(shuō),貝葉斯定理涉及到兩個(gè)隨機(jī)變量A和B的相互影響,專業(yè)注釋為:利用B帶來(lái)的新信息,應(yīng)如何修改B不存在時(shí)A的“先驗(yàn)概率”P(pán)(A),從而得到B存在時(shí)的“條件概率”P(pán)(A|B)?;蛘哳愃频兀部梢詫、B反過(guò)來(lái)敘述,即如何從B的“先驗(yàn)概率”P(pán)(B),得到B的“條件概率”P(pán)(B|A)。正反兩種敘述方式分別對(duì)應(yīng)于下圖中的實(shí)線和虛線。
通過(guò)前述王宏的經(jīng)歷我們就能很好的理解這個(gè)公式:隨機(jī)變量A表示“王宏感染X病”;隨機(jī)變量B表示“王宏的檢查結(jié)果”。先驗(yàn)概率P(A)指的是王宏沒(méi)有檢查結(jié)果時(shí)得X病的概率(即X病在公眾的基本概率0.1%),而條件概率(或后驗(yàn)概率)P(A|B)指的是王宏“檢查結(jié)果為陽(yáng)性”的條件下得X病的概率(9%)。也就是說(shuō),王宏的檢查結(jié)果將先驗(yàn)概率P(A)( 0.1%)修正成為9%。
貝葉斯定理是十八世紀(jì)的產(chǎn)物,卻在二十世紀(jì)七十年代遇到了挑戰(zhàn),該挑戰(zhàn)來(lái)自于卡尼曼和特維爾斯基提出的“基礎(chǔ)概率謬誤”(Base Rate Fallacy)。丹尼爾·卡尼曼(Daniel Kahneman,1934-)是以色列裔美國(guó)心理學(xué)家,2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主。基礎(chǔ)概率謬誤并不是否定貝葉斯定理,而是探討一個(gè)使人困惑的問(wèn)題:為什么人的直覺(jué)經(jīng)常與貝葉斯公式計(jì)算的結(jié)果相悖?如同剛才的例子所示,人們?cè)谑褂弥庇X(jué)的時(shí)候經(jīng)常會(huì)忽略基礎(chǔ)概率??崧仍谒奈恼?《思考,快與慢》 (<Thinking, Fast and Slow>)中舉了一個(gè)出租車(chē)的例子來(lái)啟發(fā)人們思考這個(gè)影響人們“決策”的原因:
某城市有兩種顏色的出租車(chē):藍(lán)和綠(比率為15:85)。一輛出租車(chē)夜間肇事后逃逸,一位目擊者認(rèn)定肇事的出租車(chē)是藍(lán)色的。然而,他“目擊的可信度”如何呢?公安人員經(jīng)過(guò)在相同環(huán)境下對(duì)該目擊者進(jìn)行“藍(lán)綠”測(cè)試得出結(jié)論:正確識(shí)別率為80%,20%的情況不正確。也許有讀者立刻就得出了結(jié)論:肇事車(chē)輛是藍(lán)色的概率應(yīng)該是80%。如果你作此回答,你便是犯了與前文提到的王宏同樣的錯(cuò)誤,忽略了先驗(yàn)概率,沒(méi)有考慮在這個(gè)城市中“藍(lán)綠”車(chē)的基本比例。
那么,肇事車(chē)輛是藍(lán)色的(條件)概率應(yīng)為多少?貝葉斯公式能給出正確的答案。首先我們必須考慮藍(lán)綠出租車(chē)的基本比例(15: 85)。也就是說(shuō),在沒(méi)有目擊證人的情況下,肇事車(chē)輛是藍(lán)色的概率只有15%,即“A=藍(lán)車(chē)肇事”的先驗(yàn)概率P(A)=15%。現(xiàn)在,一位目擊者的出現(xiàn)改變了事件A出現(xiàn)的概率。目擊者看到車(chē)是“藍(lán)”色的。不過(guò),他的目擊能力也要打折扣,只有80%的準(zhǔn)確率,即也是一個(gè)隨機(jī)事件(記為B)。
我們的目的是要得出在有目擊證人“看到藍(lán)車(chē)”的條件下肇事車(chē)輛“真正是藍(lán)色”的概率,即條件概率P(A|B)。后者應(yīng)該大于先驗(yàn)概率的15%,因?yàn)槟繐粽呖吹健八{(lán)車(chē)”。如何修正先驗(yàn)概率?需要計(jì)算P(B|A)和P(B)。
因?yàn)锳=車(chē)為藍(lán)色、B=目擊藍(lán)色,所以P(B|A)是在“車(chē)為藍(lán)色”的條件下“目擊藍(lán)色”的概率,即P(B|A) =80%。最后還要算總概率P(B),它的計(jì)算麻煩一點(diǎn)。P(B)指的是“目擊證人看到一輛車(chē)為藍(lán)色的概率”,等于兩種情況的概率相加:一種是車(chē)為藍(lán),辨認(rèn)也正確;另一種是車(chē)為綠,錯(cuò)看成藍(lán)。所以:
P(B) = 15%×80% + 85%×20% = 29%
從貝葉斯公式:
可以算出在有目擊證人情況下肇事車(chē)輛是藍(lán)色的幾率=41%,同時(shí)也可求得肇事車(chē)輛是綠車(chē)的概率為59%。被修正后的“肇事車(chē)輛為藍(lán)色”的條件概率41%大于先驗(yàn)概率15%很多,但是仍然小于肇事車(chē)為綠的概率0.59。
幾何概型和貝特朗悖論[2]
拋硬幣、擲骰子之類游戲中涉及的概率,是離散的,拋丟結(jié)果的數(shù)目有限(硬幣僅有兩種結(jié)果,骰子為6種)。如果硬幣或骰子是對(duì)稱的,每個(gè)基本結(jié)果發(fā)生的概率相等。這種隨機(jī)事件被稱為古典概型。數(shù)學(xué)家們將古典概型推廣到某些幾何問(wèn)題中,使得隨機(jī)變量的結(jié)果變成了連續(xù)的、結(jié)果數(shù)目無(wú)限多的概型,這種隨機(jī)事件被稱之為“幾何概型”。古典概型向幾何概型的推廣,類似于有限多個(gè)整數(shù)向“實(shí)數(shù)域”的推廣。了解幾何概型很重要,因?yàn)榕c之相關(guān)的“測(cè)度” 概念(長(zhǎng)度、面積等),是現(xiàn)代概率論的基礎(chǔ)。
布豐投針問(wèn)題,是第一個(gè)被研究的幾何概型。
?圖1:布封(Buffon)投針問(wèn)題
十八世紀(jì)的法國(guó),有一個(gè)著名的博物學(xué)家:?jiǎn)讨巍げ钾S伯爵(George Buffon,1707-1788)。他研究過(guò)不同地區(qū)相似環(huán)境中的各種生物族群,也研究過(guò)人和猿的相似之處,以及兩者來(lái)自同一個(gè)祖先的可能性,他的作品對(duì)現(xiàn)代生態(tài)學(xué)影響深遠(yuǎn),他的思想對(duì)達(dá)爾文創(chuàng)建進(jìn)化論影響很大。
難得的是,布豐同時(shí)也是一位數(shù)學(xué)家,是最早將微積分引入概率論的人之一。他提出的布豐投針問(wèn)題(圖1)是這樣問(wèn)的:
用一根長(zhǎng)度為L(zhǎng)的針,隨機(jī)地投向相隔為D的平行線(L < D),針壓到線的概率是多少?
布豐投針問(wèn)題中,求的也是概率,但這時(shí)投擲的不是硬幣或骰子,而是一根針。硬幣投下去只有“正反”兩種基本結(jié)果,每種概率1/2。骰子有6種結(jié)果,每一個(gè)面出現(xiàn)的概率為1/6。而布豐投針卻不同,按照?qǐng)D1a所示的數(shù)學(xué)模型,投針投下之后的狀態(tài)可以用兩個(gè)隨機(jī)變量來(lái)描述,針的中點(diǎn)的位置x,以及針與水平方向所成的角度θ。x在-D/2到D/2之間變化,θ在0到2π間變化。因?yàn)閤和θ的變化是連續(xù)的,所以其結(jié)果有無(wú)限多。古典概率中的求和在幾何概率中用積分代替,使用積分的方法不難求出布豐探針壓線的幾率為2L/(Dπ)。
因?yàn)椴钾S投針中的概率是對(duì)于x和θ的2微積分,所以概率的計(jì)算可以簡(jiǎn)化為如圖1b所示的幾何圖形的面積計(jì)算,即所求概率等于圖1b中陰影面積與矩形面積之比。
布豐投針的結(jié)果提供了一個(gè)用概率實(shí)驗(yàn)來(lái)確定圓周率π的方法(蒙特·卡羅法)。因?yàn)棣?2L/(DP),當(dāng)針投擲的次數(shù)足夠大,得到的概率P足夠精確時(shí),便可以用以上公式計(jì)算π。這種方法的確有些出乎意料之外,用一根針丟來(lái)丟去也能丟出一個(gè)數(shù)學(xué)常數(shù)來(lái)!
從上面的介紹可知,幾何概型將古典概型中的離散隨機(jī)變量擴(kuò)展到了連續(xù)隨機(jī)變量,求和變成積分,變量的樣本空間也從離散和有限擴(kuò)展到了無(wú)窮。幾何概型和古典概型都使用“等概率假設(shè)”。然而,只要涉及到無(wú)窮大,便經(jīng)常會(huì)產(chǎn)生一些怪異的結(jié)果。布豐投針問(wèn)題中條件清楚,因此并沒(méi)有引起什么悖論。而著名的幾何概型悖論——法國(guó)學(xué)者貝特朗(Joseph Bertrand,1822 –1900)于1889年提出的貝特朗悖論則不同。
貝特朗提出的問(wèn)題是:在圓內(nèi)任作一弦,求其長(zhǎng)度超過(guò)圓內(nèi)接正三角形邊長(zhǎng)L的概率。奇怪之處在于,這個(gè)問(wèn)題可以有三種不同的解答,結(jié)果完全不同但聽(tīng)起來(lái)卻似乎都有道理。
?圖2:貝特朗悖論
求解貝特朗問(wèn)題中的概率,不需要用微積分,只需要利用幾何圖形的對(duì)稱性便能得到答案。與計(jì)算布封投針問(wèn)題中概率的情況類似(圖1b),一般來(lái)說(shuō),可以將幾何概率的計(jì)算變換成幾何圖形的計(jì)算,即計(jì)算弧長(zhǎng)或線段的長(zhǎng)度,或者計(jì)算面積、體積,從如下計(jì)算貝特朗問(wèn)題的3種不同方法,讀者可以更為深入地理解這點(diǎn)。
方法1:首先假設(shè)弦的一端固定在圓上某一點(diǎn)(比如A),如圖2a,弦的另一端在圓周上移動(dòng)。移動(dòng)端點(diǎn)落在弧BC上的弦,長(zhǎng)度均超過(guò)圓內(nèi)接正三角形的邊長(zhǎng)L,而其余弦的長(zhǎng)度都小于L。由于對(duì)稱性,BC弧長(zhǎng)占整個(gè)圓周的1/3,所以可得弦長(zhǎng)大于L的概率為BC弧長(zhǎng)與圓周長(zhǎng)之比,即P=1/3。
方法2:首先選擇圓的一個(gè)直徑,比如圖2b中的AD。過(guò)該直徑上的任何點(diǎn)作直徑的垂線,與圓相交形成弦。從圖2b中可以看出:當(dāng)直徑上動(dòng)點(diǎn)的位置在B和C之間時(shí),所得弦的弦長(zhǎng)大于正三角形的邊長(zhǎng)L,動(dòng)點(diǎn)位置在BC之外的弦長(zhǎng)小于L。因?yàn)榫€段BC的長(zhǎng)度是整個(gè)直徑的一半,所以由此可得弦長(zhǎng)大于L的概率為P=1/2。
方法3:如圖2c所示,作一個(gè)半徑只有圓的半徑的二分之一的同心圓(稱為小圓),稱原來(lái)的圓為“大圓”。考慮大圓上任意弦的中點(diǎn)的位置可知:當(dāng)中點(diǎn)位于小圓內(nèi)部時(shí),弦長(zhǎng)符合大于L的要求。因?yàn)樾A的面積是大圓面積的1/4。所以,概率也為P=1/4。
以上3種方法聽(tīng)起來(lái)都“振振有辭”,但得出的結(jié)果卻不盡相同,如何解釋呢?
按照傳統(tǒng)解釋,關(guān)鍵在于“隨機(jī)”選擇弦的方法。方法不同,“等概率假設(shè)” 的應(yīng)用區(qū)間也不一樣。方法1假定端點(diǎn)在圓周上均勻分布(即等概率);方法2假定弦的中點(diǎn)在直徑上均勻分布;方法3則假定弦的中點(diǎn)在圓內(nèi)均勻分布。圖3給出了3種解法中弦的中點(diǎn)在圓內(nèi)的分布情形。圖4則是用3種方法直接畫(huà)出弦,以比較弦在圓內(nèi)的分布情形。也可以說(shuō),貝特朗悖論不是悖論,只是問(wèn)題中沒(méi)有明確規(guī)定隨機(jī)選擇的方法,方法一旦選定,問(wèn)題自然也就有了確定的答案。
?圖3:弦的“中點(diǎn)”在3種方法中的分布情況
?圖4:“弦”在3種方法中的分布情況
概率論中的悖論還有很多,基于經(jīng)驗(yàn)的直覺(jué)判斷很多時(shí)候往往并不靠譜。下一篇將介紹的本福特定律,也是一條初看起來(lái)有些奇怪、不合直覺(jué)的定律,不過(guò)這條定律用處卻很大,甚至還能幫助偵破“財(cái)務(wù)造假”,且聽(tīng)下回分解。
參考資料:
【1】維基百科-貝葉斯定理:https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86
【2】wikipidia:Bertrand_paradox_(probability)
https://en.wikipedia.org/wiki/Bertrand_paradox_(probability)