凱西·奧尼爾：盲目信仰大數(shù)據(jù)的時(shí)代必須結(jié)束 | 算法密碼
“算法密碼”系列第5篇
《知識(shí)分子》科學(xué)新聞實(shí)驗(yàn)室第18篇
撰文 | 葉偉民（《知識(shí)分子》科學(xué)新聞實(shí)驗(yàn)室特邀作者）
責(zé)編 | 黃永明
● ● ●
上一篇“算法相親”的故事發(fā)表后，我被爭(zhēng)吵包圍。因?yàn)樗|及了一個(gè)既美好又虐心的話題——愛(ài)情。算法的介入，就像怪咖闖進(jìn)了伊甸園，技術(shù)派和浪漫派的意見迥異得仿佛來(lái)自兩個(gè)星球，前者信奉“萬(wàn)物可算”，后者則捍衛(wèi)人類寶貴的“自由意志”。
這個(gè)碰撞早就被科幻作家列入思索之列，從而誕生了眾多反烏托邦電影。《少數(shù)派報(bào)告》便是其中之一。它的故事發(fā)生在2054年的華盛頓特區(qū)，謀殺在這里已經(jīng)絕跡。一支預(yù)防犯罪小組依賴“先知系統(tǒng)”準(zhǔn)確預(yù)測(cè)所有罪行，并在發(fā)生前逮捕“罪犯”。如果你被盯上，是絕無(wú)可能抗議和掙脫的，因?yàn)椤跋戎笔遣蝗葜靡傻淖罡邫?quán)威。
數(shù)據(jù)科學(xué)家凱西·奧尼爾很欣賞這部電影，還把它寫進(jìn)了暢銷書《數(shù)學(xué)毀滅性武器》。凱西是約翰遜實(shí)驗(yàn)室的高級(jí)科學(xué)顧問(wèn)，哈佛大學(xué)數(shù)學(xué)博士，還曾任巴納德學(xué)院教授和華爾街量化分析師。她現(xiàn)居紐約，染著一頭藍(lán)發(fā)。
2008年以前，凱西過(guò)著標(biāo)準(zhǔn)的曼哈頓技術(shù)新貴生活，但金融海嘯讓她驚醒。她看到了瘋狂的財(cái)富游戲背后所隱藏的技術(shù)深淵。此后，她參與發(fā)起“占領(lǐng)華爾街”運(yùn)動(dòng)，并且要告訴人們更多真相——算法和大數(shù)據(jù)在光環(huán)之外，還是更多歧視、偏見、不公的源泉，縱使其進(jìn)行得相當(dāng)隱蔽。
過(guò)去一個(gè)月，凱西通過(guò)郵件向我分享了她的故事。離開華爾街后，她從技術(shù)締造者的身份抽離出來(lái)，聚焦那些被技術(shù)統(tǒng)治卻無(wú)力抵抗的角落，例如被算法解雇的中學(xué)教師、被犯罪預(yù)警系統(tǒng)過(guò)度執(zhí)法的有色公民、被基金模型盤剝卻渾然不知的底層……她把背后的始作俑者稱為“weapons of math destruction”，諧音布什政府當(dāng)年針對(duì)伊拉克的“大規(guī)模殺傷性武器”[1]。
也恰如其諧義，算法在解決越來(lái)越多難題的同時(shí)，也接管人類讓渡的部分裁決權(quán)。它不斷進(jìn)化，逐漸在教育、執(zhí)法、金融、社會(huì)保障等領(lǐng)域占據(jù)統(tǒng)治地位。它不靠暴力維持，而是憑神秘的科技外衣加持，樹立起普通民眾無(wú)法穿透的隱形權(quán)威。它所蘊(yùn)含的新奴役關(guān)系，已引起科學(xué)界和思想界的注意，甚至被形容為“最安靜的恐怖主義”。
2017年4月，凱西登上TED，向公眾坦陳了這些鮮為人知的“黑盒子”和并不樂(lè)觀的未來(lái)。驚愕過(guò)后，人們報(bào)以持久的掌聲、歡呼和口哨，包圍了她已重復(fù)過(guò)無(wú)數(shù)次的警示——
“盲目信仰大數(shù)據(jù)的時(shí)代必須結(jié)束?！?/p>
算法黑洞
麥法蘭中學(xué)是位于華盛頓的一所平民社區(qū)高中，擁有如茵的草坪、聯(lián)排紅墻教學(xué)樓和多種族學(xué)生。女教師莎拉·韋索奇2009年來(lái)到這里，她對(duì)教育非凡的熱忱很快感染了同事和家長(zhǎng)。
“她是我見過(guò)最好的老師之一?！丙湻ㄌm中學(xué)家長(zhǎng)教師協(xié)會(huì)負(fù)責(zé)人布萊恩·多爾西說(shuō)，他的女兒是莎拉的學(xué)生，“每次見她，她不是在輔導(dǎo)孩子，就是與他們談心?！?/p>
學(xué)校2011年5月對(duì)莎拉的評(píng)估報(bào)告也佐證了這一點(diǎn)：“我們很欣慰看到這么一個(gè)教與學(xué)互動(dòng)積極、運(yùn)轉(zhuǎn)高效的課堂。”莎拉還被推薦到其他學(xué)校分享經(jīng)驗(yàn)。
然而僅兩個(gè)月后，莎拉被解雇了。一套叫“IMPACT”的教師評(píng)價(jià)系統(tǒng)認(rèn)為她相當(dāng)失敗，原因是她任教班級(jí)的閱讀和數(shù)學(xué)成績(jī)沒(méi)有實(shí)現(xiàn)預(yù)期增長(zhǎng)。
這次教學(xué)評(píng)價(jià)源自華盛頓特區(qū)自2007年推行的教育改革方案，時(shí)任教育局局長(zhǎng)李洋姬將這里低迷的高中升學(xué)率歸咎于教師的失職。這位作風(fēng)凌厲的女士決心炒掉數(shù)百名表現(xiàn)差勁的教員。為了讓落刀更加精準(zhǔn)高效，她引入一套計(jì)算機(jī)算法系統(tǒng)，即“IMPACT”，它通過(guò)琳瑯滿目的指標(biāo)和一個(gè)極其復(fù)雜的回歸方程，組成一個(gè)“增值模型”，自動(dòng)為每位教師打分并決定其命運(yùn)。
縱使莎拉的其他指標(biāo)非常優(yōu)秀，但“增值模型”的得分卻異常低。她很憤怒，寫信質(zhì)詢教育局：“我想知道，這些數(shù)據(jù)是怎樣計(jì)算出來(lái)的？”
沒(méi)有人理會(huì)她?！度A盛頓郵報(bào)》為此寫了一個(gè)報(bào)道，標(biāo)題充滿黑色調(diào)侃和同情——《我激情，我創(chuàng)造，我被炒了》。很快，莎拉收到一封來(lái)自紐約的郵件，是凱西。
凱西被這個(gè)案例吸引，她給莎拉打電話，掌握更多細(xì)節(jié)，逐漸看清其中的貓膩。兩位女士還共同查閱莎拉班上一些轉(zhuǎn)學(xué)學(xué)生的過(guò)往成績(jī)，發(fā)現(xiàn)他們?cè)谇耙凰鶎W(xué)校的閱讀分?jǐn)?shù)都異常高，是所在學(xué)區(qū)平均分的五倍。
莎拉在實(shí)際教學(xué)中卻發(fā)現(xiàn)相反的事實(shí)，這些學(xué)生連閱讀簡(jiǎn)單句子都困難。凱西又查閱媒體，發(fā)現(xiàn)該學(xué)區(qū)涂改測(cè)驗(yàn)成績(jī)的現(xiàn)象非常普遍。也就是有人作惡了，然后把這些虛高的成績(jī)交到老實(shí)人莎拉手上，并通過(guò)算法讓其受到不公懲罰。
莎拉將這一發(fā)現(xiàn)向管理部門舉報(bào)，得到的回復(fù)是：必須明確指出作弊老師和學(xué)生的名字，還要有充足的證據(jù)反駁“IMPACT”的打分。這幾乎是一個(gè)黑客級(jí)的難題，而莎拉只是一個(gè)社區(qū)中學(xué)五年級(jí)的老師。
隨著研究的深入，凱西發(fā)現(xiàn)了“IMPACT”系統(tǒng)更多的底層邏輯漏洞?！皩W(xué)生的成績(jī)受很多因素影響，要量化一個(gè)教師在其中的作用非常困難，也非常復(fù)雜?！彼f(shuō)，“而且僅憑二三十個(gè)學(xué)生的成績(jī)來(lái)決定一個(gè)人的去留，在統(tǒng)計(jì)學(xué)上也是靠不住的。”
“IMPACT”系統(tǒng)最終解雇了兩百多名教師，主導(dǎo)者卻沒(méi)有獲得期望中的支持。當(dāng)?shù)毓?huì)的民意調(diào)查顯示，民眾對(duì)教師清洗行動(dòng)“非常不滿意”，一些教師協(xié)會(huì)也舉行抗議，并幫助遭受不公對(duì)待的教師提出申訴。這最終影響了時(shí)任市長(zhǎng)艾德里安·芬提的連任，教育局局長(zhǎng)李洋姬也隨之辭職。
無(wú)論如何，算法對(duì)莎拉的判決已無(wú)法挽回。但幸運(yùn)的是，她僅失業(yè)了幾天，在很多同行和家長(zhǎng)的推薦下，很快在一個(gè)富裕社區(qū)學(xué)校找到教職，而且那里不再有機(jī)器給她打分。
“拜一個(gè)非?？梢傻哪Ｐ退n，窮人的學(xué)校失去了一位好老師，富人的學(xué)校卻得到了她。”凱西說(shuō)，“未來(lái)，富人的事務(wù)會(huì)由人打理，平民的事情則交由機(jī)器?！?/p>
它沒(méi)有公平的概念
在美國(guó)，莎拉的故事并不是孤例。不同版本的“IMPACT”系統(tǒng)正在超過(guò)一半的州推行，支持者則是整個(gè)聯(lián)邦政府。這是奧巴馬時(shí)代教育改革的遺產(chǎn)，卻沒(méi)有得到教育界的擁護(hù)，多地教師向法院起訴此類算法并在紐約州和休斯頓獲勝。
但這種有所成效的抗?fàn)幦允切疫\(yùn)的少數(shù)。在許多領(lǐng)域，算法的統(tǒng)治進(jìn)行得更加隱蔽和難以反駁。例如執(zhí)法。
凱西曾研究過(guò)一個(gè)算法執(zhí)法的樣本——賓州小城市雷丁。這個(gè)緊挨費(fèi)城的資源枯竭城市，貧窮率已攀升至全美之最（41.3%），與之相伴的是同樣高企的犯罪率。雷丁政府缺錢，裁掉了45名警員，將省下的經(jīng)費(fèi)購(gòu)買了犯罪預(yù)測(cè)系統(tǒng)PredPol。
這個(gè)“救星”非常強(qiáng)大，可以分析一個(gè)地方的犯罪歷史數(shù)據(jù)，逐小時(shí)計(jì)算不同區(qū)域的犯罪發(fā)生率，再在地圖上以網(wǎng)格形式呈現(xiàn)計(jì)算結(jié)果。最后，只要加強(qiáng)對(duì)有高風(fēng)險(xiǎn)提示的網(wǎng)格巡邏，就能遏制犯罪。一年后，雷丁政府宣布，盜竊案減少了23%。
類似PredPol的犯罪預(yù)測(cè)系統(tǒng)在美國(guó)大受追捧。除雷丁外，紐約、亞特蘭大、洛杉磯等大城市也在其列。如今這已成為一股世界性潮流：在中國(guó)，北京等一線城市也啟用算法和大數(shù)據(jù)來(lái)協(xié)助降低犯罪率。
“它們看上去足夠高效，也足夠公平?！眲P西說(shuō)，“起碼從表面上看，它們只是預(yù)測(cè)事情，而不會(huì)考慮人種、種群等因素。”
?圖：犯罪預(yù)測(cè)系統(tǒng)正在被廣泛應(yīng)用
犯罪可被預(yù)測(cè)，是“犯罪統(tǒng)計(jì)學(xué)”和“道德統(tǒng)計(jì)學(xué)”共同呈現(xiàn)的結(jié)果。后者可能有些費(fèi)解，簡(jiǎn)單來(lái)說(shuō)，就是基于這樣一個(gè)事實(shí)：在對(duì)象足夠多時(shí)，人們的自由選擇權(quán)就會(huì)消失，甚至?xí)适Ю碇?。凱文·凱利的暢銷書《失控》對(duì)此也有類似的闡述。
1820年代末，統(tǒng)計(jì)學(xué)家蓋里和凱特萊對(duì)法國(guó)的犯罪數(shù)據(jù)進(jìn)行研究，發(fā)現(xiàn)每年的犯罪行為特點(diǎn)幾乎保持不變，連使用槍支、刀劍、拳腳、棍棒的謀殺案比例都年年相似。他們得出結(jié)論：犯罪行為可以準(zhǔn)確無(wú)誤地進(jìn)行自我復(fù)制。
但問(wèn)題遠(yuǎn)不止這么簡(jiǎn)單。算法模型一旦運(yùn)轉(zhuǎn)，執(zhí)法行為就會(huì)增多，產(chǎn)生的新數(shù)據(jù)又會(huì)進(jìn)一步證明加強(qiáng)執(zhí)法的必要性。形象地說(shuō)，就是哪里前科越多，哪里就越受算法“關(guān)照”，最終形成一個(gè)失真、甚至有害的回饋環(huán)路。
從種族角度看，有色人種多聚居于貧困社區(qū)，由于那里歷史犯罪率高，算法會(huì)不斷指派警察去那里巡邏，最終結(jié)果是更多有色公民被抓或盤查。這還是難逃種族偏見的怪圈。
從階層角度看，被算法納入預(yù)測(cè)的都是常規(guī)犯罪，有錢人玩的金融欺詐和高智商犯罪并不在其中。也就是說(shuō)，算法再精準(zhǔn)高效，也只是協(xié)助警察瞄準(zhǔn)窮人。
凱西做過(guò)一項(xiàng)調(diào)查，曾被警察攔截搜身的男性中，有85%是黑人或拉美裔。頻繁的光顧又會(huì)放大一些可有可無(wú)的輕微罪行（例如公共場(chǎng)所抽煙和未成年飲酒），導(dǎo)致這些人與警察沖突加劇，甚至因此被捕。紐約公民自由聯(lián)盟的調(diào)查數(shù)據(jù)顯示，黑人坐牢的幾率是白人的六倍，被警察殺死的概率則是白人的21倍。
縱使情況已如此嚴(yán)重，除了固有的種族歧視因素，仍沒(méi)有多少人意識(shí)到這里面也有算法的功勞。人們?nèi)匀灰詾榧夹g(shù)是中立的，并且信奉一種很低的成功概率——如果能打擊犯罪，忍受一些不便和騷擾是值得的。
“算法的運(yùn)用，往往面臨公平與效率的取舍。”凱西說(shuō)，“法律維護(hù)公平，所以犧牲效率。算法則剛好相反，它沒(méi)有公平的概念。”
讓人類保留最后一步
算法取得裁決地位的領(lǐng)域在不斷增多，除了上述的教育和執(zhí)法領(lǐng)域外，金融、法律、資訊、招生、求職、個(gè)人信用等都相繼被圈進(jìn)其權(quán)力范圍。締造者的初衷本不值得懷疑——要擺脫人腦的偏見和運(yùn)算短板，用算法、模型、機(jī)器學(xué)習(xí)重塑一個(gè)更加客觀的世界。
然而，大眾對(duì)“技術(shù)中立”的過(guò)度誤解，恰恰滋養(yǎng)了新的灰色空間，演變成當(dāng)下越發(fā)狂熱的大數(shù)據(jù)崇拜思潮。數(shù)據(jù)科學(xué)家弗雷德·班奈森為此創(chuàng)造了一個(gè)流行詞——“數(shù)學(xué)洗白”（Mathwashing）。凱西也有近似的觀點(diǎn)，“大數(shù)據(jù)并沒(méi)有消除偏見，我們只是用技術(shù)來(lái)掩飾它。”
以色列歷史學(xué)家尤瓦爾·赫拉利沿著這些憂思，在《未來(lái)簡(jiǎn)史》中描繪了這么一幅遠(yuǎn)景——
“人類將把工作和決策權(quán)交給機(jī)器和算法來(lái)完成，大部分人將淪為‘無(wú)用階級(jí)’。只有少數(shù)精英才能真正享受到這些新技術(shù)的成果，用智能的設(shè)計(jì)完成進(jìn)化、編輯自己的基因，最終與機(jī)器融為一體，統(tǒng)治全人類。”
這個(gè)預(yù)言至少包含兩層意思：一是算法本身會(huì)成為新的獨(dú)裁力量；二是它將與少數(shù)精英合謀，成為奴役大多數(shù)人的工具。未來(lái)，我們求職、貸款，或申請(qǐng)戶籍，或許都會(huì)像故事開頭的莎拉老師一樣被機(jī)器判決，任何人都不要妄想申訴，那些復(fù)雜的算法是天然的高墻。
算法締造者躲在高墻背后，偷偷植入偏見、歧視和種族主義。這在世界范圍內(nèi)已漸成現(xiàn)實(shí)。Google曾將兩名黑人的照片標(biāo)注為大猩猩，F(xiàn)lickr也將有色人種圖片歸為動(dòng)物。
2015年，蘋果Siri也攤上了事兒。一名俄羅斯用戶Alex問(wèn)它同性戀酒吧怎么走？Siri說(shuō)：“如果可以臉紅的話，我就已經(jīng)臉紅了?！盇lex再問(wèn)它對(duì)同性婚姻的看法，Siri的回應(yīng)是：“我相信這是一種負(fù)面的情感。”
這些事件僅揭開了冰山一角，更多難以察覺(jué)的偏見在隱形橫行?？▋?nèi)基梅隆大學(xué)2015年做過(guò)一個(gè)實(shí)驗(yàn)，讓500名男性與500名女性點(diǎn)擊100個(gè)招聘網(wǎng)站，結(jié)果男性收到高薪職位信息的幾率是女性的六倍。
進(jìn)入2016年，生物識(shí)別技術(shù)升溫，一個(gè)叫做Faception的以色列公司宣稱能用算法識(shí)別恐怖分子。美國(guó)的機(jī)場(chǎng)曾使用過(guò)類似技術(shù)，結(jié)果平均每周有1500名乘客因此遭殃，其中一個(gè)4歲男童、數(shù)位前陸軍少校和一名飛行員被多次認(rèn)定為“恐怖分子”，最高紀(jì)錄者一年被羈留80次。
?圖：一些商業(yè)公司聲稱能用算法識(shí)別恐怖分子
同樣觸碰公眾神經(jīng)的還有上海交通大學(xué)教授武筱林的“看臉識(shí)罪犯”研究，稱可以讓機(jī)器通過(guò)學(xué)習(xí)，分辨誰(shuí)是罪犯，誰(shuí)是守法公民。論文發(fā)表后，輿情立即被點(diǎn)燃，一個(gè)交大校友寫信給武筱林說(shuō)：“這篇論文充滿了極度的歧視和強(qiáng)烈的誤導(dǎo)?！?/p>
武筱林通過(guò)媒體反駁：“這個(gè)研究只是揭露相關(guān)性，而非因果，我本人也非常反對(duì)歧視?！?/p>
“是不是就會(huì)有一些禁區(qū)，研究者不能去碰它？坦白講我不知道?！彪m正名心切，但武也毫不掩飾他的疑惑，“核物理學(xué)家該為原子彈造成的傷害負(fù)責(zé)嗎？”
面對(duì)算法時(shí)代的諸多迷思，社會(huì)學(xué)者的探索方向與自然科學(xué)家既交融又迥異。中國(guó)人民大學(xué)國(guó)家發(fā)展與戰(zhàn)略研究院研究員馬亮是少數(shù)關(guān)注“算法偏見”的中國(guó)學(xué)者之一。2017年年末，他在社科媒體“政見”上發(fā)表文章，討論大數(shù)據(jù)導(dǎo)致的社會(huì)不公和階層固化。
“原本由人掌握的自由裁量權(quán)，正逐步交由算法和系統(tǒng)。”他說(shuō)，“一個(gè)人執(zhí)法錯(cuò)誤尚且可控，但系統(tǒng)性的錯(cuò)誤則是災(zāi)難?！?/p>
馬亮長(zhǎng)期關(guān)注社會(huì)治理中大數(shù)據(jù)的應(yīng)用，走訪過(guò)許多互聯(lián)網(wǎng)公司。他發(fā)現(xiàn)，個(gè)人的數(shù)據(jù)越來(lái)越往少數(shù)寡頭聚集，形成一個(gè)個(gè)無(wú)法穿透的“黑箱”。
“要粉碎‘黑箱’，開放數(shù)據(jù)是第一步。但現(xiàn)實(shí)情況是，這仍很遙遠(yuǎn)?！瘪R亮說(shuō)，“如果數(shù)據(jù)不純或被篡改，計(jì)算結(jié)果也會(huì)崩塌，偏見和不公就會(huì)產(chǎn)生?！?/p>
凱西的解決方案是回歸人本主義——“讓算法指出可疑之處，由人類去完成最后的核查”。她研究了一個(gè)虐童風(fēng)險(xiǎn)預(yù)測(cè)模型：如果交由算法去裁決并懲罰，肯定會(huì)毀掉很多無(wú)辜的家庭，但如果讓社工按照預(yù)測(cè)名單去走訪和提供幫助，則是另一個(gè)溫暖的結(jié)果。
佛羅里達(dá)州希爾斯伯勒縣試水過(guò)這個(gè)方案，兩年間再也沒(méi)有兒童因虐待而死亡。
“它們的運(yùn)作必須是透明的：我們必須知道它們接受哪些數(shù)據(jù)輸入，產(chǎn)生什么結(jié)果，而且它們必須接受稽查?！眲P西說(shuō)，“這樣我們才能規(guī)管它們，馴服它們?！?nbsp;
關(guān)于作者
葉偉民，媒體人。畢業(yè)于蘭州大學(xué)核物理專業(yè)。曾任ZAKER總編輯，《南方周末》特稿編輯、記者。現(xiàn)從事互聯(lián)網(wǎng)，同時(shí)是多家平臺(tái)的簽約作者和寫作導(dǎo)師。
注釋
[1] 大規(guī)模殺傷性武器的英文全稱為“Weapons of Mass Destruction”，凱西將Mass換成Math（數(shù)學(xué)），既諧音又諧義。
譯名對(duì)照表
凱西·奧尼爾 Cathy O’Neil
莎拉·韋索奇 Sarah Wysocki
布萊恩·多爾西 Bryan Dorsey
李洋姬 Michelle Rhee
艾德里安·芬提 Adrian Fenty
安德烈·米歇爾·蓋里 Andre Michel Guerry
阿道夫·凱特萊 Lamber Adolphe Jacques Quetelet
雷德·班奈森 Fred Benenson
尤瓦爾·赫拉利 Yuval Noah Harari
