如何對抗算法偏見？| Physics World 專欄
pixabay.com
Physics World 的這篇文章，探討了人工智能中的種族和性別偏見問題，以及物理學家們可以如何認識和解決這些問題。
作者｜Juliana Photopoulos
● ● ●
2011年，在佐治亞理工學院攻讀本科學位時，加納裔美國計算機科學家喬伊·布奧蘭維尼（Joy Buolamwini）發(fā)現(xiàn)，機器人無法陪她玩一把簡單的躲貓貓游戲——因為機器無法識別她黑色的臉龐。2015年，麻省理工學院媒體實驗室的碩士研究生布奧蘭維尼參加了一個名為 “Aspire Mirror” 的科學藝術項目，在處理面部分析軟件時也遇到了類似的問題：只有當她戴上白色面罩時，軟件才能檢測到她的臉。
這兩件事只是巧合嗎？
好奇心驅使布奧蘭維尼去探索這其中的奧秘。她將自己的照片上傳到四個不同的面部識別系統(tǒng)中，但結果都不如人意：要么根本識別不出是一張人臉，要么就是性別不對。她把系統(tǒng)的這種偏見稱為 “編碼凝視”（coded gaze）。隨后，她決定對來自3個非洲國家和3個歐洲國家的1270名政客進行面部測試，他們有著不同的面部特征、膚色和性別。這一測試成為了她的碩士論文項目：“性別陰影：商用性別分析中的交叉精度差異”（Gender Shades: Intersectional accuracy disparities in commercial gender classification）（圖1）。布奧蘭維尼發(fā)現(xiàn)，由微軟，IBM和Megvii開發(fā)的三種商用面部識別技術，在識別面部深色皮膚的女性時都會出錯，識錯率約35%。而在白人男性身上，它們的識別結果幾乎完美（99%）[1]。
圖1 精準度大比較 | 圖源Joy Buolamwini
人們通常認為，機器能做出更明智、更好和更客觀的決定，但這些現(xiàn)存的算法偏見，無疑消除了機器中立的概念，并且復制了社會現(xiàn)有的不平等現(xiàn)象。從黑人被誤標記為大猩猩，到谷歌搜索 “黑人女孩” 或 “拉丁女孩” 彈出成人內容，再到醫(yī)療設備對膚色較深的人而言效果不佳…… 很明顯，機器算法存在固有的歧視。
“這個不平等的社會充斥著種族主義和性別歧視，所以即使計算機編程人員心存善念，算法也會有偏見和歧視?！?來自紐約大學AI Now研究所的喬伊·利西·蘭金（Joy Lisi Rankin）說道，她是人工智能中性別、種族和權力研究項目的負責人，其著作包括《美國人民計算史》（ A People’s History of Computing in the United States）[2]。“它們只會反映和放大世界上更大的偏見?！?/span>
物理學家越來越多地將人工智能和機器學習應用到不同領域，從醫(yī)學物理到材料學等等。雖然他們可能認為自己的研究只會應用于物理學，但他們的發(fā)現(xiàn)也可以轉化到社會層面。
“作為粒子物理學家，我們的主要目標是開發(fā)工具和算法，以助我們找到超越標準模型的物理學。但不幸的是，我們沒有停下來思考，沒有料到這些工具和算法將如何在技術中得到廣泛應用，并在社會中每天被用來進一步壓迫邊緣化的個體，”杰西卡·埃斯基維爾（Jessica Esquivel）說道，他是伊利諾伊州芝加哥費米國家加速器實驗室（Fermilab）的物理學家和數(shù)據(jù)分析員，正致力于開發(fā)人工智能算法來增強Muon g-2實驗中的束流存儲和優(yōu)化。
更重要的是，物理學中缺乏多樣性的現(xiàn)狀，不僅會影響到已完成的工作，也會影響正在被創(chuàng)建的系統(tǒng)。“性別和種族的失衡問題，無疑是糾正人工智能中一些更廣泛的偏見問題的障礙?！?新澤西州普林斯頓大學的粒子物理和機器學習研究員薩凡納·泰斯（Savannah Thais）表示。這就是為什么物理學家需要意識到他們現(xiàn)有的偏見，更重要的是，作為一個群體，他們需要捫心自問：自己到底應該做什么。
機器可以成為智能生物，這一想法已經存在了幾個世紀，古希臘和其他文明都有有關于機器人的神話。但直到第二次世界大戰(zhàn)之后，科學家、數(shù)學家和哲學家們才開始真正討論創(chuàng)造人工思維的可能性。
1950年，英國數(shù)學家阿蘭·圖靈（Alan Turing）提出了一個著名的問題：機器是否會思考？他提出用圖靈測試（Turing Test）來測量機器的智力。六年后，在新罕布什爾州漢諾威市的人工智能達特茅斯夏季研究項目期間，人工智能的研究領域正式成立?；谌祟愃季S過程可以在計算機程序中被定義和復制的想法，“人工智能”（artificial intelligence）一詞由美國數(shù)學家約翰·麥卡錫（John McCarthy）首創(chuàng)，取代了以前使用的 “自動機研究”（automata studies）。
雖然上世紀五六十年代奠定了人工智能和機器學習的基礎，但這一領域真正實現(xiàn)騰飛還是花了一段時間?！爸钡竭^去10年間，強大的計算能力、標記數(shù)據(jù)和高科技公司的財富才結合起來，使大規(guī)模的人工智能成為了可能?！?蘭金表示。而且，正如1983年麻省理工學院《學術界平等的障礙：計算機科學領域的女性》報告所強調的那樣 [3]，盡管美國黑人和拉丁美裔婦女早在上世紀70年代就開始討論計算機中的歧視和不平等問題，但直到近十年間，有關計算機系統(tǒng)中的偏見問題才得到了更廣泛的討論。
實際上，自上世紀40到60年代，女性已經成為了英美兩國計算機行業(yè)的核心，正因如此，計算機領域對于女性的偏見才更令人驚訝。
“計算機過去是 ‘人’，而不是機器，而且這些‘人’大多都是女性?！碧m金表示，“但當她們被淘汰且被白人男性取而代之時，這個領域便發(fā)生了變化?！?正如她說的那樣：“計算機行業(yè)從女性化和不受重視變得聲望日盛和更加男性化?！笔聦嵣?，上世紀80年代中期，在美國獲得計算機科學學位的所有畢業(yè)生中，將近40％是女性；但是到了2010年，這一比例已降至15％。
在科學、技術、工程、數(shù)學和醫(yī)學領域，計算機科學和物理一樣，從業(yè)者的性別差距都是最大的 [4]。盡管獲得物理學學位的女性人數(shù)有所增加，但在美國授予的所有學位類型中，女性所占比例僅為20%，黑人的比例則更低。2017年，美國僅有3%的物理學本科學位授予了黑人學生。在英國也存在著類似的問題，2018年英國所有本科生中，女性占了57.5%，但在所有物理學本科生中，黑人女性只占了1.7%。
這種性別和人種上的分布差異，對研究的構建、進行和實施都產生了嚴重的影響。蘭金表示，構建算法技術時缺乏群體多樣性，而新興的技術又可能會傷害到婦女、有色人種、殘疾人和LGBTQ群體，這二者之間形成了一個有害的反饋循環(huán)。一個現(xiàn)實的例子就是亞馬遜的招聘算法，這一算法基于歷史的招聘實踐和申請人數(shù)據(jù)，會首先拒絕女性的工作申請。最后，亞馬遜棄用了這一招聘算法，因為既往的招聘史將性別偏見深深刻進了他們的系統(tǒng)中，無法確保招聘公平。
機器算法偏見中的許多問題在《偏見系統(tǒng)》（Discriminating Systems）這份報告中得到了解決 [5]。《偏見系統(tǒng)》是AI Now研究所2019年的一份重要報告，報告表明，不應將群體多樣性和人工智能的偏見問題分開來考慮，因為它們是 “同一問題的兩個方面”。蘭金補充說，職場性騷擾也與歧視和偏見有關，她指出，據(jù)美國國家科學院、工程院和醫(yī)學院報告，科學領域中半數(shù)以上的女性教職員工都經歷過某種形式的性騷擾。
泰斯表示，從多方來看，物理學中的多種聲音是至關重要的。她目前正在為歐洲核子研究組織（CERN）的高光度大型強子對撞機開發(fā)基于機器學習的加速重建算法?！按蟛糠治锢硌芯咳藛T沒有與受到這些算法影響的其他種族、性別和群體的人群直接接觸的經驗?！?埃斯基維爾認為，正因如此，被邊緣化的科學家個體需要參與到算法的開發(fā)中來，以確保他們不會被偏見所淹沒。
美國斯坦福大學人工智能研究員普拉圖莎·卡盧里（Pratyusha Kalluri）也這樣認為。她參與創(chuàng)建了 “激進人工智能網絡”（Radical AI Network），該網絡提倡反壓迫技術，并為那些被人工智能邊緣化的人發(fā)聲?？ūR里去年在Nature 上寫道：“是時候把被邊緣化和受算法影響的群體置于人工智能研究的中心了，他們的需求、知識和夢想應該指導技術的發(fā)展?！?[6]
讓我們回到費米實驗室。布萊恩·諾德（Brian Nord）是一位宇宙學家，他利用人工智能來尋找宇宙起源和進化的線索。他解釋說：“在多年的觀測中，望遠鏡掃描天空，收集包括圖像在內的大量復雜數(shù)據(jù)，而我則使用人工智能來分析這些數(shù)據(jù)，以了解導致時空擴張加速的暗能量?！?/span>
然而，2016年，他在閱讀了 ProPublica 的一份調查報告后意識到：人工智能可能有害且會對黑人產生偏見 [7]。該報告分析了一個名為COMPAS的風險評估軟件，該軟件在美國法庭上用于預測哪些罪犯最有可能再次犯罪，以及決定保釋條件。調查發(fā)現(xiàn)，不論是所犯罪行的嚴重程度還是再次犯罪的實際可能性，黑人被貼上高風險標簽的可能性幾乎是白人的兩倍。對此，諾德表示：“我非常擔心自己在開發(fā)算法時的‘共謀’行為，將來這些算法的應用可能會對我不利?！?作為黑人，他知道面部識別技術對他這樣的人有偏見，經常錯認黑人，且監(jiān)管不嚴。
因此，雖然物理學家可能已經開發(fā)出某種人工智能技術來解決純粹的科學問題，但在現(xiàn)實世界中，它的應用卻超出了他們的控制范圍——人工智能的使用者可能會動機不純?！斑@更有可能使我的權利受到侵犯，剝奪我在群體、社會和生活各方面的權利，” 諾德說道。
對于這些問題，諾德決定不另起爐灶，而是建立一個由物理學家和計算機科學家組成的聯(lián)盟，以便在開發(fā)算法時爭取更多的審查。他指出，向美國執(zhí)法機構和其他私人機構提供面部識別設備的Clearview AI等公司，正在搜集社交媒體數(shù)據(jù)，然后在未經用戶明確同意的情況下向執(zhí)法部門出售監(jiān)控服務。他警告說，許多國家都在利用監(jiān)視技術對民眾進行廣泛的壓迫，“以數(shù)據(jù)為主導的技術剝奪了人們的權利，例如數(shù)據(jù)隱私問題、數(shù)據(jù)和科學如何被用來侵犯民權、技術如何維護白人至上和監(jiān)視資本主義的歷史等，物理學家應該致力于理解這些權力結構?！?/span>
為了讓這個問題引起更廣泛的關注，諾德、埃斯奎維爾和其他同事給粒子物理學界寫了一封信。這也是 “雪團” 項目（Snowmass）的一部分，“雪團” 定期為美國和美國之外的粒子物理界的未來發(fā)展樹立科學遠景。他們在信中討論了 “計算研究的倫理意義和科學家的角色”，強調了無論是作為個人、還是在各機構和基金會任職的物理學家們，都應該關心他們正在構建和實施的算法 [8]。
泰斯還敦促物理學家們——這些有著深厚技術知識的公民們，積極參與到人工智能倫理的治理中來 [9]。她說：“讓物理學家們意識到人工智能和機器學習方面的偏見問題非常重要，即使在機器學習的物理學研究應用中通常不會出現(xiàn)這種情況?！?泰斯解釋說，這樣做的原因之一是，許多物理學家離開原有領域，到計算機軟件、硬件和數(shù)據(jù)科技公司工作。“許多這樣的公司都在使用人工數(shù)據(jù)，因此我們必須讓學生們提前具有責任意識。我們不能只教授技術技能，而忽視更廣泛的社會背景，因為許多人最終將把這些方法應用到物理學之外。”
對此，泰斯和埃斯基維爾也都認為，物理學家在理解和管理人工智能方面扮演著重要的角色，因為他們往往必須使用產出更精確輸出數(shù)據(jù)的方法，來解釋和量化系統(tǒng)的不確定性，然后才能抵消數(shù)據(jù)中的固有偏差。泰斯說：“有了這種更加 ‘黑匣子’ 化的機器學習算法后，我們真的很想了解它的準確性，了解它在邊界情況下是如何工作的，以及它為什么在某個特定的問題上表現(xiàn)最好。而這些都是物理學家們曾完成過的任務?！?/span>
另一位利用物理學來提高人工智能精準度和可靠性的研究人員，是帕耶爾·達斯（Payel Das），她是IBM托馬斯·J·沃森研究中心的首席研究員。為了設計新的材料和抗生素，她和團隊正在開發(fā)機器學習算法：將從數(shù)據(jù)和物理原理結合起來，從而使一項新科學發(fā)現(xiàn)的成功率提高百倍。達斯說：“我們經常借助已有的科學知識或其他形式的知識（例如基于物理學原理），來增強、指導或驗證人工智能模型，以使其系統(tǒng)更耐用、高效、易于解釋和可靠?！?她對此做了進一步解釋，即“通過使用物理學驅動的學習，人們可以在準確性、可靠性和歸納偏差等方面對人工智能模型進行交叉檢查?！?/span>
算法決策工具可能是為科學研究而開發(fā)的，但被用于商業(yè)監(jiān)視，在這種情況下，數(shù)據(jù)中任何微小的偏差都會產生現(xiàn)實后果。
去年，數(shù)據(jù)倫理與創(chuàng)新中心（Centre for Data Ethics and Innovation）發(fā)表了一篇關于算法決策偏見的評論 [12]。該中心屬于英國政府的數(shù)據(jù)驅動和技術獨立咨詢機構。研究發(fā)現(xiàn)，過去幾年，在招聘、金融服務、警務和地方政府四個部門，算法決策有了顯著增長，并發(fā)現(xiàn)了算法偏見存在的明確證據(jù)。報告呼吁各組織積極利用數(shù)據(jù)來識別和減輕算法偏見，并確保了解其工具的功能和局限。來自愛丁堡大學的人工智能教授、貝葉斯中心（Bayes Centre）主任邁克爾·羅瓦佐斯（Michael Rovatsos）也表達了這種看法：“要想真正獲取數(shù)據(jù)或算法是非常困難的”，他補充說，政府應要求公司進行審計，并應該要求其在現(xiàn)實世界中應用的系統(tǒng)保持透明。
就像布奧蘭維尼一樣，一些研究人員正試圖利用他們在人工智能方面的科學經驗，從外部揭示商業(yè)算法中的偏見。其中包括數(shù)學家凱西·奧尼爾（Cathy O'Neil），她在2016年撰寫了《數(shù)學殺傷性武器》（Weapons of Math Destruction）一書，講述了她在數(shù)據(jù)偏見方面的工作。2018年，她成立了一家咨詢公司，并與公司私下合作，審核他們的算法。如今，布奧蘭維尼還在繼續(xù)她的工作，通過非盈利的算法正義聯(lián)盟（Algorithmic Justice League）創(chuàng)建更公平和負責任的技術，這是她于2016年成立的一個跨學科研究機構，旨在了解人工智能技術的社會意義。
圖3 鏡子 | 圖源TJ Rak
計算機科學家喬伊·布奧蘭維尼（Joy Buolamwini）通過一些面部分析演示測試了自己的這張照片。微軟和Face++沒有檢測到她的臉，而IBM和Kairos搞錯了她的性別。
2018年，她與計算機科學家提姆尼特·格布魯（格布魯是 “Black in AI” 的創(chuàng)始人之一）共同發(fā)表了《性別陰影》（Gender Shades）研究報告，研究結果后被發(fā)送給了涉及到的公司。一年后，他們又進行了一項后續(xù)研究以重新審核，并新增了兩家公司：亞馬遜和凱羅斯（Kairos） [13]。在計算機科學家、現(xiàn)任Mozilla基金會研究員黛博拉·拉吉的帶領下，該研究的后續(xù)調查發(fā)現(xiàn)，這兩家公司存在巨大的精度錯誤——亞馬遜的面部識別軟件甚至無法對米歇爾·奧巴馬（Michelle Obama）臉進行正確分類，但最初的三家公司識別精度已經有了明顯改善，這表明他們的數(shù)據(jù)集是用更多樣化的圖像進行訓練的。
這兩項研究對現(xiàn)實世界產生了深遠的影響：促成了兩項美國聯(lián)邦法案：《算法責任法案》（Algorithmic Accountability Act）和《禁止生物特征住房壁壘法案》（No Biometric Barriers Act），以及紐約和馬薩諸塞州的州法案。這項研究還說服了微軟、IBM和亞馬遜停止為警方辦案提供面部識別技術。如今，她正在繼續(xù)算法評估的工作，并在去年與谷歌的同事一起開發(fā)了一個用于人工智能準確度的算法審計框架?！皟炔繉徲嬛陵P重要，因為它允許在將系統(tǒng)被部署到世界各地之前對其進行更改，” 她補充說，人工智能有時所涉及的偏見可能對特定人群有害，“因此，確定在這些決策中最易受傷害的群體，并對人工智能領域發(fā)展過程中可能引入偏見的時刻進行審查是很重要的。”
2019年，AI Now研究所發(fā)布的一份詳細報告 [14]，為有興趣負責人地使用算法決策工具的公共機構提供了一個架構，并在隨后發(fā)布了算法問責政策工具包。該報告呼吁，人工智能和機器學習領域的研究人員應該了解自己正在構建什么，還要考慮從事領域的潛在風險和危害，并更好地記錄模型和數(shù)據(jù)來源。
埃斯基韋爾指出，物理學家了解其數(shù)據(jù)來源的重要性（尤其是用于訓練機器學習系統(tǒng)的數(shù)據(jù)集），“許多用于粒子物理數(shù)據(jù)的算法都是經過微調后的架構，由人工智能專家開發(fā)，并經過行業(yè)標準數(shù)據(jù)集訓練。然而，這些數(shù)據(jù)后被證明充斥著種族主義、不公平對待和性別歧視?！?她以麻省理工學院為例：麻省理工學院刪除了曾廣泛使用的、擁有8000萬張圖像的人工智能數(shù)據(jù)集，因為這些圖像被以攻擊性的、種族主義的和厭女的方式貼上標簽 [15]。
格布魯和同事最近還強調了大型數(shù)據(jù)集現(xiàn)存的一些問題，例如 Common Crawl ——一個網頁爬蟲數(shù)據(jù)的開放式儲存，其中充滿了白人至上主義、年齡歧視和厭女主義等觀點的過度代表 [16]，而她最近也因為這篇文章被谷歌人工智能的倫理團隊解雇。基于這些現(xiàn)實情況，埃斯基韋爾清楚地表明：學術界 “有機會成為開發(fā)這些工具的公立第三方”。
在2019年的報告中, AI Now 研究所還建議對人工智能偏見領域的研究應不止于技術修正?！拔覀儾粌H需要改變算法或系統(tǒng)，還需要改變行業(yè)制度和社會結構，” 蘭金解釋說。她認為，要想監(jiān)管、消除或盡量減少人工智能算法中的偏見和歧視，就必須采取 “大規(guī)模的集體行動”，讓自然科學界以外的人參與進來也會對此有所裨益。
諾德也認為，物理學家需要與其他學科的科學家及社會科學家、倫理學家們合作。
“不幸的是，就這些花費了大量時間和精力進行文獻和群體研究的各領域而言，我沒有看到物理學家或計算機科學家們充分參與進來?！?他指出，“幾乎每隔幾周，就會有一個新的基于機器學習的應用程序出現(xiàn)，但它們糟糕、有害、毫無意義，甚至試圖去完成一些不可能和不道德的事情。”例如，德克薩斯大學奧斯汀分校最近才停止使用一個機器學習系統(tǒng)預測研究生院錄取學生的可能性，該系統(tǒng)的數(shù)據(jù)基于此前的錄取周期，因此會產生算法上的偏見。對此，諾德問道：“為什么我們要在一個必然需要人文主義的地方尋求這種充斥著技術官僚主義的解決方案？”
對于算法偏見，泰斯堅持認為，物理學家必須厘清這些偏見問題的現(xiàn)狀，并了解其他人為緩解這些偏見而采取的方法?！拔覀儽仨殞⑦@些對話納入圍繞機器學習和人工智能的所有討論中。” 她希望物理學家們可以參加相關的會議、研討會或演講，“這項技術深刻影響著我們生活的方方面面，因此，不把相關工作放在更廣泛的社會背景下是不負責任的?！?/span>
對此，諾德的思考更加清晰：“物理學家們在自問是否 ‘能夠’ 構建或施行某些人工智能技術之前，應該先問自己是否 ‘應該’?！?nbsp;他補充表示，將來也有可能會停止使用現(xiàn)行的一些有害技術，“使用這些技術與否，即是個體也是社會的選擇。”
原文鏈接：
https://physicsworld.com/a/fighting-algorithmic-bias-in-artificial-intelligence/
▲ 本文為Physics World 專欄的第42篇文章。
原文標題 “Fighting algorithmic bias in artificial intelligence ”，首發(fā)于2021年5月出版的Physics World，英國物理學會出版社授權《知識分子》翻譯。本譯文有刪節(jié)，中文內容僅供參考，一切內容以英文原版為準。未經授權的翻譯是侵權行為，版權方將保留追究法律責任的權利。登陸 Physics World，關注日常全球科學新聞、熱點報道和評論。Physics World 幫助學界與產業(yè)界的研究人員走在世界重大科研突破與跨學科研究的前沿。
制版編輯 | 盧卡斯
