包括谷歌、微軟和亞馬遜在內(nèi)的數(shù)家科技巨頭公司都在銷售它們的物體識(shí)別算法,然而當(dāng)這些算法在面對來自低收入國家的物品時(shí)其所作出的表現(xiàn)卻不盡如人意。這是 Facebook AI 實(shí)驗(yàn)室進(jìn)行的一項(xiàng)新研究得出的結(jié)論。該研究表明,AI 偏見不僅會(huì)顯示一個(gè)國家內(nèi)部的不平等,也會(huì)顯示重現(xiàn)國家之間的不平等。
在這項(xiàng)研究中,研究人員對眼下五種熱門的現(xiàn)成對象識(shí)別算法 --微軟Azure、Clarifai、谷歌 Cloud Vision、亞馬遜 Rekognition 和 IBM Watson 進(jìn)行了研究,以此來了解每個(gè)系統(tǒng)對來自全球數(shù)據(jù)集的家庭物品的識(shí)別能力。
據(jù)悉,數(shù)據(jù)集包含了 117 個(gè)類別 -- 從鞋子到肥皂再到沙發(fā)等等 -- 和一系列不同的家庭收入和地理位置 -- 從月收入 27 美元的布隆迪的家庭到月收入 1090 美元的烏克蘭的家庭等。
研究人員發(fā)現(xiàn),與月收入超過 3500 美元的家庭相比,當(dāng)被要求識(shí)別月收入只有 50 美元的家庭的物品時(shí),物體識(shí)別算法的出錯(cuò)率要高出 10% 左右。在準(zhǔn)確性上的絕對差異甚至更大:與索馬里和布基納法索的物品相比,這些算法在識(shí)別來自美國的物品上要高出 15% 至 20%。
研究人員在報(bào)告中指出,這些發(fā)現(xiàn)在一系列用于圖像識(shí)別的商業(yè)云服務(wù)中的表現(xiàn)是一致的。
實(shí)際上,這種偏見在 AI 中是一個(gè)眾所周知的問題,它有著許多的根本原因。其中最常見的一種就是,用于創(chuàng)建算法的培訓(xùn)數(shù)據(jù)往往反映了相關(guān)工程師的生活和背景。由于這些人通常是來自高收入國家的白人男性,所以他們教授的課程所要識(shí)別的東西自然也都是來自這些高收入的國家。
AI 偏見最知名的例子之一就是面部識(shí)別算法,這種算法在識(shí)別女性面孔時(shí)表現(xiàn)更差,特別是在面對有色人種女性的時(shí)候。
在對象識(shí)別算法的例子中,研究作者指出,有幾個(gè)可能的錯(cuò)誤原因:第一,用于創(chuàng)建系統(tǒng)的訓(xùn)練數(shù)據(jù)受地理限制;第二,它們無法識(shí)別文化差異。
同樣的,大多數(shù)圖像數(shù)據(jù)集都是使用英語名詞作為起點(diǎn),并展開相對應(yīng)的數(shù)據(jù)收集。這可能意味著整個(gè)類別的物品在系統(tǒng)消失不見,或相同的物品在不同的國家實(shí)際上代表著兩種不同的東西。作者以 dish soap 為例,在一些國家,dish soap 是一種肥皂,而在另一些國家,dish soap 是一種液體容器。
而這可能只是冰山一角。雖然視覺算法是能相對容易評估出這些偏見,但創(chuàng)建這些程序的渠道同時(shí)也在為整個(gè)行業(yè)提供算法,而這些算法永遠(yuǎn)不會(huì)受到同樣的審查。
雖然硅谷經(jīng)常把自己的產(chǎn)品尤其是近年來的 AI 產(chǎn)品宣傳為人人平等、人人可得,然而類似的研究卻顯示,科技公司則是在按照自己的形象評估、定義和塑造世界。
【來源:cnBeta】