今天和大家分享的是一則新聞報(bào)道——意大利的個(gè)人信息保護(hù)機(jī)構(gòu)因?qū)λ拓?a class="innerlink" href="http://ihrv.cn/tags/騎手" target="_blank">騎手算法歧視問(wèn)題，對(duì)兩個(gè)食物配送公司除以數(shù)百萬(wàn)歐元的罰款。

　　意大利的個(gè)人數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)對(duì)該國(guó)最大的兩家在線(xiàn)食品遞送公司——Deliveroo和Foodinho——處以數(shù)百萬(wàn)歐元的罰款，因?yàn)樗鼈兪褂玫乃惴ㄆ缫暳艘恍傲愎そ?jīng)濟(jì)”工作者。

　　監(jiān)管機(jī)構(gòu)表示，兩個(gè)公司根據(jù)人工智能（又稱(chēng)機(jī)器學(xué)習(xí)）算法評(píng)估所雇傭的快遞員的工作表現(xiàn)，快遞員可能會(huì)受到懲罰。但這些算法仍然是保密的，快遞員無(wú)法對(duì)任何此類(lèi)評(píng)估提出上訴。此外，監(jiān)管機(jī)構(gòu)表示，這些公司無(wú)法證明其算法沒(méi)有歧視性。

　　因此，意大利的數(shù)據(jù)保護(hù)機(jī)構(gòu)，即 Garante，周一宣布對(duì)Deliveroo 違反歐盟

　　《通用數(shù)據(jù)保護(hù)條例》處以290 萬(wàn)歐元（300 萬(wàn)美元）罰款。

　　此前，Garante于7月5日宣布，在對(duì) Foodinho的意大利業(yè)務(wù)進(jìn)行調(diào)查后，它將對(duì)該在線(xiàn)食品遞送平臺(tái)違反 GDPR 的行為罰款 260萬(wàn)歐元（310萬(wàn)美元）。它還發(fā)布了一項(xiàng)禁令，要求作出具體的改進(jìn)。

　　“這兩起案件對(duì)科技企業(yè)尤其具有重要的教訓(xùn)，并顯示了人工智能和GDPR之間的一些沖突”，總部位于倫敦的律師事務(wù)所Cordery的合伙人喬納森·阿姆斯特朗（Jonathan Armstrong）律師說(shuō)。

　　Deliveroo 沒(méi)有立即回應(yīng)對(duì) Garante 調(diào)查結(jié)果的評(píng)論請(qǐng)求，F(xiàn)oodinho 也沒(méi)有回應(yīng)，據(jù)說(shuō)它計(jì)劃對(duì)罰款提出上訴。

　　針對(duì)Foodinho的調(diào)查

　　Foodinho由總部位于西班牙巴塞羅那的Glovoapp23 擁有，是一家按需送餐服務(wù)。2019年6月，作為與西班牙數(shù)據(jù)保護(hù)機(jī)構(gòu)（即 AEPD）聯(lián)合調(diào)查的一部分，Garante 對(duì)其進(jìn)行了為期兩天的搜查。AEPD對(duì)Foodinho的西班牙業(yè)務(wù)的調(diào)查正在進(jìn)行。該企業(yè)還在非洲、歐洲、亞洲、中美洲和南美洲的其他22 個(gè)國(guó)家開(kāi)展業(yè)務(wù)。

　　Garante說(shuō)，它發(fā)現(xiàn)該公司用于管理其意大利工人的算法——為他們預(yù)訂訂單和分配交貨——正在侵犯這些工人的權(quán)利。

　　Garante 報(bào)告說(shuō)，所有送貨人員或“騎手”——通常是自行車(chē)或輕便摩托車(chē)司機(jī)——最初得到的分?jǐn)?shù)是一個(gè)默認(rèn)值，隨后根據(jù)以下特點(diǎn)和權(quán)重進(jìn)行調(diào)整：

　　客戶(hù)反饋：大拇指向上或向下的大拇指 - 15%。

　　商家 - 5%。

　　在需求旺盛的時(shí)段工作- 35%。

　　交付的訂單 -10%。

　　生產(chǎn)力 - 35%。

　　得分較高的工人獲得了在其他人之前獲得新的訂單的能力。但 Garante 發(fā)現(xiàn)，該公司的做法未能尊重工人的權(quán)利。

　　“例如，該公司沒(méi)有充分告知工人該系統(tǒng)的運(yùn)作，也沒(méi)有保證用于評(píng)估騎手的算法系統(tǒng)結(jié)果的準(zhǔn)確性和正確性”，監(jiān)管機(jī)構(gòu)認(rèn)為：“它也沒(méi)有保障程序，以保護(hù)獲得人工干預(yù)的權(quán)利，表達(dá)自己的意見(jiàn)，并對(duì)通過(guò)使用有關(guān)算法通過(guò)的決定提出異議，包括將一部分騎手排除在工作機(jī)會(huì)之外?！?/p>

　　因此，Garante命令Foodinho修改其系統(tǒng)，以核實(shí)預(yù)訂和分配算法沒(méi)有歧視他們，以及修改一些過(guò)長(zhǎng)的個(gè)人數(shù)據(jù)保留做法。

　　Garante 命令該公司支付260萬(wàn)歐元的罰款，這不僅是基于人工智能的問(wèn)題， 也是基于該公司沒(méi)有設(shè)立數(shù)據(jù)保護(hù)官和沒(méi)有保存足夠的記錄。它說(shuō)，罰款金額還考慮到了“該公司在調(diào)查期間提供的有限合作，以及意大利涉及的大量騎手——在檢查時(shí)約有19000人”。

　　防止自動(dòng)決策的保護(hù)措施

　　Cordery的Armstrong說(shuō)，F(xiàn)oodinho 正在使用的算法被發(fā)現(xiàn)違反了 GDPR 第22條，該條涉及“自動(dòng)個(gè)人決策，包括畫(huà)像”。

　　“根據(jù)GDPR第 22 條，個(gè)人有權(quán)不接受完全基于自動(dòng)處理的且產(chǎn)生有關(guān)他們的法律效力或類(lèi)似的重大影響決定，包括畫(huà)像，除非某些例外情況適用并且對(duì)這些個(gè)人的具體保護(hù)措施到位”，律師說(shuō)。

　　“調(diào)查發(fā)現(xiàn)，該平臺(tái)使用算法自動(dòng)懲罰騎手，如果他們的評(píng)分低于某一水平，就將他們排除在工作機(jī)會(huì)之外，這是一種歧視，而且沒(méi)有機(jī)會(huì)進(jìn)行人工審查，也沒(méi)有能力質(zhì)疑這一決定，這違反了GDPR?！?/p>

　　對(duì)Deliveroo的調(diào)查

　　同時(shí)，周一，Garante 宣布了其對(duì) Deliveroo的禁令，日期為7月22日。

　　總部位于倫敦的Roofood公司成立于2013年，以Deliveroo的名義開(kāi)展業(yè)務(wù)，不僅在意大利和英國(guó)，還在荷蘭、法國(guó)、比利時(shí)、愛(ài)爾蘭和西班牙，以及澳大利亞、新加坡、香港、阿拉伯聯(lián)合酋長(zhǎng)國(guó)和科威特開(kāi)展業(yè)務(wù)。

　　2019年6月，作為對(duì)食品配送企業(yè)調(diào)查的一部分，Garante突擊檢查了

　　Deliveroo 的辦公室，在兩天的時(shí)間里收集信息并進(jìn)行采訪(fǎng)。

　　根據(jù)Garante的處罰通知，以下是該系統(tǒng)的運(yùn)作情況：Deliveroo的意大利業(yè)務(wù)依賴(lài)于一個(gè)托管在愛(ài)爾蘭數(shù)據(jù)中心的集中式系統(tǒng)，該系統(tǒng)用于支持8000名自雇承包商的騎手。每個(gè)騎手都與Deliveroo 簽署了協(xié)議，然后獲得一個(gè)應(yīng)用程序，他們必須在自己的移動(dòng)設(shè)備上安裝該程序，并在輪班時(shí)使用。

　　對(duì)于Deliveroo的意大利業(yè)務(wù)，經(jīng)理們將信息輸入位于愛(ài)爾蘭的中央系統(tǒng)，該系統(tǒng)將對(duì)騎手的表現(xiàn)進(jìn)行評(píng)級(jí)，但沒(méi)有透露正在使用的邏輯。Deliveroo告訴監(jiān)管機(jī)構(gòu)，“它只能訪(fǎng)問(wèn)它能影響的數(shù)據(jù)，為共享數(shù)據(jù)庫(kù)提供信息，而不決定處理的邏輯”。

　　Garante 發(fā)現(xiàn)，被用來(lái)評(píng)價(jià)騎手的信息包括：

　　騎手是否可以在周五、周六和周日晚上等“關(guān)鍵時(shí)間段”工作。；

　　騎手是否按照預(yù)訂完成了訂單，還是在訂單開(kāi)始后取消；

　　騎手交付訂單的速度如何。

　　評(píng)價(jià)較高的騎手有機(jī)會(huì)獲得更多和更有利可圖的工作。但與Foodinho案一樣，除其他問(wèn)題外，Garante 說(shuō)其調(diào)查發(fā)現(xiàn)了圍繞Deliveroo如何使用算法分配工作的多個(gè)透明度和公平性方面的問(wèn)題。

　　例如，GDPR 第5條“有關(guān)個(gè)人數(shù)據(jù)處理的原則”規(guī)定，個(gè)人數(shù)據(jù)必須“以合法、公平和透明的方式對(duì)數(shù)據(jù)主體進(jìn)行處理”。

　　“作為其中的一部分，控制者應(yīng)該能夠證明其算法不具有歧視性”，阿姆斯特朗說(shuō)，“Deliveroo 說(shuō)，自檢查以來(lái)，它已經(jīng)改變了平臺(tái)，但 Garante 強(qiáng)調(diào)， Deliveroo有責(zé)任‘定期驗(yàn)證算法結(jié)果的正確性，以盡量減少扭曲或歧視性效果的風(fēng)險(xiǎn)’?！?/p>

　　對(duì)工作人員進(jìn)行算法管理的最佳做法

　　阿姆斯特朗說(shuō)，這兩個(gè)意大利案例為任何使用“員工的算法管理”的組織提供了教訓(xùn)。首先，他建議所有此類(lèi)組織必須首先進(jìn)行數(shù)據(jù)保護(hù)影響評(píng)估，徹底測(cè)試他們的算法是否有任何偏見(jiàn)的跡象，并告知員工公司是如何使用算法來(lái)對(duì)他們做出重要決定——同時(shí)也要以一種易于理解的方式解釋算法的功能。

　　了解當(dāng)前的人工智能使用規(guī)范也會(huì)有所幫助?！翱梢远喾阶稍?xún)”，阿姆斯特朗說(shuō)，“道德委員會(huì)和/或員工焦點(diǎn)小組可以成為有用的回聲板，以衡量這些措施是否可能被認(rèn)為是過(guò)度侵犯隱私的”。

　　阿姆斯特朗補(bǔ)充說(shuō)，有太多的“人工智能 ”應(yīng)用沒(méi)有達(dá)到這個(gè)要求，因此可以預(yù)期監(jiān)管機(jī)構(gòu)對(duì)工作場(chǎng)所的算法將進(jìn)行更多的隱私調(diào)查。

　　他說(shuō)：“我們看到的大多數(shù)東西都是簡(jiǎn)單的編程——一個(gè)公式或算法，它計(jì)算出的東西大致是：‘在這個(gè)測(cè)試中獲得128分的人更有可能成為一個(gè)會(huì)留下來(lái)的好員工’。

　　”這里的問(wèn)題是，這往往是偏見(jiàn)或直覺(jué)被打扮成科學(xué)，然后被編入算法。通常這種東西是沒(méi)有道理的，是歧視性的。例如，如果我在算法中排除了所有拒絕在周六或周日工作的人，這是否會(huì)因?yàn)橐恍┤说淖诮绦叛龆鴮⑺麄兣懦谕猓俊?/p>