由于機器學習系統(tǒng)容易受到歷史數(shù)據(jù)引入的偏見而導致歧視性行為，人們認為有必要在某些應(yīng)用場景中用公平性準則約束系統(tǒng)的行為，并期待其能保護弱勢群體和帶來長期收益。近日，伯克利 AI 研究院發(fā)表博客，討論了靜態(tài)公平性準則的長期影響，發(fā)現(xiàn)結(jié)果和人們的期望相差甚遠。相關(guān)論文已被 ICML 2018 大會接收。

以「最小化預(yù)測誤差」為目的訓練的機器學習系統(tǒng)通常會基于種族、性別等敏感特性（sensitive characteristics），表現(xiàn)出歧視性行為（discriminatory behavior），數(shù)據(jù)中的歷史性偏差可能是其中的一個原因。長久以來，在諸多如貸款、雇用、刑事司法以及廣告等應(yīng)用場景中，機器學習一直被詬病「由于歷史原因，潛在地傷害到曾被忽視的、弱勢群體」。

本文討論了研究者們在調(diào)整以長期社會福利（long term social welfare）為目標的機器學習所得決策方面的近期成果。通常，機器學習模型產(chǎn)生一個得分（score）來概述關(guān)于個體的信息，進而對其作出決策。例如，信用得分（credit score）總結(jié)了某人的信用歷史和財務(wù)行為，來幫助銀行評定其信用等級。我們以此貸款場景為例貫穿全文。任何用戶群體在信用得分上都有其特定分布，如下圖所示。

1. 信用得分和償還分布

通過定義一個閾值，可以將得分轉(zhuǎn)變?yōu)闆Q策。例如，得分高于放貸閾值的人可以獲得貸款，而低于放貸閾值的則被拒絕。這種決策規(guī)則叫閾值策略（threshold policy）?？梢詫⒌梅掷斫鉃橘J款違約的估計概率編碼。例如，信用得分為 650 的人中，90% 的人會償還其貸款。因此，銀行可以預(yù)估其為信用得分為 650 的用戶提供等額貸款的期望收益，同樣，可以預(yù)測為信用得分高于 650（或任何給定閾值）的全體用戶提供貸款的期望收益。

2. 貸款閾值和結(jié)果

不考慮其他因素的情況下，銀行會試圖最大化其總收益。收益取決于收回的償還貸款額與在貸款違約的損失額之間的比。在上圖中，收益損失比為 1：-4，由于相較于收益，損失的成本更高，因此銀行會更保守的進行放貸，并提高放貸閾值。我們將高于此閾值以上的總體人數(shù)占比稱為選擇率（selection rate）。

結(jié)果曲線

貸款決策不僅影響銀行機構(gòu)，也會影響個人。一次違約行為（貸款人無法償還貸款）中，不僅是銀行損失了收益，貸款人的信用得分也會降低。而成功的貸款履約行為中，銀行獲得收益，同時貸款人的信用得分提升。在本例中，某用戶信用得分變化比為 1（履約）：-2（違約）

在閾值策略中，結(jié)果（outcome）被定義為某群體得分的變化期望，可以參數(shù)化為選擇率的函數(shù)，稱此函數(shù)為結(jié)果曲線（outcome curve）。當某群體的選擇率發(fā)生變化時，其結(jié)果也會發(fā)生變化。這些總體人數(shù)級別上的結(jié)果會同時取決于償還概率（由得分編碼得到）、成本以及個體貸款決策的收益。

上圖展示了某典型群體的結(jié)果曲線。當群體內(nèi)獲得貸款并成功償還的個體足夠多時，其平均信用得分就可能增加。這時，如果其平均得分變化（average score change）為正，則可得到無約束收益最大化結(jié)果。偏離收益最大化，以給更多人提供貸款時，平均得分變化會增大到最大值。稱其為利他最優(yōu)（altruistic optimum）。也可以將選擇率提升到某個值，使平均得分變化低于無約束收益最大化時的平均得分變化、但依然為正，即圖中黃色點狀陰影所表示的區(qū)域。稱此區(qū)域中的選擇率導致了相對損害（relative harm）。但如果無法償還貸款的用戶過多，則平均得分就會降低（平均得分變化為負），從而進入紅色橫線陰影區(qū)域。

4. 貸款閾值和結(jié)果曲線

多群體情況

給定的閾值策略如何影響不同群體中的個體？兩個擁有不同信用得分分布（credit score distribution）的群體會擁有不同的結(jié)果。

假設(shè)第二個群體和第一個群體的信用得分分布不同，同時群體內(nèi)人數(shù)也更少，將其理解為歷史弱勢群體。將其表示為藍群體，我們希望保證銀行的貸款政策不會不合理地傷害、欺騙到他們。

假設(shè)銀行可以對每個群體選擇不同的閾值，雖然這可能面臨法律挑戰(zhàn)，但為了預(yù)防由于固定閾值決策可能帶來的差別結(jié)果，基于群體的閾值是無法避免的。

5. 不同群體的貸款決策

很自然的會出現(xiàn)問題：怎樣的閾值選擇可以在藍群體的得分分布中得到期望改善。如上文所述，無約束的銀行策略會最大化收益，并選取收支平衡、貸款有利可圖的點。事實上，收益最大化閾值（信用得分為 580）在兩個群體中是相同的。

公平性準則

擁有不同得分分布的群體會有不同形狀的得分曲線（原文圖 6 上半部分展示了真實信用得分數(shù)據(jù)和一個簡單結(jié)果模型的結(jié)果曲線）。作為無約束收益最大化的另一個替代選擇是公平性約束（fairness constraints）：通過某些目標函數(shù)令不同群體的決策平等。目前已經(jīng)提出了各種公平性準則，訴諸直覺來保護弱勢群體。通過結(jié)果模型，我們可以正式的回答：公平性約束是否真的鼓勵了更多的積極結(jié)果。

一個常見的公平性準則，人口統(tǒng)計平等（demographic parity），要求銀行在兩個群體中給出相同比例的貸款。在此要求下，銀行繼續(xù)盡可能最大化收益。另一個準則，機會平等（equality of opportunity）：兩個群體中的真陽性率（true positive rate）相等，要求銀行對兩個群體中會償還貸款的個體相同的貸款比例。

雖然從要求靜態(tài)決策公平的角度出發(fā)，這些準則都很合理，但它們大多忽略了這些對群體結(jié)果的未來效應(yīng)。原文圖 6 通過對比最大化收益、人口統(tǒng)計平等和機會平等下的策略結(jié)果，展示了這一點?？纯疵總€貸款策略下銀行收益和信用得分的變化。和最大化收益策略相比，人口統(tǒng)計平等和機會平等都降低了銀行收益，但是否獲得了相較于最大化收益得到提升的藍群體結(jié)果？雖然相較于利他最優(yōu)，最大化收益策略對藍群體貸款過低，但機會平等策略則（相較于利他最優(yōu)）貸款過多，人口統(tǒng)計平等則貸款過多，并達到了相對損害區(qū)域。

6. 有約束條件下的貸款決策模擬

如果公平性準則的目標是「從長期來看，提升或公平化所有群體的幸?！?，剛才展示的則表明在某些場景下，公平性準則實際上是違背了這一目的。換言之，公平性約束會進一步降低弱勢群體中的現(xiàn)有福利。建立準確模型，以預(yù)測策略將對群體結(jié)果產(chǎn)生的效應(yīng)影響，也許可以緩解由于引入公平性約束而產(chǎn)生的意料以外的傷害。

對「公平」機器學習結(jié)果的思考

研究者提出了一個基于長期結(jié)果的對機器學習「公平性」討論的視角。如果沒有細致的延遲結(jié)果模型，就不能來預(yù)測公平性準則作為加在分類系統(tǒng)上之后的影響。然而，如果有準確的結(jié)果模型，就能以相較于現(xiàn)有公平性準則而言，更直接的方式來優(yōu)化正例結(jié)果。具體而言，結(jié)果曲線給出了偏離最大化收益策略，以最直接提升結(jié)果的方法。

結(jié)果模型是在分類過程中引入領(lǐng)域知識的一個具體方法，并能與許多指出機器學習中的「公平」具有背景敏感特性的研究很好地吻合。結(jié)果曲線為此應(yīng)用特定的權(quán)衡過程提供了一個可解釋的視覺工具。

更多細節(jié)請閱讀論文原文，本文將在今年 35 屆 ICML 大會上出現(xiàn)。本研究只是對「結(jié)果模型可以緩解機器學習算法對社會意料外影響」的初步探索。研究者們相信，未來，隨著機器學習算法會影響到更多人的生活，會有更多的研究工作，來保證這些算法的長期公平性。