本文討論的是機器學習中的公平公正問題（Bias and Fairness in Machine Learning），那么，究竟什么是機器學習中的公平公正呢？

　　隨著人工智能系統(tǒng)和應用程序在我們?nèi)粘Ｉ钪械膹V泛應用，人工智能已經(jīng)成為了輔助人們決策的重要工具，例如，使用推薦系統(tǒng)算法做出電影推薦、購買產(chǎn)品推薦等，使用預測和分析系統(tǒng)用于貸款申請、約會和雇傭等高風險決策。美國法院使用了一款人工智能軟件—「選擇性制裁罪犯管理檔案」(Correctional Offender Management Profiling for Alternative Sanctions，COMPAS），用于預測一個人再次犯罪的風險，輔助法官決定是釋放罪犯，還是把罪犯關(guān)進監(jiān)獄。對該軟件的一項調(diào)查發(fā)現(xiàn)了對非洲裔美國人的一種偏見：相較于白人罪犯，COMPAS 更有可能給非洲裔美國人罪犯打出較高的潛在風險分數(shù)，從而不予以釋放 [1]。

　　有偏的訓練數(shù)據(jù)集一般被認為是影響機器學習公平公正的重要因素之一。大多數(shù)機器學習模型都是通過在大型有標記數(shù)據(jù)集上訓練得到的。例如，在自然語言處理中，標準的算法是在包含數(shù)十億單詞的語料庫上訓練的。研究人員通常通過抓取網(wǎng)站 (如谷歌圖像和谷歌新聞)、使用特定的查詢術(shù)語，或通過聚合來自維基百科 (Wikipedia) 等來源的易于訪問的信息來構(gòu)建此類數(shù)據(jù)集。然后，由研究生或通過 Amazon Mechanical Turk 等眾包平臺對這些數(shù)據(jù)集進行注釋和標記。

　　在醫(yī)學領(lǐng)域，由于醫(yī)療數(shù)據(jù)的生成和標記成本非常高，機器學習特別容易受到有偏見訓練數(shù)據(jù)集的影響。去年，研究人員利用深度學習從照片中識別皮膚癌。他們對 129,450 張圖像的數(shù)據(jù)集進行訓練，其中 60% 是從谷歌圖像中提取的。在這個數(shù)據(jù)集中只有不到 5% 的圖像是深膚色的個體，而且該算法沒有在深膚色的人身上進行測試。因此，將該深度學習分類器應用在不同的種群中可能會存在巨大的差異。

　　用于圖像分類的深度神經(jīng)網(wǎng)絡通常是在 ImageNet 上訓練的，ImageNet 是一套包含 1400 多萬張標記圖像的集合。ImageNet 中 45% 以上的數(shù)據(jù)來自美國，而美國人口僅占世界人口的 4%。與此形成對比的是，盡管中國和印度的人口占世界人口的 36%，但兩國在 ImageNet 的數(shù)據(jù)中只占 3%。在這樣的數(shù)據(jù)集中訓練得到的計算機視覺模型，把傳統(tǒng)的美國新娘穿著白色衣服的照片標記為「新娘」、「服裝」、「女人」、「婚禮」，而把印度北部新娘的照片標記為「行為藝術(shù)」和「服裝」。圖 1 是 Nature 上一篇報道中給出的一幅圖片，在有偏數(shù)據(jù)集上訓練的算法通常只將左側(cè)的圖片識別為新娘 [2]。

　　圖 1. 在有偏數(shù)據(jù)集上訓練的算法通常只將左手圖像識別為新娘 [2]

　　影響機器學習公平公正的另外一個重要因素是機器學習算法本身。一個經(jīng)典機器學習的算法總是試圖最大限度地提高在訓練數(shù)據(jù)集中的總體預測精度。如果一組特定的個體在訓練數(shù)據(jù)集中出現(xiàn)的頻率高于其他個體，那么算法將會針對這些個體進行優(yōu)化，從而提高算法整體準確度。在實驗環(huán)境下，研究人員使用測試數(shù)據(jù)集進行評估以驗證算法的有效性，但是測試集通常是原始訓練數(shù)據(jù)集的隨機子樣本，因此可能包含相同的偏見。

　　為了確保機器學習的公平公正，研究人員認為主要有三種途徑：一是提高用于訓練機器學習算法的數(shù)據(jù)質(zhì)量，公平、廣泛的收集不同來源的數(shù)據(jù)，使用標準化的元數(shù)據(jù)系統(tǒng)地標注訓練數(shù)據(jù)集的內(nèi)容。二是改進機器學習算法本身。整合約束條件，從本質(zhì)上使得機器學習算法在不同的子群體和相似的個體之間實現(xiàn)公平的性能；改變學習算法，減少對敏感屬性的依賴，比如種族、性別、收入——以及任何與這些屬性相關(guān)的信息。三是使用機器學習本身來識別和量化算法和數(shù)據(jù)中的偏見，即開展人工智能審計，其中審計人員是一個系統(tǒng)地探測原始機器學習模型的算法，以識別模型和訓練數(shù)據(jù)中的偏見。

　　本文重點談論機器學習中算法的公平公正問題，我們選擇了 ICML 2019 的三篇文章，分別針對機器學習領(lǐng)域中的圖嵌入問題、回歸問題，以及自然語言處理領(lǐng)域中的語言模型問題展開了討論。

　　1、Compositional Fairness Constraints for Graph Embeddings

　　https://arxiv.org/pdf/1905.10674v1.pdf

　　本文是 Facebook 發(fā)表在 ICML 2019 中的一篇文章，針對現(xiàn)有的圖嵌入（Graph Embedding）算法無法處理公平約束的問題，例如確保所學習的表示與某些屬性 (如年齡或性別) 不相關(guān)，通過引入一個對抗框架來對圖嵌入實施公平性約束。本文的研究內(nèi)容屬于 (社會) 圖嵌入和算法公平性研究的交叉領(lǐng)域。

　　學習圖中節(jié)點的低維嵌入是目前最先進的應用于預測和推薦系統(tǒng)的方法。在實際應用中，特別是涉及到社交圖的應用中，需要有效控制學習到的節(jié)點嵌入中所包含的信息。以推薦系統(tǒng)為例，人們希望能夠保證推薦是公平的而不依賴于用戶的種族或性別，此外，也希望能夠在不暴露自身屬性的前提下學習節(jié)點嵌入表示以保證隱私。本文的工作聚焦于對社會圖（Social Graph）加入不變性約束的可行性，即生成對特定敏感信息 (例如，年齡或性別) 不變的圖嵌入。首先訓練得到一組「過濾器」，以防止對抗式的甄別者將敏感信息與過濾后的嵌入信息進行分類。然后，將過濾器以不同的方式組合在一起，靈活生成對任何敏感屬性子集不變的嵌入。方法的整體結(jié)構(gòu)見圖 2。

　　圖 2. 方法整體結(jié)構(gòu)

　　早期關(guān)于在社會類應用中增加強制不變性約束 (或「公平性」) 的工作通常只涉及一個敏感屬性的情況，但是實際應用中通常社會圖嵌入會涉及到多個屬性。在極端情況下，可能希望不只是節(jié)點，甚至是圖中的邊（edge）也具備公平性，例如，一個社交網(wǎng)絡平臺上的用戶可能希望該平臺的推薦系統(tǒng)忽略他們與某個其他用戶是朋友，或者他們參與了某個特定內(nèi)容的事實。本文提出的方法通過學習得到一組對抗性過濾器，從而刪除關(guān)于特定敏感屬性的信息。

　　首先，考慮嵌入一個異質(zhì)或多關(guān)系 (社會) 圖 G = (V, e)，G 包含有向邊三元組 e= < u,r, v >，其中 u, v∈V 為節(jié)點，r∈R 表示節(jié)點間的關(guān)系。假定每個節(jié)點都屬于一個特定的類別，節(jié)點間的關(guān)系受到節(jié)點類型的約束?；趫D的關(guān)系預測任務描述如下：ξ_train 表示訓練邊集合，定義負邊集合如下：

　　負邊集合表示未在真實圖 G 中出現(xiàn)的邊的集合。給定ξ_train，目標是學習得到評分函數(shù) s 以滿足：

　　換句話說，學習得到的評分函數(shù)在理想情況下應該對任何真邊緣評分高于任何假邊緣。

　　圖嵌入（Graph Embedding）的任務目標是通過學習一個映射函數(shù) ENC 來完成關(guān)系預測任務，即將節(jié)點 v 映射為節(jié)點嵌入 z_v=ENC(v)。此時評分函數(shù)為：

　　評分函數(shù)的含義為：給定兩個節(jié)點嵌入 z_u ∈ R.^d 和 z_v∈ R.^d，以及它們之間的關(guān)系 r ∈ R，評分函數(shù) s 表示邊 e=<u,r,v> 在圖中存在的概率 ( s∈ R)。通常來講，基于圖嵌入模型的方法主要是認為兩個節(jié)點嵌入間的距離能夠表征兩個節(jié)點間存在邊的可能性。本文利用噪聲對比估計等破壞分布的對比學習方法來優(yōu)化評分函數(shù)，目的是最大化真實邊（正樣本）與虛假邊（負樣本）對比的概率。其中，邊（e_batch ? e_train）的損失函數(shù)計算為：

　　以及

　　表示負樣本，例如，不存在于圖中的隨機樣本邊。

　　考慮公平性的處理，對一個節(jié)點類型，假設屬于該類型的全部節(jié)點都包含有 K 組敏感屬性，那么對圖嵌入模型進行公平性處理的任務就是確保所學習的節(jié)點嵌入 (z_u) 在這些敏感屬性方面不存在偏見或不公平。

　　不變的實用公平性

　　本文給出了一個簡單的以用戶為中心的社會圖嵌入場景。以性別為敏感屬性、電影推薦為關(guān)系預測任務的例子，具體任務場景如下：如果給用戶一個按鈕，上面寫著「推薦電影時請忽略我的性別」，那么按下這個按鈕后，用戶希望從系統(tǒng)中得到什么？很顯然，用戶 u 的目的是系統(tǒng)能夠不考慮他們的性別公平地向他（她）推薦電影，即如下式：

　　其中 s(e) = s(<z_u, r, z_v>)，a_u 為敏感屬性。如果直接處理上式，我們能夠發(fā)現(xiàn)一個明顯的問題，即對于每一個節(jié)點都需要對它的全部邊（可能是數(shù)以百萬計）進行評分。假設認為 s(e) 僅由 u 決定（忽略掉節(jié)點 v 的影響），則可以通過實施表征不變性來保證上式對于所有邊緣預測的獨立性：

　　此時滿足互信息（mutual Information）：I(z_u,a_u)=0。推廣到多個敏感屬性 S? {1,...,K}：

　　上式相當于對 S 個不同敏感屬性的 S 獨立不變性約束的假設。針對本文所討論的應用場景，S 不是固定不變的。對于不同的用戶來說，他們所認為的敏感屬性可能不同（年齡，職業(yè)，性別等等）。基于上述分析，本文在上式中引入一種對抗性損失和一種「過濾」嵌入，從而對節(jié)點嵌入施加表征不變性約束。

　　復合編碼器

　　首先，將 ENC 嵌入函數(shù)泛化，以選擇性地「過濾」掉有關(guān)某些敏感屬性的信息。對每一個敏感屬性 k∈{1,...,K}，定義一個過濾函數(shù) f_k，通過訓練 f_k 能夠去除掉與敏感屬性 k 有關(guān)系的信息。為了保證節(jié)點嵌入的不變性，本文使用復合編碼器組合過濾后的嵌入：

　　在組合映射函數(shù)（C-ENC）的訓練迭代過程中，每輪迭代都通過采樣二進制掩碼來確定集合 S。本文將二進制掩碼采樣為一個固定概率 p=0.5 的伯努利序列。在訓練過程中，隨機采樣得到的二進制掩碼能夠使得模型產(chǎn)生不同敏感性屬性組合的不變嵌入，從而實現(xiàn)在推理過程中推廣到未知的組合。

　　對抗損失

　　本文引入對抗正則項訓練復合編碼器 Dk。為每個敏感屬性 k 定義一個分類器 D_k，目的是通過節(jié)點嵌入預測第 k 個敏感屬性 D_k : R^d × A_k → [0, 1]，其中，D_k 的概率區(qū)間為 [0,1]。給定邊預測損失函數(shù) L_edge，對抗正則化損失函數(shù)為：

　　其中，λ控制對抗正則項的強度。為了在小批量設置的情況下優(yōu)化該損失，本文定義兩種交替執(zhí)行的隨機梯度下降更新方法：（1）T 小批量更新：基于 C-ENC（Dk 恒定不變）優(yōu)化 L(e)；（2）T』小批量更新：基于 Dk（C-ENC 恒定不變）優(yōu)化 L(e)。

　　本文在三個數(shù)據(jù)庫中進行實驗，F(xiàn)reebase15k-237、MovieLens-1M，以及從 Reddit 中整理得到的邊緣預測數(shù)據(jù)庫。三個庫的統(tǒng)計信息如表 1 所示（具體包括全部節(jié)點數(shù)量（|v|），帶有敏感屬性的節(jié)點數(shù)量（|T*|），敏感屬性的數(shù)目及其類型和圖中邊緣的總數(shù)）：

　　表 1. 數(shù)據(jù)庫詳細情況

　　（1）FREEBASE15K-237

　　FREEBASE15K-237 是一個標準的知識基準庫 [9]，本文使用該庫評估對抗正規(guī)化的影響，在完成標準的知識庫任務的同時，保持實體嵌入與「敏感」屬性標簽的不變性。在本庫中，確定三個常見的屬性標簽：/award/award_nominee，作為敏感屬性。

　　在實驗過程中，本文采用聯(lián)合訓練主模型和對抗框架的方式，但在測試不變性時，本文訓練一個新分類器 (與鑒別器具有相同的能力) 從所學習的嵌入中預測敏感屬性。此外，在這些實驗中，本文依賴于兩個基線：首先，對比不包含任何不變性約束的基線方法，即λ= 0。其次，與一種非復合對抗的基線方法進行對比，即分別訓練 K 個不同的編碼器和 K 個不同的對抗框架。使用 Relu 激活函數(shù)的多層感知機（Multi-layer perceptrons，MLP）作為分類器 Dk 和過濾器 f_k[7]。使用 TransD 方法計算編碼器和邊緣預測損失函數(shù) [8]。在這個模型中，一個節(jié)點/實體的編碼取決于預先決定的邊緣關(guān)系，以及該實體是一個關(guān)系中的頭還是尾。頭節(jié)點的嵌入 (即邊關(guān)系中的源節(jié)點) 由下式計算：

　　其中，u、u_p、r_p 為可訓練的嵌入?yún)?shù)，I 為 d 維單位矩陣。編碼函數(shù)對尾部節(jié)點進行了類比定義。評分函數(shù)定義為：

　　其中，r 為另外一個可訓練的嵌入?yún)?shù)（每個關(guān)系）。最后，使用標準的最大邊際損失函數(shù)如下：

　?。?）MOVIELENS-1M

　　MOVIELENS-1M 是一個標準的推薦系統(tǒng)數(shù)據(jù)庫，其目標是預測用戶對電影的評分，將用戶年齡、性別和職業(yè)作為敏感屬性。在本庫中的任務可以做如下描述：將電影推薦任務視為用戶和電影之間的邊緣預測問題，將不同的可能評級視為不同的邊緣關(guān)系。

　　在本庫中的實驗采用簡單的「嵌入-查找（Embedding-Lookup）」編碼器，將每個用戶和電影與一個唯一的嵌入向量關(guān)聯(lián)起來。評分階段，使用對數(shù)似然法計算如下：

　　其中，關(guān)系矩陣 Qr 為：

　　其中，a_r,1、P1、P2 均為可訓練的參數(shù)。損失函數(shù)使用簡單的負對數(shù)似然法。

　?。?）REDDIT

　　本文最后使用的數(shù)據(jù)庫是基于 REDDIT 獲取的，REDDIT 是一個廣受歡迎的、以討論為基礎(chǔ)的網(wǎng)站，用戶可以在這里對不同話題社區(qū)的內(nèi)容進行發(fā)布和評論。對于這個數(shù)據(jù)集，考慮一個傳統(tǒng)的邊緣預測任務，其目標是預測用戶和網(wǎng)站社區(qū)之間的交互情況。通過檢查 2017 年 11 月以來的所有情況，如果用戶在這段時間內(nèi)至少在某社區(qū)出現(xiàn)過一次，就會在該用戶和該社區(qū)之間設置一個邊。然后，將圖中的低分數(shù)節(jié)點去掉，最終得到一個包含 366K 個用戶、18K 個社區(qū)、7M 邊緣的圖?；谠搱D，實驗的主要任務是構(gòu)建邊緣預測模型，基于 90% 的用戶-社區(qū)邊緣情況預測剩余的缺失邊緣。

　　將某些社區(qū)節(jié)點看作是「敏感」節(jié)點，將是否與這些敏感社區(qū)有邊緣連接看作是用戶的敏感屬性。所謂的公平性目標是指模型的預測結(jié)果不受用戶是否訪問過某特定社區(qū)的情況影響。

　　在本數(shù)據(jù)庫中的實驗采用的是簡單的「嵌入-查找（Embedding-Lookup）」編碼器，使用簡單點積評分函數(shù)：

　　以及最大邊際損失函數(shù)：

　　最后，本文給出了三類公平性實驗，

　　Q1：不變性的成本

　　為了量化學習到的嵌入對敏感屬性的不變性程度，凍結(jié)編碼器 C-ENC、訓練一個新的 MLP 分類器預測每個過濾后嵌入的敏感屬性。此外，評估使用這些過濾嵌入對原始預測任務的性能。理想情況下，訓練得到的新 MLP 應當能夠在預測敏感屬性時具有隨機準確性，此外，這些嵌入能夠較好地完成原有的邊緣預測任務。

　　總的來說，本文實驗結(jié)果表明，在社會推薦數(shù)據(jù)集上，包括 MovieLens-1M 和 REDDIT，本文的方法能夠?qū)崿F(xiàn)一個合理的折衷，即幾乎完全刪除敏感信息，同時保證邊緣預測任務的相對誤差只增加約 10%。表 2 給出在使用各種嵌入方法時，預測 MovieLens 數(shù)據(jù)上的敏感屬性的情況。由表 2 結(jié)果可知，敏感屬性的分類準確度與多數(shù)投票分類器的分類準確度相當，使用組合對抗框架的 RMSE 從 0.865 下降到 1.01。表 3 給出了使用不同方法完成 Freebase15k-237 庫中預測敏感屬性能力的實驗結(jié)果。所有的敏感屬性都是二進制的，表 3 給出了 AUC 分數(shù)以及完成主要邊緣預測任務的平均秩。Freebase15k-237 庫中的實驗結(jié)果顯示，如果想要消除敏感信息，必須以增加原始邊緣預測任務成本為代價。這個結(jié)果是可接受的，因為對于這個數(shù)據(jù)集，「敏感」屬性是由實體類型注釋合成得到的，這些屬性與邊緣/關(guān)系預測主任務高度相關(guān)。這一實驗結(jié)果也表明，基于圖嵌入的方法進行去偏處理是存在潛在局限性的。

　　表 2. 預測 MovieLens 數(shù)據(jù)上的敏感屬性的情況

　　表 3.Freebase15k-237 庫中預測敏感屬性的能力

　　Q2：復合框架的影響

　　由表 2 中的實驗結(jié)果可以看出，本文提出的復合框架效果優(yōu)于單獨對每一種屬性進行去偏處理的效果。與單獨基于每種敏感屬性進行對抗正則化嵌入模型訓練相比，使用復合框架能夠去除掉更多的敏感信息，這是由于在數(shù)據(jù)庫中不同的敏感屬性，例如年齡、性別和職業(yè)，是相互關(guān)聯(lián)的。圖 3 給出預測 REDDIT 數(shù)據(jù)集中敏感屬性的能力，其中條形圖對應于 10 個二進制敏感屬性的平均 AUC。與表 2 實驗給出的結(jié)論不同，在 REDDIT 庫中，復合框架的效果并不如單獨處理每個敏感屬性的好。這說明，本文提出的復合對抗性框架效果受到不同的數(shù)據(jù)庫特性影響。

　　圖 3. 使用不同嵌入方法時，預測 Reddit 數(shù)據(jù)集中敏感屬性的能力

　　Q3：對未知敏感屬性組合的不變性

　　使用復合編碼器的一個優(yōu)勢在于能夠生成對不同敏感屬性組合不變的嵌入。對于一個單獨的節(jié)點，能夠生成 2^K 個獨立的嵌入。本文在 REDDIT 庫中進行實驗，這是由于與另外兩個庫相比 REDDIT 庫的敏感屬性數(shù)量最多。由圖 3 中的實驗可知，本文提出的方法對于未知組合的實驗效果下降很?。?.025），表明該方法具有對未知敏感屬性組合的不變性。

　　小結(jié)

　　基于圖節(jié)點嵌入的圖表示學習是大規(guī)模推薦系統(tǒng)中廣泛應用的一種重要方法，本文重點討論的是基于圖嵌入算法的去偏處理。該方法目前還存在很多局限性，一是，本文使用的對抗損失函數(shù)僅停留在理論分析層面，近期的研究中陸續(xù)提出了其他損失函數(shù)，包括非對抗的損失函數(shù)，這些損失函數(shù)是否更適合于本文所討論的問題，還缺少進一步的分析；二是，本文討論的是針對屬性層面集合的公平性問題，對于一些子集合（由多個屬性組成的集合）層面的公平性問題，并未涉及；三是，本文是在理想實驗條件下對不同屬性進行的組合，這種理想條件假定的是不同屬性具有公平的組合機會。然而在實際應用場景中，用戶本身就是有偏見的，例如與男性用戶相比，女性用戶搜索時會著重考慮搜索結(jié)果是否是性別公平的，這種用戶接口的偏見是否會對本文提出的框架有所影響，本文并未做討論。

　　2、Fair Regression: Quantitative Definitions and Reduction-Based Algorithms

　　https://arxiv.org/pdf/1905.12843.pdf

　　隨著機器學習涉及到我們生活中越來越重要的方面，包括教育、醫(yī)療、刑事司法和貸款等，越來越多的人開始關(guān)注如何確保算法公平地對待不同的亞群體用戶。這一問題，在「分類」這一機器學習應用領(lǐng)域中的研究和討論最為廣泛，近年來已經(jīng)提出了一些衡量公平度的定量指標，由此產(chǎn)生了一系列旨在滿足這些要求的算法。然而，這些算法主要適用于離線以及小的決策問題，例如招聘、學校錄取、貸款接收/拒絕決策問題。在實際問題中，更多的分類算法是要求評估一個連續(xù)的問題，比如工作是否成功、大學一年級的平均績點成績，以及放貸的違約風險。因此，已有的關(guān)于公平分類的算法適用范圍相當有限。

　　本文的研究目的是提出一種與原有算法相比適用范圍更廣泛的、回歸任務和模型類的算法。本文將分類問題考慮為一個實值目標預測問題（Predicting a Real-Valued Target），同時使用一個任意 Lipschitz 連續(xù)損失函數(shù)來度量預測質(zhì)量。每個樣本中都包含有一個受保護的屬性，例如種族、性別，算法的目標是保證這些屬性的公平性。本文主要研究兩類公平問題：統(tǒng)計奇偶性 (Statistical Parity，SP)，預測結(jié)果在統(tǒng)計上依賴于受保護的屬性；有界群體損失 (Bounded Group Loss，BGL)，任何受保護群體的預測誤差都低于某個預先指定的水平。本文將公平回歸（Fair Regression）定義為在這些約束條件下最小化實值預測的預期損失任務。針對兩類公平問題，本文提出了不同的算法：對于 BGL，本文提出在每個子種群中，受損失約束的損失最小化問題可以通過算法簡化為一個加權(quán)損失最小化問題。對于 SP，如果我們將實值預測空間離散化，那么在一定的約束條件下，公平回歸的任務可以簡化為代價敏感的分類問題。

　　假定我們要解決的是一般的數(shù)據(jù)預測問題，模型輸出值是實數(shù)。我們首先定義損失函數(shù)。假定訓練樣本為 (X,A,Y)，其中，X 為特征向量，A 為受保護的屬性（有限值），Y 為標記，X 為連續(xù)高維向量。A 可屬于 X 也可不屬于，Y 可為連續(xù)值也可為離散值。給定一個預測函數(shù) f:X→[0,1]，算法目標是給定 X，找到滿足公平性原則（SP/BGL）的能夠準確預測 Y 的預測函數(shù) f。與之前算法討論的問題不同，Y 和 f（X）都為實值函數(shù)。f(X) 預測 Y 的準確度由損失函數(shù) l(Y,f(X)) 衡量。一般性地，損失函數(shù)要求滿足 l1 范數(shù)的 1-Lipschitz 約束：

　　公平性定義

　　本文中進行公平性分類和回歸過程，使用了兩個基本的定量統(tǒng)計定義：

　　SP (Statistical parity)：預測函數(shù) f 如果獨立于某個受保護的屬性 A，即預測函數(shù) f 滿足 (X,A,Y) 上分布的統(tǒng)計奇偶性，與受保護屬性無關(guān)，我們就說該函數(shù)滿足 SP 要求。當 f(X)∈[0,1] 時，我們有：P[f(X)≥z|A=a]=P[f(x)≥z]。

　　BGL(Bounded group lost）：如果對于每個受保護的屬性 A 來說，預測損失都低于某一預先確定的值，這個函數(shù) f 滿足于 BGL。以語音或人臉識別任務為例，這一公平性要求表示所有的組別都能獲得較好的識別效果。當 E[l(Y,f(X))|A=a]≤ζ，我們得到預測水平為ζ的預測函數(shù) f。

　　公平回歸（Fair Regression）

　　公平回歸的過程就是在滿足 SP 或 BGL 的前提下最小化損失函數(shù) E[l(Y),f(X)]。我們需要在該前提的約束下進行優(yōu)化。

　　SP：本文設置一個可調(diào)值用于控制公平性的準確度，例如針對每個屬性的松弛參數(shù)ε_a，此時公平回歸任務為：

　　（1）

　　BGL：針對每個屬性，設定一個約束參數(shù)ζ_a，此時公平回歸問題為：

　　（2）

　　與第一篇論文提到的公平分類相似，為了實現(xiàn)更好的公平性-準確性權(quán)衡，這篇論文的作者在公平回歸問題中引入一個隨機預測因子（Randomized predictors）：首先根據(jù)分布 Q 選取 f，然后基于 f 進行預測?；诠剑?）和（2）給出下述符號：

　　由此得到 SP 的目標函數(shù)：

　　（3）

　　以及 BGL 的目標函數(shù)：

　?。?）

　　監(jiān)督學習示例

　　本文作者展示了如何將公平回歸問題轉(zhuǎn)化為三個標準的學習問題：加權(quán)最小二乘回歸、在不公平約束下的加權(quán)風險最小化（無公平性約束）、成本敏感分類問題。加權(quán)最小二乘回歸的風險優(yōu)化問題：給定數(shù)據(jù)集 {(Wi,Xi,Yi)}，Wi 為非負權(quán)重，f 最優(yōu)化權(quán)重經(jīng)驗風險：

　　在不公平約束下的加權(quán)風險最小化：使用 l 衡量準確度，能夠得到針對相同類別 F 的加權(quán)最小二乘學習者。損失函數(shù)為：

　　成本敏感分類：給定數(shù)據(jù)集 {(X^i,,Ci)}，其中 X『i,, 為特征向量，Ci 為表征成本（例如損失函數(shù)）區(qū)別。正值 Ci 表示 0 為最佳，負值 Ci 則表示 1 為最佳。成本敏感分類的最終目標為找到能夠最優(yōu)化經(jīng)驗成本的分類器 h。給定數(shù)據(jù)集 {(Wi,X^i,Yi)}，當 Yi=1{Ci≤0}，以及 Wi=|Ci|，目標函數(shù)為：

　　根據(jù)以上，作者就可以做出有 SP 或者 BGL 約束的公平回歸算法。

　　實驗結(jié)果

　　本文使用如下數(shù)據(jù)庫進行實驗比對：成人庫（Adult）、法學院（Law School）、社區(qū)和犯罪（Communities&Crime）。由于前兩個庫較大，本文也在其子庫上進行了實驗。對比基線算法包括不受任何公平約束的回歸，以及來自公平分類和公平回歸領(lǐng)域的兩個基線算法。兩個基線算法具體為：在任務為最小二乘回歸的三個數(shù)據(jù)集上，本文使用完全實質(zhì)性機會均等（full Substantive Equality of Opportunity, SEO）[10] 算法作為基線；在兩個任務為 logistic 回歸的數(shù)據(jù)集上，本文運行公平分類（Fair Classification，F(xiàn)C）[11] 算法作為基線。

　　圖 4 給出了 SP 約束下的相對測試損失與最壞約束沖突對比實驗結(jié)果，該實驗通過從實際損失中減去最小基線損失來計算相對損失。圖 4 給出了 95% 的置信區(qū)間來表示本文方法和公平分類（FC）的相對損失，也給出了 95% 的置信區(qū)間來表示約束違反（對所有方法都一樣）。除了 Adult 庫中公平分類（FC）效果更好，在其他數(shù)據(jù)庫中本文提出的方法效果都為最優(yōu)。此外，本文所提出的方法在減小差距（不公平）的同時，并不會對總體損失造成嚴重影響。本文所提出的方法在全部最小二乘任務中效果都為最優(yōu)，但在 logistic 回歸任務中，效果低于公平分類（FC）。

　　圖 4. SP 約束下的相對測試損失與最壞約束沖突對比

　　小結(jié)

　　本文所提的算法能夠有效處理一系列損失和回歸問題，同時在保持總體準確度的同時減小了偏見（差異）。在本文給出的實驗中，公平分類 (FC) 作為 logistic 回歸的一個強大基線算法展現(xiàn)出了良好的性能，在一些實驗條件下效果甚至優(yōu)于本文提出的算法。這表明本文所提出的基于回歸的歸約啟發(fā)式方法還存在一些缺陷，這也為以后的研究留下了改進空間。

　　3、Identifying and Reducing Gender Bias in Word-Level Language Models

　　https://arxiv.org/pdf/1904.03035.pdf

　　語言建模（Language Model）是一項非常容易受到性別偏見（Gender Bias）影響的自然語言處理任務，同時也非常具有實際應用價值，例如屏幕鍵盤中的單詞預測。本文的研究目的是識別用于語言建模的訓練數(shù)據(jù)集中的性別偏見，以及減少其對模型行為的影響。具體來講，本文的工作是評估性別偏見對于在文本語料庫中訓練的單詞級別的語言模型的性能影響。

　　本文首先通過對訓練得到的嵌入特征和共現(xiàn)模式進行定性和定量分析，從而檢查數(shù)據(jù)集中存在的偏見。然后，在數(shù)據(jù)集上訓練 LSTM 單詞級別的語言模型，并測量生成輸出的偏見（如圖 5 所示）。第三，應用一個正則化過程，目的是使得模型學習到的嵌入特征最小程度依賴于性別，同時進行獨立的對輸入和輸出嵌入特征的去偏處理。

　　圖 5. 三層 LSTM 模型

　　分析用于建立最新語言模型的公開數(shù)據(jù)集所顯示的性別偏見

　　本文選擇了三個公開數(shù)據(jù)集進行驗證，包括：Penn Treebank (PTB)、WikiText-2 和 CNN/Daily Mail。PTB 由科學摘要、計算機手冊、新聞文章等不同類型的文章組成，其中男性單詞的計數(shù)高于女性單詞。WikiText-2 由維基百科的文章組成，它比 PTB 更加多樣化，因此男女性別詞的比例更加平衡。CNN/Daily Mail 是從體育、健康、商業(yè)、生活方式、旅游等主題的各種新聞文章中整理出來的。這個數(shù)據(jù)集的男女性別比例更加平衡，相較于前兩個數(shù)據(jù)集來說，存在的性別偏見最小。

　　本文使用包含 1150 個隱藏單元的三層 LSTM 單詞級語言模型 (AWD-LSTM) 測量生成輸出的偏見程度[3]，使用復雜度（Perplexity）作為衡量標準。在對三個公開數(shù)據(jù)集的驗證過程中都得到了合理的復雜度，分別為 PTB 62.56、Wikitext-2 67.67、CNN/Daily Mail 118.01。

　　復雜度（Perplexity）是一種常用的語言模型評價標準，可以理解為，如果每個時間步長內(nèi)都根據(jù)語言模型計算的概率分布隨機挑詞，那么平均情況下，挑多少個詞才能挑到正確的那個。即復雜度（Perplexity）刻畫的是語言模型預測一個語言樣本的能力，通過語言模型得到一條語言樣本的概率越高，語言模型對數(shù)據(jù)集的擬合程度越好，建模效果越好。

　　分析性別偏見對基于遞歸神經(jīng)網(wǎng)絡 (RNNs) 的單詞級語言模型的影響

　　使用能夠表征性別的單詞來表示一個單詞在上下文中出現(xiàn)的概率：

　　其中 c(w,g) 是上下文窗口，g 是一組性別詞匯，例如，當 g=f，這樣的詞包括 he,her,woman 等，w 是語料庫中的任何單詞，不包括停止詞匯和性別相關(guān)詞匯。關(guān)于 c(w,g) 的選擇，本文采用了固定長度和權(quán)重以指數(shù)方式遞減（0.95）的有限長度窗口大小兩種方式進行實驗。

　　定義特定詞的偏見分數(shù)為：

　　要對從訓練語料庫和語言模型生成的文本語料庫中采樣得到的文本中的每個單詞測量這個偏見分數(shù)，其中，正偏分數(shù)意味著該詞與女性詞匯的搭配頻率高于與男性詞匯的搭配頻率。在假設無限的語境中，偏見分數(shù)應當接近于 0，例如，「doctor」和「nurse」在對話過程中與男性和女性單詞搭配出現(xiàn)的頻率應當一樣多。

　　為了評估每個模型的去偏性，測量生成的語料庫的偏見分數(shù)計算如下：

　　此外，為了估計偏見放大或縮小的改變程度，本文擬合了一個單變量線性回歸模型，該模型對上下文單詞的偏見評分如下:

　　其中，β為與訓練數(shù)據(jù)集相關(guān)的比例放大測量值，減小β意味著對模型去偏，c 為上文定義的 context。本文利用評估語料庫中每個上下文單詞的絕對平均值μ和標準偏差σ來量化偏見的分布：

　　最終，取絕對偏見分數(shù)的平均值作為評估依據(jù)。

　　減少在這些模型中獲得的偏見的方法

　　前期的研究表明，機器學習技術(shù)通過捕捉數(shù)據(jù)模式來做出連貫的預測，可能能夠捕獲甚至放大數(shù)據(jù)中的偏見 [4]。本文分別對輸入嵌入、輸出嵌入和同時兩種嵌入這三種情況進行了去偏處理。本文使用的方法為：使用 [5] 中的方法從學習到的輸出嵌入中提取一個性別子空間。然后，根據(jù) [6] 中的方法在單詞級別（word level）的語言模型上訓練這些嵌入，而不是使用無偏預訓練的嵌入 [6]。

　　使用 w∈Sw 表示單詞嵌入，Di,...,Dn?Sw 表示定義集，包括性別詞匯對，例如男人和女人。定義集是為每個語料庫單獨設計的，因為某些詞并不會出現(xiàn)在所有語料庫中。對于一個訓練語料庫，同時出現(xiàn)的與性別相關(guān)的相反的詞匯，則將它們認定為一個定義集，{ui,vi}=Di。矩陣 C 是定義集中詞匯對之間的差異向量的集合，詞匯對的差異情況表征了性別信息。對 C 進行奇異值分解處理：

　　將 V 的前 k 列定義為性別子空間 B=V_1:k。矩陣 N 由無偏嵌入組成。如果想讓嵌入的偏見最小，那么將其映射到 B 中時，令其 Frobenius 范數(shù)的平方值也是最小。為了減少模型中嵌入層學習到的偏見，在訓練損失中加入以下正則化項:

　　其中，λ控制最小化嵌入矩陣 W（N 和 B 推導得到的矩陣）的權(quán)重，N 和 C 在模型訓練期間迭代更新。

　　在語言模型中隨機輸入 2000 個種子作為開始生成單詞的起點。使用前面的單詞作為語言模型的輸入，并執(zhí)行多項選擇以生成下一個單詞，重復該步驟 500 次，最終得到三個數(shù)據(jù)集對應每個λ的 10^6 個 token。

　　結(jié)果分析

　　本文使用 RNN 進行模型訓練。結(jié)果見表 4。數(shù)據(jù)集的整體偏見可由μ表征，較大的μ表示語料庫存在較大的性別偏見。由表 4 中的實驗結(jié)果可知，隨著λ值增大，μ逐漸減小直至穩(wěn)定，因此λ的優(yōu)化存在一個區(qū)間。本文還對單個單詞的偏差分數(shù)進行了對比以評估去偏的效果。β的傾斜程度表示了模型相對于訓練語料庫的放大或減弱效果，β值的大幅下降表示減弱偏差，反之亦然。β的負值則假定損失項沒有產(chǎn)生其它影響。本文給出的實驗結(jié)果中，λ較大時β也會增大，作者認為這可能是因為模型不穩(wěn)定所造成的。此外，對于去偏處理參數(shù)μ和σ的影響很小，作者認為它們無法捕獲單次級別的改進?；谏鲜鰧嶒灲Y(jié)果，作者推薦使用單詞級別的評估項，例如β，來評估語料庫級別的去偏處理效果的魯棒性。

　　表 4. PTB、WikiText-2、CNN/Daily Mail 中的實驗結(jié)果

　　表 5 為從 CNN/Daily Mail 的生成語料中選擇的目標詞匯。特別強調(diào)與女性相關(guān)的詞 crying 和 fragile，而一般認為與男性相關(guān)的詞匯 Leadership 和 prisoners。當λ=0 時，這些偏見非常明顯。對于 fragile，當λ=1.0 時，生成文本中幾乎沒有對女性的詞匯提及，從而得到大量的中立文本。對于 prisoners，λ=0.5 時情況也類似。

　　表 5. 不同λ值時 CNN/Daily Mail 中的生成文本比較

　　小結(jié)

　　本文使用了兩個不同的指標量化語料級別的性別偏見：絕對平均值μ和標準偏差σ。此外，提出了一個用于評估去偏效果的相關(guān)矩陣β，作者通過對訓練語料庫生成的文本語料庫中的單詞級別的性別偏見進行回歸分析來計算β。

　　本文提出的方法可以處理語言模型中單詞級別的詞分布問題。該方法的目標是測量性別偏差，但并不能檢測在去偏模型和數(shù)據(jù)中仍然存在的顯著的偏見。此外，作者也提出，本文的方法在傳統(tǒng)的語言模型中增加了一個去偏正則化項，這可能會帶來復雜度與偏見處理權(quán)衡的問題，例如，在一個無偏的模型中，男性和女性的語言被預測的概率幾乎相等，減小性別偏見會導致語言模型的復雜度增高。

　　4、本文總結(jié)

　　隨著經(jīng)合組織的《經(jīng)合組織人工智能原則》、歐盟《人工智能倫理指南》和《人工智能政策與投資建議》、20 國集團《人工智能原則》以及《北京人工智能原則》等一系列文件的發(fā)布，人工智能治理成為了 2020 年廣泛關(guān)注的議題，本文所探討的「機器學習中的公平公正」，就是人工智能治理中最關(guān)鍵的問題。

　　本文對機器學習中的公平公正問題進行了簡要回顧，包括數(shù)據(jù)偏見和算法偏見兩類。在此基礎(chǔ)上，本文結(jié)合 ICML 2019 中的三篇文章，針對算法偏見分別對機器學習領(lǐng)域中的圖嵌入問題、回歸問題，以及自然語言處理領(lǐng)域中的語言模型問題進行了詳細分析。目前，關(guān)于算法去偏的處理還停留在理論分析和實驗的階段，主要通過引入不同的損失函數(shù)、約束矩陣等約束項弱化模型結(jié)果中的偏見，包括第一篇文章中的對抗損失函數(shù)、第二篇文章中的統(tǒng)計奇偶性和有界群體損失函數(shù)，以及第三篇文章中的去偏正則化項等。算法優(yōu)化的最終目的是希望加入這些約束項去除偏見的同時，不會嚴重影響原有機器學習模型的主要任務性能。

　　由本文的分析可知，通過使用去偏算法或模型，能夠在一定的實驗環(huán)境下去除偏見，但并不能保證對所有數(shù)據(jù)有效。此外，本文（包括現(xiàn)在已經(jīng)發(fā)表的其他文獻）探討的去偏主要還是集中于性別偏見、種族偏見這一類常見的、容易區(qū)分的偏見屬性，對于真實應用場景下的復雜去偏問題，研究之路還很漫長，需要更多的挖掘與探索。