由于機(jī)器學(xué)習(xí)系統(tǒng)容易受到歷史數(shù)據(jù)引入的偏見(jiàn)而導(dǎo)致歧視性行為，人們認(rèn)為有必要在某些應(yīng)用場(chǎng)景中用公平性準(zhǔn)則約束系統(tǒng)的行為，并期待其能保護(hù)弱勢(shì)群體和帶來(lái)長(zhǎng)期收益。近日，伯克利 AI 研究院發(fā)表博客，討論了靜態(tài)公平性準(zhǔn)則的長(zhǎng)期影響，發(fā)現(xiàn)結(jié)果和人們的期望相差甚遠(yuǎn)。相關(guān)論文已被 ICML 2018 大會(huì)接收。
以「最小化預(yù)測(cè)誤差」為目的訓(xùn)練的機(jī)器學(xué)習(xí)系統(tǒng)通常會(huì)基于種族、性別等敏感特性（sensitive characteristics），表現(xiàn)出歧視性行為（discriminatory behavior），數(shù)據(jù)中的歷史性偏差可能是其中的一個(gè)原因。長(zhǎng)久以來(lái)，在諸多如貸款、雇用、刑事司法以及廣告等應(yīng)用場(chǎng)景中，機(jī)器學(xué)習(xí)一直被詬病「由于歷史原因，潛在地傷害到曾被忽視的、弱勢(shì)群體」。
本文討論了研究者們?cè)谡{(diào)整以長(zhǎng)期社會(huì)福利（long term social welfare）為目標(biāo)的機(jī)器學(xué)習(xí)所得決策方面的近期成果。通常，機(jī)器學(xué)習(xí)模型產(chǎn)生一個(gè)得分（score）來(lái)概述關(guān)于個(gè)體的信息，進(jìn)而對(duì)其作出決策。例如，信用得分（credit score）總結(jié)了某人的信用歷史和財(cái)務(wù)行為，來(lái)幫助銀行評(píng)定其信用等級(jí)。我們以此貸款場(chǎng)景為例貫穿全文。任何用戶群體在信用得分上都有其特定分布，如下圖所示。
1. 信用得分和償還分布
通過(guò)定義一個(gè)閾值，可以將得分轉(zhuǎn)變?yōu)闆Q策。例如，得分高于放貸閾值的人可以獲得貸款，而低于放貸閾值的則被拒絕。這種決策規(guī)則叫閾值策略（threshold policy）。可以將得分理解為貸款違約的估計(jì)概率編碼。例如，信用得分為 650 的人中，90% 的人會(huì)償還其貸款。因此，銀行可以預(yù)估其為信用得分為 650 的用戶提供等額貸款的期望收益，同樣，可以預(yù)測(cè)為信用得分高于 650（或任何給定閾值）的全體用戶提供貸款的期望收益。
2. 貸款閾值和結(jié)果
不考慮其他因素的情況下，銀行會(huì)試圖最大化其總收益。收益取決于收回的償還貸款額與在貸款違約的損失額之間的比。在上圖中，收益損失比為 1：-4，由于相較于收益，損失的成本更高，因此銀行會(huì)更保守的進(jìn)行放貸，并提高放貸閾值。我們將高于此閾值以上的總體人數(shù)占比稱為選擇率（selection rate）。
結(jié)果曲線
貸款決策不僅影響銀行機(jī)構(gòu)，也會(huì)影響個(gè)人。一次違約行為（貸款人無(wú)法償還貸款）中，不僅是銀行損失了收益，貸款人的信用得分也會(huì)降低。而成功的貸款履約行為中，銀行獲得收益，同時(shí)貸款人的信用得分提升。在本例中，某用戶信用得分變化比為 1（履約）：-2（違約）
在閾值策略中，結(jié)果（outcome）被定義為某群體得分的變化期望，可以參數(shù)化為選擇率的函數(shù)，稱此函數(shù)為結(jié)果曲線（outcome curve）。當(dāng)某群體的選擇率發(fā)生變化時(shí)，其結(jié)果也會(huì)發(fā)生變化。這些總體人數(shù)級(jí)別上的結(jié)果會(huì)同時(shí)取決于償還概率（由得分編碼得到）、成本以及個(gè)體貸款決策的收益。
上圖展示了某典型群體的結(jié)果曲線。當(dāng)群體內(nèi)獲得貸款并成功償還的個(gè)體足夠多時(shí)，其平均信用得分就可能增加。這時(shí)，如果其平均得分變化（average score change）為正，則可得到無(wú)約束收益最大化結(jié)果。偏離收益最大化，以給更多人提供貸款時(shí)，平均得分變化會(huì)增大到最大值。稱其為利他最優(yōu)（altruistic optimum）。也可以將選擇率提升到某個(gè)值，使平均得分變化低于無(wú)約束收益最大化時(shí)的平均得分變化、但依然為正，即圖中黃色點(diǎn)狀陰影所表示的區(qū)域。稱此區(qū)域中的選擇率導(dǎo)致了相對(duì)損害（relative harm）。但如果無(wú)法償還貸款的用戶過(guò)多，則平均得分就會(huì)降低（平均得分變化為負(fù)），從而進(jìn)入紅色橫線陰影區(qū)域。
4. 貸款閾值和結(jié)果曲線
多群體情況
給定的閾值策略如何影響不同群體中的個(gè)體？?jī)蓚€(gè)擁有不同信用得分分布（credit score distribution）的群體會(huì)擁有不同的結(jié)果。
假設(shè)第二個(gè)群體和第一個(gè)群體的信用得分分布不同，同時(shí)群體內(nèi)人數(shù)也更少，將其理解為歷史弱勢(shì)群體。將其表示為藍(lán)群體，我們希望保證銀行的貸款政策不會(huì)不合理地傷害、欺騙到他們。
假設(shè)銀行可以對(duì)每個(gè)群體選擇不同的閾值，雖然這可能面臨法律挑戰(zhàn)，但為了預(yù)防由于固定閾值決策可能帶來(lái)的差別結(jié)果，基于群體的閾值是無(wú)法避免的。
5. 不同群體的貸款決策
很自然的會(huì)出現(xiàn)問(wèn)題：怎樣的閾值選擇可以在藍(lán)群體的得分分布中得到期望改善。如上文所述，無(wú)約束的銀行策略會(huì)最大化收益，并選取收支平衡、貸款有利可圖的點(diǎn)。事實(shí)上，收益最大化閾值（信用得分為 580）在兩個(gè)群體中是相同的。
公平性準(zhǔn)則
擁有不同得分分布的群體會(huì)有不同形狀的得分曲線（原文圖 6 上半部分展示了真實(shí)信用得分?jǐn)?shù)據(jù)和一個(gè)簡(jiǎn)單結(jié)果模型的結(jié)果曲線）。作為無(wú)約束收益最大化的另一個(gè)替代選擇是公平性約束（fairness constraints）：通過(guò)某些目標(biāo)函數(shù)令不同群體的決策平等。目前已經(jīng)提出了各種公平性準(zhǔn)則，訴諸直覺(jué)來(lái)保護(hù)弱勢(shì)群體。通過(guò)結(jié)果模型，我們可以正式的回答：公平性約束是否真的鼓勵(lì)了更多的積極結(jié)果。
一個(gè)常見(jiàn)的公平性準(zhǔn)則，人口統(tǒng)計(jì)平等（demographic parity），要求銀行在兩個(gè)群體中給出相同比例的貸款。在此要求下，銀行繼續(xù)盡可能最大化收益。另一個(gè)準(zhǔn)則，機(jī)會(huì)平等（equality of opportunity）：兩個(gè)群體中的真陽(yáng)性率（true positive rate）相等，要求銀行對(duì)兩個(gè)群體中會(huì)償還貸款的個(gè)體相同的貸款比例。
雖然從要求靜態(tài)決策公平的角度出發(fā)，這些準(zhǔn)則都很合理，但它們大多忽略了這些對(duì)群體結(jié)果的未來(lái)效應(yīng)。原文圖 6 通過(guò)對(duì)比最大化收益、人口統(tǒng)計(jì)平等和機(jī)會(huì)平等下的策略結(jié)果，展示了這一點(diǎn)。看看每個(gè)貸款策略下銀行收益和信用得分的變化。和最大化收益策略相比，人口統(tǒng)計(jì)平等和機(jī)會(huì)平等都降低了銀行收益，但是否獲得了相較于最大化收益得到提升的藍(lán)群體結(jié)果？雖然相較于利他最優(yōu)，最大化收益策略對(duì)藍(lán)群體貸款過(guò)低，但機(jī)會(huì)平等策略則（相較于利他最優(yōu)）貸款過(guò)多，人口統(tǒng)計(jì)平等則貸款過(guò)多，并達(dá)到了相對(duì)損害區(qū)域。
6. 有約束條件下的貸款決策模擬
如果公平性準(zhǔn)則的目標(biāo)是「從長(zhǎng)期來(lái)看，提升或公平化所有群體的幸福」，剛才展示的則表明在某些場(chǎng)景下，公平性準(zhǔn)則實(shí)際上是違背了這一目的。換言之，公平性約束會(huì)進(jìn)一步降低弱勢(shì)群體中的現(xiàn)有福利。建立準(zhǔn)確模型，以預(yù)測(cè)策略將對(duì)群體結(jié)果產(chǎn)生的效應(yīng)影響，也許可以緩解由于引入公平性約束而產(chǎn)生的意料以外的傷害。
對(duì)「公平」機(jī)器學(xué)習(xí)結(jié)果的思考
研究者提出了一個(gè)基于長(zhǎng)期結(jié)果的對(duì)機(jī)器學(xué)習(xí)「公平性」討論的視角。如果沒(méi)有細(xì)致的延遲結(jié)果模型，就不能來(lái)預(yù)測(cè)公平性準(zhǔn)則作為加在分類系統(tǒng)上之后的影響。然而，如果有準(zhǔn)確的結(jié)果模型，就能以相較于現(xiàn)有公平性準(zhǔn)則而言，更直接的方式來(lái)優(yōu)化正例結(jié)果。具體而言，結(jié)果曲線給出了偏離最大化收益策略，以最直接提升結(jié)果的方法。
結(jié)果模型是在分類過(guò)程中引入領(lǐng)域知識(shí)的一個(gè)具體方法，并能與許多指出機(jī)器學(xué)習(xí)中的「公平」具有背景敏感特性的研究很好地吻合。結(jié)果曲線為此應(yīng)用特定的權(quán)衡過(guò)程提供了一個(gè)可解釋的視覺(jué)工具。
更多細(xì)節(jié)請(qǐng)閱讀論文原文，本文將在今年 35 屆 ICML 大會(huì)上出現(xiàn)。本研究只是對(duì)「結(jié)果模型可以緩解機(jī)器學(xué)習(xí)算法對(duì)社會(huì)意料外影響」的初步探索。研究者們相信，未來(lái)，隨著機(jī)器學(xué)習(xí)算法會(huì)影響到更多人的生活，會(huì)有更多的研究工作，來(lái)保證這些算法的長(zhǎng)期公平性。