Майкл Віл — юрыст і даследчык рэгулявання лічбавых тэхналогій з Універсітэцкага каледжа Лондана, Рубен Бінз — даследчык інфарматыкі з Оксфарда; калі пісаўся гэты артыкул, Віл яшчэ быў аспірантам, а Бінз — постдокам. Артыкул выйшаў у лістападзе 2017 года ў навуковым часопісе Big Data & Society і з таго часу шырока цытуецца ў спрэчках пра «справядлівае» машыннае навучанне. Яго праблема вельмі практычная. Каб праверыць, ці не адмаўляе алгарытм у крэдыце, страхоўцы ці працы, скажам, чарнаскурым ці мусульманам, трэба ведаць, хто з людзей у даных чарнаскуры ці мусульманін. Але менавіта такія звесткі — «асаблівыя катэгорыі даных» паводле еўрапейскага права — арганізацыям збіраць нельга або рызыкоўна, ды і людзі наўрад ці ахвотна раскажуць пра іх кампаніі, якая можа іх дыскрымінаваць. А проста выкінуць расу з даных не дапамагае: яе выдаюць іншыя прыкметы, напрыклад адрас. Віл і Бінз прапануюць тры выйсці: адчувальныя даныя трымае давераны пасярэднік, а не сама кампанія; распрацоўшчыкі складаюць агульную базу ведаў пра тое, дзе звычайна хаваецца дыскрымінацыя; а там, дзе адчувальных даных няма зусім, даследчы аналіз шукае ў даных і мадэлях падазроныя заканамернасці. Некалькі рэалій. GDPR — Агульны рэгламент ЕС па абароне даных — у 2017 годзе ўжо быў прыняты, але пачаў дзейнічаць толькі ў маі 2018-га. Слова «рэдлайнінг» паходзіць ад чырвоных ліній на картах 1930-х гадоў, якімі амерыканская дзяржаўная Карпарацыя пазык уласнікам жылля (HOLC) пазначала «ненадзейныя» — найчасцей чорныя і імігранцкія — кварталы; жыхарам такіх раёнаў дзесяцігоддзямі адмаўлялі ў іпатэцы. З супольнасці FATML, пра якую ідзе гаворка, у 2018 годзе вырасла штогадовая канферэнцыя, вядомая цяпер як FAccT. Мы пераклалі ўвесь асноўны тэкст артыкула. Анатацыю, ключавыя словы, спіс літаратуры, звесткі пра фінансаванне і канфлікт інтарэсаў, бібліяграфічныя спасылкі ў дужках і нумары зносак мы прапусцілі; змястоўныя зноскі ўключылі ў тэкст у дужках, а зноскі, якія толькі адсылаюць да літаратуры ці вэб-старонак, прапусцілі; схему трох падыходаў мы таксама прапусцілі — тэкст яе цалкам паўтарае. Там, дзе аўтары спасылаюцца на іншых даследчыкаў, мы ў некаторых выпадках назвалі іх па імёнах.
Уводзіны
Па меры таго як метады машыннага навучання прыходзяць ва ўсё большую колькасць галін, дзе яны прымаюць рашэнні або дапамагаюць іх прымаць, многія звяртаюць увагу на шкоду, якую можа прынесці іх неасцярожнае ці зламыснае выкарыстанне. Частка гэтай шкоды тычыцца справядлівасці: аказваецца, вельмі цяжка зрабіць сістэмы, якія не дэманструюць прадузятасці — ускосна ці ў асобных падмноствах даных. Гэтыя пытанні ўпісаныя ў шырокае кола звязаных праблем: празрыстасць і падсправаздачнасць алгарытмаў, іх надзейнасць у рэальных умовах, абарона ад зламыснікаў, замацаванне няроўнасці, рызыкі для прыватнасці і належнай прававой працэдуры, а таксама з’яўленне ўсюдыісных сістэм сачэння, што растварыліся ў навакольным асяроддзі. Усё гэта прымусіла шмат даследчыкаў і практыкаў задумацца, як выкарыстоўваць гэтыя тэхналогіі, мінімізуючы пасткі і рызыкі, якія могуць іх суправаджаць.
Гэты артыкул — пра тое, як змякчаць несправядлівасць і дыскрымінацыю ў сістэмах машыннага навучання ў межах практычных інстытуцыйных абмежаванняў. Сістэмы машыннага навучання, якія выяўляюць заканамернасці ў даных і карыстаюцца імі, і створаныя для таго, каб адрозніваць, — «дыскрымінаваць» у першасным сэнсе слова. Мы выкарыстоўваем іх, каб адрозніць адны элементы даных ад іншых па нейкіх прагнастычных прыкметах. Аднак некаторыя формы адрознення лічацца недапушчальнымі. Юрыдычна «абароненыя прыкметы» — звычайна гэта інваліднасць, раса, сэксуальнасць, пол, цяжарнасць і некаторыя іншыя — у большасці выпадкаў наогул забаронена ўлічваць пры прыняцці рашэнняў. Гэты пералік не высечаны ў камені. Напрыклад, спартыўныя клубы і прыбіральні для аднаго полу ці пэўныя віды аб’яў пра працу (скажам, для мадэляў) звычайна не забароненыя, але стаўленне да іх мяняецца. Акрамя таго, каб гаварыць пра дыскрымінацыю, звычайна трэба, каб выпадкі ў астатнім былі супастаўныя. У некаторых сітуацыях улік полу можа не лічыцца дыскрымінацыяй — калі рашэнне залежыць ад розніцы ў статыстычнай чаканай працягласці жыцця.
Іншыя меркі справядлівасці менш універсальныя. Ацэньваць чалавека па знешнасці; па падзеях, што адбыліся даўно; па абмежаваных даных; за ўчынкі, за якія ён ужо быў пакараны; ці ва ўмовах высокай нявызначанасці і хуткіх зменаў — часам дапушчальна, а часам не. Меркаванне на падставе выпадковых прыкмет — напрыклад, перавага тым, хто запаўняе анлайн-форму ў браўзеры, які ўсталяваў сам, а не ў тым, што стаяў па змаўчанні, — таксама можа падацца несправядлівым: магчыма, з-за кан’юнктурнай, нетрывалай прыроды такіх карэляцый, а таксама таму, што так можна дыскрымінаваць тых, хто адкрывае форму са школьнага ці бібліятэчнага камп’ютара.
Адкуль бярэцца несправядлівасць у машынным навучанні
Ёсць некалькі шляхоў, якія пераплятаюцца паміж сабой, — і па кожным з іх укараненне машыннага навучання можа прывесці да несправядлівых або дыскрымінацыйных вынікаў.
Несправядлівасць у даных, у іх зборы і апрацоўцы
Лічыцца, што большасць праблем са справядлівасцю ў машынным навучанні ўзнікае перш за ўсё з даных. Некаторыя, трапляючы ў пастку, якую можна назваць «памылкай нейтральнасці», думаюць, што машыннае навучанне забяспечыць больш роўнае і аб’ектыўнае стаўленне да людзей. Як заўважае Бруно Латур, мы часта вельмі ахвотна абвяшчаем пытанні, нагружаныя каштоўнасцямі, пытаннямі факту — і даручаем машынам вырашаць іх за нас. Гэта рэдка бывае дарэчы.
Вялікі попыт на размечаныя даныя для навучання з настаўнікам — а менавіта на ім засяроджаны гэты артыкул — звычайна можна задаволіць, толькі ўзяўшы даныя ранейшых рашэнняў. Калі гэтыя гістарычныя даныя адлюстроўваюць існую ў грамадстве непажаданую дыскрымінацыю, то мадэль, навучаная на іх, — па сутнасці машына пошуку падабенстваў — хутчэй за ўсё закадуе тыя самыя заканамернасці і можа ўзнавіць мінулую няроўнасць. Алгарытмы машыннага навучання і павінны адрозніваць элементы даных — дзеля гэтага мы імі і карыстаемся, — але некаторыя логікі адрознення, нават калі яны добра прадказваюць, грамадства не лічыць прымальнымі.
Больш за тое, калі нейкія падгрупы гістарычна прадстаўленыя ў выбарках недастаткова або іх заканамернасці больш складаныя, тонкія ці горш задакументаваныя, чым у іншых, мадэлі могуць працаваць для розных груп з рознай якасцю. Практычна немагчыма мець даныя пра ўсіх людзей, якія б вымяралі ці класіфікавалі ўсе фактары, важныя для нейкай сацыяльнай з’явы. Людзі — ці нейкія бакі іх жыцця — заўсёды выпадаюць. І гэтыя перакосы хутка прасочваюцца ў сістэмы, пабудаваныя на даных.
Перад выкарыстаннем даныя часта яшчэ і чысцяць і пераўтвараюць — і робяць гэта суб’ектыўна. «Канструяванне прыкмет» (feature engineering), калі ўваходныя зменныя пераўтвараюць, каб іх было зручней мадэляваць, моцна ўплывае на тое, як потым паводзіць сябе сістэма машыннага навучання. Пры канструяванні прыкмет адны бакі зменных выходзяць на першы план — праз дапаўненне, агрэгацыю і абагульненне характарыстык, — а іншыя адсоўваюцца ў цень. Напрыклад, калі аб’яднаць прыхільнікаў розных плыняў адной рэлігіі (каталікоў і пратэстантаў, шыітаў і сунітаў) пад агульнай назвай (хрысціяне, мусульмане), можна сцерці адрозненні, якія ў пэўных кантэкстах вельмі важныя для пытанняў справядлівасці і дыскрымінацыі. Калі ж узяць у якасці ўваходнай зменнай стандартнае адхіленне нейкай характарыстыкі, мадэлі стане лягчэй вылучаць адхіленне ад штучна сканструяванай «сярэдняй нормы». Як і з многімі іншымі праблемамі машыннага навучання, палітычны характар такога класіфікавання і сартавання даўно прызнаны. Катэгарызацыя не проста навешвае на людзей ярлыкі — яна можа ствараць групы і змяняць будучыя вынікі, і тое самае ў машынным навучанні можа рабіць канструяванне прыкмет.
Несправядлівасць ад выбару і наладкі сістэмы
Людзі нясуць з сабой свой светапогляд і на працягу ўсяго працэсу мадэлявання робяць выбары, нагружаныя каштоўнасцямі, — з наступствамі, якія можна і якія нельга прадбачыць. Хоць машыннае навучанне часта падаюць як нешта аўтаматычнае, у праектаванне і ўкараненне сістэм уваходзіць вельмі шмат суб’ектыўнай чалавечай працы. Палітычным можа быць ужо сам выбар мадэлі. Нейронныя сеткі ці выпадковыя лясы лепш, чым лінейная рэгрэсія, улоўліваюць узаемадзеянне паміж зменнымі; рэгрэсія ж можа, напрыклад, згубіць важныя кантэкстныя адрозненні. У межах аднаго сямейства мадэляў трэба задаць яшчэ і гіперпараметры. Больш высокія параметры рэгулярызацыі штрафуюць мадэль за складанасць — гэта можа дапамагчы ёй лепш абагульняць, але цаной таго, што пэўныя складаныя ці рэдкія заканамернасці не захаваюцца. Розныя спосабы ацэнкі мадэляў падкрэсліваюць розныя бакі іх якасці. На жаль, «нейтральных» выбараў у сістэмах машыннага навучання не бывае: тое, што прэтэндуе на гэтую ролю, — напрыклад, налады праграм па змаўчанні, — лепш лічыць адвольным.
Нарэшце, калі мадэль ужо пабудаваная, яе можна ўкараніць на практыцы рознымі спосабамі, і кожны можа прынесці новыя праблемы са справядлівасцю. Тое, наколькі па-рознаму мадэль уплывае на розныя групы, можа стаць відавочным толькі тады, калі яе ўключаць у сістэму прыняцця рашэнняў: напрыклад, тое, дзе праведзены парогі для станоўчых і адмоўных вынікаў, можа мець для розных груп сур’ёзныя наступствы, якіх не ўбачыш, вывучаючы саму мадэль. Акрамя таго, алгарытмічная сістэма можа даваць падманлівае абгрунтаванне рашэнням, якія пры чыста чалавечым працэсе было б значна прасцей аспрэчыць.
Як і ў выпадку любой сацыятэхнічнай праблемы, нагружанай каштоўнасцямі, нельга чакаць простых ці ўніверсальных панацэй. Нам застаецца шматслаёвы і нескладны набор прыёмаў, каб вызначаць, вырашаць і ўтрымліваць пад кантролем гэтыя складаныя выклікі. Гэты артыкул наводзіць аб’ектыў на адзін кавалак праблемы: як выпраўляць патэнцыйна несправядлівыя заканамернасці ў наборах даных, што трапляюць у мадэляванне і прыняцце рашэнняў, — у практычных, а не тэарэтычных сітуацыях машыннага навучання. Мы засяроджваемся на сітуацыях, калі тыя, хто праектуе і ўкараняе такія сістэмы, самі хочуць пазбегнуць прадузятасці — з меркаванняў рэгулявання і рэпутацыі, — а не на канфліктных сітуацыях, калі знешнія даследчыкі імкнуцца выявіць прадузятасць насуперак волі арганізацый, якія вядуць аналіз. Абмеркаванне таго, ці дазваляе еўрапейскае заканадаўства даследаваць алгарытмічныя сістэмы, можна знайсці ў артыкуле Ліліян Эдвардс і Майкла Віла 2017 года.
Ці можна статыстычна «ачысціць» даныя і алгарытмы ад прадузятасці?
У апошнія гады даследчыя супольнасці — такія як «інтэлектуальны аналіз даных з улікам дыскрымінацыі» (discrimination-aware data mining, DADM) і «справядлівасць, падсправаздачнасць і празрыстасць у машынным навучанні» (fairness, accountability and transparency in machine learning, FATML) — прапанавалі вылічальныя метады, каб машыннае навучанне не ўзнаўляла такія формы прадузятасці. Гэтыя метады мяняюць звычайныя працэсы працы з данымі так, каб выправіць прадузятасць. Умяшацца можна на некалькіх этапах: пры папярэдняй апрацоўцы даных, падчас навучання і пры апрацоўцы вынікаў. У кожным выпадку мэта адна — атрымаць заканамернасці, якія не вядуць да дыскрымінацыйных рашэнняў, нават калі ў навучальных даных прадузятасць ёсць.
Асабліва моцна супольнасці DADM і FATML натхняла антыдыскрымінацыйнае права: яны спрабавалі фармалізаваць яго патрабаванні, каб увасобіць іх матэматычна. Напрыклад, эўрыстыкі накшталт «правіла 80%» амерыканскай Камісіі па роўных магчымасцях у працаўладкаванні, якое задае арыенцір дапушчальнага разрыву паміж абароненымі групамі і насельніцтвам у цэлым, выкарыстоўвалі, каб выстаўляць параметры мадэляў з улікам справядлівасці. У Еўропе недыскрымінацыя і абарона даных — правы, замацаваныя ў Хартыі Еўрапейскага Саюза аб асноўных правах, і абодва, магчыма, датычаць рызык несправядлівасці, уласцівых прымяненню машыннага навучання. Пункт 71 прэамбулы Агульнага рэгламенту ЕС па абароне даных (GDPR) асобна згадвае тэхналогіі інтэлектуальнага аналізу даных з улікам справядлівасці і арганізацыйныя меры.
Фармальна вызначыць справядлівасць у машынным навучанні можна па-рознаму. Большасць мер засяроджаныя на розніцы ў абыходжанні з абароненымі і неабароненымі групамі, але і саму розніцу ў выніках можна вымяраць па-рознаму. Сярод такіх мер — «неаднолькавы ўплыў» (disparate impact), або «статыстычны (дэмаграфічны) парытэт», які параўноўвае, як часта сістэма адносіць да таго ці іншага класа прадстаўнікоў розных груп. (У гэтай меры ёсць відавочныя недахопы: яе крытыкуюць за тое, што яна не ўлічвае розніцы, якую можна растлумачыць законнымі падставамі. Напрыклад, калі ў сістэмах прагназавання рэцыдыву прымусова выраўноўваць вынікі для мужчын і жанчын, а мужчыны часцей здзяйсняюць паўторныя злачынствы, жанчыны могуць заставацца ў турме даўжэй, хоць верагоднасць рэцыдыву ў іх меншая.) Далей — «роўнасць дакладнасці», якая параўноўвае агульную дакладнасць прагнастычнай мадэлі для кожнай групы; «умоўная роўнасць дакладнасці», якая параўноўвае дакладнасць мадэлі для кожнай групы асобна для кожнага прадказанага класа; «роўнасць магчымасцей», якая правярае, ці аднолькава верагодна для кожнай групы атрымаць прагноз пажаданага выніку з улікам рэальных базавых узроўняў у гэтай групе; і «неаднолькавае памылковае абыходжанне» (disparate mistreatment) — вытворная ад папярэдняй мера, якая параўноўвае долю ілжывапазітыўных вынікаў у розных групах. Іншыя меры глядзяць не толькі на фактычныя вынікі і іх суадносіны з сапраўды і ілжыва пазітыўнымі ці негатыўнымі, але і на контрфактычныя сцэнары, у якіх члены абароненых груп апынаюцца членамі неабароненай: напрыклад, жанчына, якую класіфікуе сістэма, павінна атрымаць тую ж класіфікацыю, што атрымала б, калі б была мужчынам.
Кожная з гэтых мер — цалкам разумны спосаб вымяраць справядлівасць. Таму можна было б спадзявацца, што справядлівая сістэма задаволіць іх усе. Але, на жаль, нядаўнія працы фармальна даказалі, што мадэль не можа задаволіць некалькі з іх адначасова — за выключэннем асаблівых выпадкаў, якія ў рэальным свеце наўрад ці сустракаюцца. Таму паміж рознымі мерамі давядзецца выбіраць. У адных выпадках важней сачыць за розніцай у станоўчых рашэннях (напрыклад, пры разглядзе заявак на крэдыт), і тады лепш падыдзе мера «роўнасці магчымасцей»; у іншых даражэй абыходзіцца ілжываадмоўны вынік (напрыклад, калі ацэньваецца рызыка, якую жорсткі злачынец можа ўяўляць для грамадства). Такім чынам, выбар канкрэтнай меры справядлівасці павінен залежаць ад кантэксту.
Калі адкласці гэтыя праблемы вызначэння ўбок, машыннае навучанне з улікам справядлівасці ўсё часцей лічаць пажаданым, жыццяздольным, а ў некаторых выпадках нават рэкамендаваным ці абавязковым паводле закона. Аднак застаецца важная праблема. Каб гэтыя метады спрацавалі, трэба ведаць пра магчымыя карэляцыі паміж прыкметамі ў навучальных даных і абароненымі прыкметамі, якімі займаюцца антыдыскрымінацыйнае права і права абароны даных. На практыцы гэтая ўмова выконваецца не заўсёды — а часам яе і непажадана выконваць.
Чаму веды пра абароненыя прыкметы адначасова неабходныя і праблемныя
Каб зразумець, чаму веды пра абароненыя прыкметы неабходныя, карысна разгледзець, чаму не працуюць некаторыя наіўныя спосабы прыбраць прадузятасць з мадэлявання. Можна было б проста выдаліць з навучальных даных усе адчувальныя зменныя, звязаныя з дыскрымінацыяй, — узрост, пол, расу ці рэлігію. На жаль, гэта не гарантуе, што мадэлі, навучаныя на такіх даных, не будуць дыскрымінаваць: у даных могуць быць нейтральныя на выгляд элементы, якія пры пэўных умовах цесна карэлююць з адчувальнымі прыкметамі. Калі такой адчувальнай проксі-прыкметай служыць геаграфія, з’яву называюць «рэдлайнінгам» (redlining). У больш шырокім сэнсе гэта праблема дубляванага кадавання (redundant encoding).
Каб выявіць рэдлайнінг у навучальных даных, трэба мець магчымасць высветліць, ці не закадаваныя адчувальныя прыкметы ў іншых, на першы погляд бяскрыўдных. Напрыклад, каб даведацца, ці карэлююць паштовыя індэксы ў наборы даных, скажам, з расай, давядзецца або мець расу як прыкмету ў самім наборы, або валодаць дадатковымі ведамі пра дэмаграфію адпаведных раёнаў (напрыклад, з даных перапісу). Прапанаваныя падыходы да недыскрымінацыйнага машыннага навучання мяркуюць, што той, хто ўжывае метад, мае доступ да адчувальных прыкмет, якія могуць быць закадаваныя. Такі доступ неабходны, каб пераканацца, што мадэль з вылічальнага пункту гледжання не дыскрымінуе.
Аднак у многіх выпадках арганізацыі, якія ўкараняюць машыннае навучанне, такога доступу не маюць — і часта па цалкам законных прычынах.
Па-першае, збор персанальных даных непазбежна стварае рызыкі для прыватнасці. Многія арганізацыі засвоілі запаведзь рэгулятараў і абаронцаў прыватнасці: збіраць толькі тыя даныя, якія патрэбныя для іх мэтаў. Прынцыпы мінімізацыі даных і абмежавання мэты ў GDPR павінны не дапускаць збору і апрацоўкі даных для нявызначаных ці непрапарцыйных мэтаў. Больш за тое, абароненыя прыкметы, пра якія ідзе гаворка ў справах аб дыскрымінацыі, нясуць большыя рызыкі для прыватнасці і абароны даных, чым іншыя віды даных, і карыстаюцца асаблівай аховай і ў GDPR, і ў іншых законах. Ідэя, што арганізацыі павінны збіраць шырокі спектр адчувальных даных, якія ім непасрэдна не патрэбныя для асноўных мэтаў, супярэчыць гэтай агульнай запаведзі. І ўсё ж машыннае навучанне з улікам справядлівасці, здаецца, патрабуе ад арганізацый менавіта гэтага — каб яны маглі належным чынам правяраць і выпраўляць свае мадэлі. (Некаторыя даследчыкі даводзяць, што лепш кіраваць гэтымі пытаннямі дапамог бы прынцып не «мінімізацыі» даных, а іх «мінімуму». У пэўным сэнсе і існае рэгуляванне можна прачытаць праз такую оптыку, але тлумачэнне тэксту закона — не тэма гэтага артыкула.)
Мы не ставім тут мэты разабрацца, наколькі права і добрыя практыкі ў сферы прыватнасці і абароны даных па сутнасці супярэчаць збору і апрацоўцы адчувальных прыкмет дзеля машыннага навучання з улікам справядлівасці. Магчыма, збор і апрацоўка з такой мэтай законныя; але і тады яны могуць быць непажаданымі. Яны патрабавалі б ад суб’ектаў даных дзяліцца адчувальнымі прыкметамі разам з неадчувальнымі кожны раз, калі іх даныя ідуць на навучанне мадэлі. У выніку ў руках кантралёраў даных апынулася б значна больш адчувальных даных — а гэта рызыка для бяспекі, нават калі мэта законная: пазбегнуць дыскрымінацыйных вынікаў. Нават калі арганізацыям дазволена збіраць і апрацоўваць такія даныя, патрабаванне, каб кліенты іх падавалі, можа зрабіць паслугу менш канкурэнтназдольнай ці менш вартай даверу. Калі мадэль будуецца дзеля нейкай вузка акрэсленай мэты, арганізацыі могуць не бачыць патрэбы збіраць адчувальныя даныя. А ў рэжыме мінімізацыі даных кантралёр мусіць абгрунтаваць, што збор і апрацоўка асаблівых катэгорый даных прапарцыйныя, — і стымулаў рабіць гэта ў яго можа не хапаць. Калі людзі баяцца, што з імі абыходзяцца несправядліва, збор адчувальных даных той самай арганізацыяй — нават адкрыта дзеля выпраўлення несправядлівасці — можа гэты страх не развеяць. Ён можа нават яго ўзмацніць.
Былі прапановы пераўтвараць навучальныя даныя з дапамогай працэдур ананімізацыі, каб абараніць адчувальныя прыкметы. Гэта можна рабіць разам з метадамі папярэдняй апрацоўкі, якія прадухіляюць дыскрымінацыю. Падыход перспектыўны, але ён усё роўна патрабуе ўсебакова збіраць у людзей з навучальнай выбаркі адчувальныя прыкметы — для кожнай формы дыскрымінацыі, якую хочуць змякчыць. Нягледзячы на сур’ёзныя гарантыі прыватнасці, апісаныя вышэй засцярогі, хутчэй за ўсё, застаюцца ў сіле. Людзі наўрад ці будуць рады аддаваць поўны набор сваіх адчувальных асабістых даных якраз тым арганізацыям, якія маюць магчымасць іх дыскрымінаваць, — як бы тэхнічна надзейна ні была ўладкаваная ананімізацыя.
Тры падыходы: як ацэньваць і павышаць справядлівасць, калі даных мала
Арганізацыям, якія распрацоўваюць сістэмы машыннага навучання, патрэбныя стратэгіі, каб змякчаць рызыкі дыскрымінацыі без адчувальных даных. Задача ў тым, каб ужываць метады накшталт апісаных вышэй, не ўзвальваючы на сябе дадатковы цяжар і рызыку збору падрабязных адчувальных даных пра навучальную выбарку.
Мы прапануем тры альтэрнатыўныя падыходы. Першы заснаваны на мадэлі кіравання данымі з удзелам некалькіх бакоў і падыходзіць для кантэкстаў, дзе фонавых ведаў пра дыскрымінацыю мала і патрэбная ўсебаковая ацэнка магчымых яе формаў. Другі — сумесны абмен ведамі: арганізацыі могуць вучыцца на досведзе адна адной у падобных кантэкстах, а таксама на вядомых сацыялагічных і дэмаграфічных карэляцыях. Трэці — даследчы аналіз, які дазваляе будаваць гіпотэзы пра магчымыя несправядлівыя ўласцівасці даных ці сістэмы; потым гэтыя гіпотэзы можна больш фармальна праверыць у межах працэдуры належнай руплівасці (due diligence).
Мы не сцвярджаем, што гэтыя тры метады дасканалыя ці што яны даюць поўныя рашэнні або гарантыі для мноства праблем вакол сістэм машыннага навучання. Мы сцвярджаем іншае: гэта шляхі, якія важна даследаваць, каб больш справядлівае машыннае навучанне стала практычнай рэальнасцю ў мностве сітуацый, дзе ў бліжэйшыя гады і дзесяцігоддзі ў нашым грамадстве будуць прымацца аўтаматычныя і паўаўтаматычныя рашэнні.
Давераныя трэція бакі, якія захоўваюць абароненыя прыкметы
Ужо прагучала нямала прапаноў прыцягваць знешнія бакі да ацэнкі і аўдыту алгарытмічных сістэм. Некаторыя з іх адлюстраваныя ў законе. Артыкул 35 GDPR абавязвае арганізацыі праводзіць «ацэнку ўздзеяння на абарону даных» кожны раз, калі «прафайлінг» выкарыстоўваецца для аўтаматычных рашэнняў, якія маюць юрыдычныя ці іншыя істотныя наступствы для суб’ектаў даных. У некаторых выпадках такія ацэнкі можа правяраць орган па абароне даных (пункт 84 прэамбулы). Пры большасці падыходаў да кіравання знешнія аўдытары атрымліваюць доступ да палітык арганізацыі, яе персаналу, працэдур збору даных, навучальных даных, мадэляў, закрытага кода і іншых важных бакоў справы, каб ацаніць этычны бок і законнасць пэўнай алгарытмічнай сістэмы.
Такая мадэль мяркуе, што ўся інфармацыя, патрэбная для аўдыту, знаходзіцца ў руках арганізацыі, якую правяраюць. Як мы паказалі вышэй, гэта можа быць не так — і тады знешні аўдыт не здольны забяспечыць тую алгарытмічную справядлівасць, да якой імкнуцца метады DADM і FATML.
Усё магло б быць інакш, калі б давераных трэціх бакоў (давераных пасярэднікаў) прыцягвалі працаваць разам з арганізацыямі з самага пачатку збору даных. Гэтую прапанову можна ажыццявіць пры розных інстытуцыйных і тэхнічных уладкаваннях. Ніжэй мы апісваем некалькі магчымых варыянтаў.
Першы бок (арганізацыя, якая ўкараняе алгарытмічную сістэму прыняцця рашэнняў) мае доступ да гістарычных даных, звязаных з задачай класіфікацыі ці прагназавання, для якой будуецца мадэль. Аднак першы бок не мае — і не павінен мець — доступу да абароненых прыкмет людзей, на даных якіх навучаецца мадэль.
Як ужо гаварылася, каб статыстычна праверыць мадэль на магчымую дыскрымінацыю, абароненыя прыкметы трэба неяк звязаць з запісамі ў навучальных даных. Для гэтага прыцягваецца давераны трэці бок, які збірае даныя пра абароненыя прыкметы людзей, чые даныя ідуць на навучанне мадэлі. Для кожнага чалавека трэці бок збірае такія абароненыя прыкметы, як раса, пол, рэлігійныя перакананні ці стан здароўя, — паралельна з тым, як збіраюцца неабароненыя прыкметы. Канал, па якім гэтая інфармацыя ідзе ад чалавека да трэцяга боку, можа залежаць ад платформы (інтэрнэт, тэлефон ці асабістая сустрэча). Гэта можа быць асобная працэдура збору — хоць такое можа аказацца грувасткім, — а можна шыфраваць даныя адначасова і непрыкметна для чалавека ў момант збору (напрыклад, лакальна ў браўзеры праз JavaScript — для гэтага ёсць рэкамендаваны кансорцыумам W3C стандарт Web Cryptography API) адкрытым ключом трэцяга боку і ў такім выглядзе перадаваць іх арганізацыі. (Тут можна было б ужыць шэраг рашэнняў для камунікацыі з захаваннем прыватнасці, але мы не разглядаем арганізацыю, якая будуе мадэль, як зламыснага праціўніка: апісаныя метады маюць на ўвазе арганізацыі, якія самі імкнуцца павысіць давер і зменшыць дыскрымінацыйныя вынікі.)
Разгледзім такі ўмоўны прыклад.
Страхавая кампанія хоча выкарыстоўваць мадэль машыннага навучання, каб вызначаць памер страхавых узносаў для кліентаў. У яе ёсць гістарычныя даныя пра кліентаў, і на іх яна навучае мадэль прадказваць, на якую суму кампенсацый кліент падасць патрабаванні за час дзеяння поліса пры пэўных прыкметах (напрыклад, паштовым індэксе, прафесіі, кваліфікацыі). Ацэненая велічыня магчымай выплаты — вынік працы мадэлі — аўтаматычна вызначае памер узносу.
Страхоўшчык прыцягвае іншую арганізацыю (напрыклад, групу па абароне правоў спажыўцоў), каб тая адначасова збірала абароненыя прыкметы кожнага кліента, калі ён купляе поліс. Пры куплі праз інтэрнэт кліента перанакіроўваюць на сайт групы па абароне правоў спажыўцоў і просяць паказаць абароненыя прыкметы дзеля прадухілення дыскрымінацыі.
На аснове такой мадэлі кіравання данымі з удзелам некалькіх бакоў можна дзейнічаць па-рознаму — у залежнасці ад таго, ці мэта толькі выявіць прадузятасць або і выявіць, і прадухіліць яе, а таксама ад таго, якімі метадамі яе прадухіляць (папярэдняй апрацоўкай, апрацоўкай падчас навучання ці пасляапрацоўкай). Ніжэй мы апісваем некалькі магчымых варыянтаў і абмяркоўваем іх перавагі і недахопы.
Варыянт 1: трэці бок выяўляе неаднолькавы ўплыў пастфактум
Калі адзіная роля трэцяга боку — выяўляць дыскрымінацыю (але не прадухіляць яе), яму дастаткова збіраць абароненыя прыкметы кожнага чалавека з набору даных, на якім мадэль навучаюць (і тэстуюць), разам з ідэнтыфікатарам. Запісы, якія першы бок захоўвае для навучання мадэлі, можна звязаць праз гэты ідэнтыфікатар з запісамі трэцяга боку, дзе ляжаць абароненыя прыкметы. Трэці бок атрымлівае доступ да мадэлі, распрацаванай першым бокам (наўпрост ці праз праграмны інтэрфейс, API). Правяраючы, што мадэль выдае для кожнага чалавека з яго набору адчувальных прыкмет (па ідэнтыфікатары), трэці бок можа выявіць неаднолькавы ўплыў.
Перавага гэтага варыянта ў тым, што трэці бок мае доступ толькі да адчувальных прыкмет, а не да тых, што, магчыма, адчувальнымі не з’яўляюцца. Паколькі кожны запіс змяшчае толькі адчувальныя прыкметы і ідэнтыфікатар, рызыка для прыватнасці меншая: самі даныя адчувальныя, але без іншых тыпаў даных паўторна ідэнтыфікаваць чалавека цяжэй. Гэта можа быць выгадна і першаму боку, які хоча захаваць у таямніцы сваю ўласную мадэль: даказана, што неабмежаваны доступ да інтэрфейсу запытаў прагнастычнай мадэлі дазваляе зламысніку выцягнуць і рэканструяваць мадэль. У нашым выпадку трэці бок мог бы неабмежавана запытваць мадэль па ідэнтыфікатарах людзей і такім чынам даведацца, як размеркаваныя яе адказы для кожнай абароненай прыкметы, але не змог бы ўзнавіць мадэль адваротнай распрацоўкай без доступу да іншых, неабароненых прыкмет.
Недахоп гэтага варыянта ў тым, што першы бок атрымлівае толькі сведчанні пра неаднолькавы ўплыў сваёй мадэлі. Неаднолькавы ўплыў — грубая мера дыскрымінацыі, бо некаторыя разрывы могуць быць «вытлумачальнымі»: іх можна растлумачыць прыкметамі, якія з’яўляюцца законнай падставай для рознага абыходжання. Акрамя таго, вымярэння неаднолькавага ўплыву можа не хапіць, каб першы бок рэальна змяніў мадэль і зрабіў яе недыскрымінацыйнай. Напрыклад, каб прыбраць прадузятасць з навучальных даных, першы бок павінен ведаць, якія элементы даных перамаркіраваць, падкарэктаваць ці перазважыць, — гэта значыць ведаць абароненыя прыкметы канкрэтных людзей, якіх у яго няма. Шырэй кажучы, не маючы магчымасці праверыць, ці не дублююцца абароненыя прыкметы ў неабароненых, першаму боку будзе цяжка перагледзець сваю мадэль.
І ўсё ж ужо сама магчымасць выявіць неаднолькавы ўплыў можа быць каштоўнай: трэція бакі змогуць сігналізаваць пра праблемы, а потым іх можна вырашаць, даючы першаму боку доступ да неабходных дадатковых даных, каб той даследаваў і адпаведна перарабіў мадэль. Калі аддзяліць выяўленне неаднолькавага ўплыву ад яго прадухілення, можна пазбегнуць лішняга абмену адчувальнымі прыкметамі і дазволіць трэцяму боку весці пастаянны маніторынг.
Варыянт 2: трэці бок загадзя змякчае дыскрымінацыю
Іншы варыянт — трэці бок збірае і абароненыя прыкметы, і астатнія прыкметы, на якіх навучаецца мадэль. Тады яго роля стане значна большай: ён не толькі выяўляе неаднолькавы ўплыў у выніках мадэлі, але і дапамагае ўстанавіць, ці вынікаюць разрывы з неаднолькавага памылковага абыходжання (гэта значыць ці нельга іх растлумачыць законнымі прычынамі), а таксама дапамагае зрабіць мадэль вольнай ад прадузятасці.
Трэці бок як дэтэктар рэдлайнінгу
Пры такім падыходзе ў трэцяга боку ёсць і адчувальныя, і, магчыма, неадчувальныя прыкметы, і ён прапускае іх праз агульную методыку, каб атрымаць зводную інфармацыю, якая пазначае відавочныя праблемы, што могуць узнікнуць пры пабудове мадэлі. Атрымаўшы ачышчаны набор даных, трэці бок вылічвае і вяртае пералік дубляваных кадаванняў і іх сілы. У такім дакуменце можа быць напісана, што «раса карэлюе з паштовым індэксам на 0,8», «пол карэлюе з пэўнымі аспектамі прафесіі на 0,2» і гэтак далей. Першы бок мог бы выкарыстаць гэтыя веды, каб ісці на кампрамісы ў мадэлі: выдаліць пэўныя прыкметы ці абмеркаваць з трэцім бокам, як вычысціць з мадэлі непажаданыя карэляцыі.
Вядома, у такой методыкі могуць быць хібы, праз якія яна не падыдзе для некаторых тыпаў даных ці задач, асабліва моцна залежных ад кантэксту. Але такі падыход стварыў бы кропку прыцягнення для ўдасканалення метадаў выяўлення дыскрымінацыі ў пэўных кантэкстах і для пэўных тыпаў даных — а гэта падштурхнула б жывое абмеркаванне лепшых практык і працэдур, якія адносна лёгка перанесці ў штодзённую працу.
Трэці бок як апрацоўшчык даных
Пры іншым падыходзе трэці бок загадзя апрацоўвае навучальныя даныя так, каб захаваць ананімнасць і прыбраць прадузятасць, і толькі потым перадае іх першаму боку. Для гэтага даныя можна змяніць, каб забяспечыць пэўную ступень ананімнасці (метадамі накшталт статыстычнага кантролю раскрыцця і інтэлектуальнага аналізу даных з захаваннем прыватнасці, якія дазваляюць захаваць статыстычныя ўласцівасці даных), а потым ужыць адзін з метадаў барацьбы з прадузятасцю, апісаных у літаратуры DADM і FATML. (Шмат хто з даследчыкаў цяпер шукае, як перанесці частку навучання мадэляў з воблачных сервераў на прыладу самога карыстальніка, каб павысіць прыватнасць, — з дапамогай такіх матэматычных інструментаў, як гамаморфнае шыфраванне ці доказы з нулявым разгалошваннем; як убудаваць справядлівасць у такія больш дэцэнтралізаваныя сістэмы — тэма для будучых даследаванняў.) На гэтым этапе можна было б нават, калі гэтага захочуць, увесці пазітыўную дыскрымінацыю — спосабы, як гэта зрабіць, ужо прапанаваныя. Як ужо гаварылася, нядаўна прапанаваныя метады дазваляюць зрабіць набор даных адначасова k-ананімным і недыскрымінацыйным за адну працэдуру з невялікай стратай дакладнасці. Пераўтварыўшы даныя так, каб павысіць прыватнасць і прыбраць прадузятасць, трэці бок можа перадаць іх першаму боку для распрацоўкі мадэлі.
Перавага гэтага варыянта ў тым, што першы бок можа распрацоўваць якую заўгодна мадэль, не рызыкуючы, што яна засвоіць прадузятасць з навучальных даных. Ён таксама абмяжоўвае ўдзел трэцяга боку адным крокам, пасля якога даныя можна выдаліць. Нарэшце, ён спрыяе таму, каб у спецыялізаванага трэцяга боку назапашваўся вопыт, і не патрабуе, каб першы бок сам разбіраўся ў машынным навучанні з улікам справядлівасці. Недахоп падыходу ў тым, што метады ананімізацыі даюць толькі пэўную (вымерную) ступень ананімнасці. Паміж ступенню ананімнасці і карыснасцю набору даных ёсць відавочны кампраміс, так што карысныя наборы, хутчэй за ўсё, усё роўна будуць несці рызыку паўторнай ідэнтыфікацыі. Наколькі гэтыя рызыкі захоўваюцца, настолькі першы бок пры гэтым варыянце можа даведацца пра адчувальныя прыкметы людзей больш, чым пры іншых.
Хто мог бы стаць трэцім бокам?
Дагэтуль мы проста меркавалі, што адпаведны давераны трэці бок існуе, але варта падумаць, якія арганізацыі маглі б выконваць гэтую ролю. Хутчэй за ўсё, гэта залежыць ад таго, які варыянт абраны. Да кожнага могуць быць розныя патрабаванні наконт надзейнасці, тэхнічнай кампетэнцыі і стымулаў. Калі роля трэцяга боку — толькі выяўляць неаднолькавы ўплыў, тэхнічнай кампетэнцыі трэба адносна няшмат, і гэта пасуе арганізацыям з меншымі рэсурсамі і тэхнічнымі навыкамі. Неаднолькавы ўплыў і так у цэнтры даследчай працы многіх грамадскіх арганізацый, і таму яны могуць быць добрымі кандыдатамі на гэтую ролю. У многіх меншасцей, якія могуць ад такіх сістэм пацярпець, ужо ёсць актыўныя прадстаўнікі, якім была б карысная больш фармальная роля ў аўдыце. У залежнасці ад кантэксту прымянення можа быць дарэчы прыцягваць розныя арганізацыі: напрыклад, прафсаюзы маглі б лепш за іншых ацэньваць справядлівасць алгарытмічных мадэляў, якія выкарыстоўваюцца ў кадравых рашэннях.
Калі ж трэці бок павінен загадзя змякчаць дыскрымінацыю, яму давядзецца збіраць больш даных і мець асаблівую кампетэнцыю ў метадах з улікам справядлівасці. Таму гэта, напэўна, павінна быць спецыялізаваная арганізацыя — магчыма, у супрацы з адпаведнымі грамадскімі арганізацыямі. Можна чакаць, што такія паслугі карпаратыўным кліентам будуць аказваць кансалтынгавыя ці аўдытарскія фірмы — як яны ўжо робяць з іншымі формамі сацыяльнага аўдыту. (Некаторыя кансалтынгавыя кампаніі ўжо прапануюць паслугі ў гэтай сферы — напрыклад, Trilateral Research ці ORCAA.)
Яшчэ адзін варыянт — органы, створаныя законам або каралеўскай хартыяй, у кампетэнцыю якіх уваходзіць назіранне за дыскрымінацыяй, спрыянне роўнасці ці праваахова. Напрыклад, Камісія па пытаннях роўнасці і правоў чалавека ў Вялікабрытаніі ці Камісія па роўных магчымасцях у працаўладкаванні ў ЗША — гэта органы, якія паводле закона адказваюць за выкананне заканадаўства пра роўнасць. Традыцыйна яны разглядаюць асобныя справы для судовага пераследу, аказваюць юрыдычную дапамогу і ўмешваюцца ў судовыя працэсы, але маглі б узяць на сябе і больш пастаянны маніторынг дыскрымінацыі, звязанай з данымі, — на аснове даных. Дапамагчы тут маглі б і органы, бліжэйшыя да кіравання данымі, — такія як Нацыянальная лічбавая рада Францыі (Conseil national du numérique) ці орган апекі над данымі, які нядаўна прапанавалі стварыць Каралеўскае таварыства і Брытанская акадэмія. Дзяржаўныя API-сістэмы накшталт GOV.UK Verify, дзе дзяржава сертыфікуе кампаніі, якія аказваюць іншым паслугі праверкі асобы, таксама маглі б стаць асновай, праз якую аўдытары запытвалі б даныя пра абароненыя прыкметы ў давераных органаў.
Базы ведаў пра справядлівасць у даных і мадэлях
Практычны досвед стварэння этычных алгарытмічных сістэм — ці спроб іх стварыць — супольнасці DADM і FATML у асноўным абыходзілі ўвагай. Так утварыўся немалы прабел у ведах, які, на нашу думку, мае праблемныя наступствы на практыцы. І такая няўвага здзіўляе па некалькіх прычынах.
Інструменты кіравання данымі ўсё больш зрушваюцца ў бок прадухілення і прадбачання шкоды загадзя — асабліва праз ацэнкі ўздзеяння на абарону даных і на прыватнасць, — і таму спадзявацца толькі на аналіз несправядлівасці ўнутры даных выглядае не проста як нешта, што супярэчыць практычным патрабаванням рэгулявання: гэта можна назваць нават парадаксальным. Ва ўсякім разе праблемна, калі даныя трэба спачатку звязаць, а сістэму навучыць, каб вырашыць, ці варта наогул рабіць і тое, і другое. Многія арганізацыі юрыдычна ці практычна не могуць пачаць ніякай працы з данымі — нават базавага доступу, ачысткі, звязвання ці агляду, — пакуль не пройдзены гэты этап. А падыходы DADM і FATML часта моўчкі мяркуюць, што ўсе інгрэдыенты для інструмента ўжо на стале і застаецца толькі вырашыць, ці ўкараняць яго.
Машыннае навучанне — тэхналогія ўніверсальная, з галіновымі прымяненнямі. Сярод гучных і вельмі адказных сфер — прагназаванне геаграфіі злачыннасці, ацэнка таго, ці патрэбная дзецям абарона, і выяўленне падатковага махлярства. Некаторыя этычныя праблемы спецыфічныя для галіны ці нават месца, але іншыя, хутчэй за ўсё, агульныя. Самыя праблемныя пытанні могуць узнікаць толькі зрэдку, і таму іх цяжэй улавіць аналізам унутры даных.
Абмежаванае ўкараненне тэхналогій DADM і FATML і недахоп навучання ім пагражаюць нашай здольнасці спраўляцца з надзённымі праблемамі сённяшніх сістэм машыннага навучання. Хоць у гэтай даследчай галіны ўжо ёсць пэўная гісторыя, зручных праграмных бібліятэк амаль няма, а навучання — мала. Улічваючы, што сёння ў праграмах па інфарматыцы практычнай этыкі амаль не выкладаюць, хуткіх зменаў наўрад ці варта чакаць. Вельмі патрэбная хоць нейкая часовая латка.
Дыягнаставаць і вырашаць сацыяльныя і этычныя праблемы ў сістэмах машыннага навучання — задача, якая можа патрабаваць вялікіх рэсурсаў, і яе цяжка спланаваць і выканаць у адзіночку ці з нуля. Этычныя праблемы — ці прыдатныя метады іх вырашэння — могуць хавацца ў тых аспектах задуманай сістэмы, якія лёгка выпусціць з-пад увагі: у гіперпараметрах, у структуры мадэлі, у асаблівасцях фарматавання ці ачысткі даных. Некаторыя праблемы могуць браць пачатак не ў мадэлях ці даных, а ў сацыяльным, культурным і інстытуцыйным кантэксце вакол іх. Такія з’явы, як прадузятасць да аўтаматыкі (automation bias), калі людзі давяраюць сістэмам падтрымкі рашэнняў занадта моцна ці занадта слаба, могуць быць сумесным вынікам і мадэлі, і карыстальніцкага інтэрфейсу. Іншыя праблемы могуць паходзіць з мадэлі, а вырашацца — у іншым месцы. Напрыклад, калі крыўду ад несправядлівасці асабліва цяжка выявіць ці прадбачыць, могуць спатрэбіцца лепшыя каналы, праз якія тыя, пра каго прымаюцца рашэнні, змогуць даваць зваротную сувязь тым, хто іх прымае. На такія пытанні можа не быць універсальных адказаў, але і разглядаць іх кожны раз нанова, як упершыню, наўрад ці трэба.
Праблемы зменлівых сукупнасцей даных і карэляцый у працах DADM і FATML пакуль недаацэненыя, і іх, здаецца, цяжка цалкам вырашыць аналізам унутры даных. Дрэйф паняццяў, або зрух набору даных, — гэта рэальныя ці віртуальныя (выкліканыя іншай выбаркай) змены ўмоўных размеркаванняў уваходаў і выхадаў мадэлі: напрыклад, тое, як змены ў законе могуць якасна паўплываць на склад вязняў ці на стратэгіі махляроў. Справядлівасць і празрыстасць — не нерухомыя, а рухомыя мішэні, і важна, каб яны заставаліся надзейнымі. Але прадбачыць змены тэхнічна складана. Веды пра тэмп і прычыны змен могуць быць няяўнымі, і таму трэба старанна думаць, як лепш выкарыстаць меркаванні экспертаў. Асабліва цяжка вывучаць гэтыя з’явы, калі змены тонкія — ці нават самі выкліканыя папярэднімі рашэннямі, прынятымі з дапамогай машыннага навучання. Важная роля экспертаў у прадметнай галіне ў будучыні — тлумачыць і фіксаваць, як і чаму ўзнікаюць пэўныя віды дрэйфу паняццяў, а не толькі дапамагаць іх выяўляць.
Практычны бок базы ведаў пра справядлівасць
Улічваючы ўсё сказанае, мы прапануем стварыць структураваны рэсурс даных, які развівала б сама супольнасць і які збіраў бы практычны досвед справядлівага машыннага навучання і мадэлявання. Ён мог бы быць карысны і тады, калі адчувальных даных проста няма, і шырэй — сам па сабе. Такі анлайн-рэсурс дазволіў бы распрацоўшчыкам мадэляў запісваць свой досвед сутыкнення з праблемнымі карэляцыямі і дубляваным кадаваннем пры мадэляванні пэўных з’яў, а таксама з шырэйшымі сацыятэхнічнымі этычнымі праблемамі (такімі як інтэрпрэтаванасць, надзейнасць і прадузятасць да аўтаматыкі), і апісваць рашэнні і падыходы, якімі яны карысталіся ці спрабавалі іх выправіць. Ён мог бы працаваць па адносна адкрытай мадэлі, заснаванай на даверы, як Вікіпедыя, або мець «брамнікаў» — напрыклад, НДА ці галіновых рэгулятараў, — якія правяралі б унёскі і, дзе магчыма ці пажадана, забяспечвалі б ананімнасць. Ён стаў бы прыступкай, якая дазволіла б ужо сёння праводзіць практычныя, хай і элементарныя, ацэнкі справядлівасці.
Тэхналогіі звязаных даных (linked data) ужо шырока ўкараніліся ў галінах, дзе неабходная міжарганізацыйная супраца вакол даных. Гэта не абавязкова азначае, што дзеля этычных праблем машыннага навучання давядзецца прыняць агульнагаліновую, усёабдымную і жорсткую анталогію. Хутчэй, мінімальнае прыняцце агульных практык дазволіла б розным арганізацыям сумесна анатаваць і апісваць рэсурс.
Перш чым такую базу можна будзе стварыць, трэба вырашыць шэраг праблем. Каб набор даных быў структураваны і зручны для навігацыі, падобныя зменныя і сутнасці давядзецца ўзгадніць паміж сабой. Могуць спатрэбіцца агульныя ідэнтыфікатары вышэйшага ўзроўню, каб групаваць зменныя, нават калі ўзроўні гэтых зменных розныя. Скажам, у адных класіфікацыях людзі маглі пазначыць небінарную гендарную ідэнтычнасць ці адмовіцца адказваць на гэтае пытанне, — але наўрад ці гэта зробіць знойдзеныя карэляцыі ці ўрокі зусім недарэчнымі ці непераносімымі на практыцы. Анталогіі базы павінны ахопліваць і шырэйшыя часткі працэсу мадэлявання, такія як ачыстка даных ці карыстальніцкія інтэрфейсы, але які фармат для гэтага найлепшы — незразумела. Хутчэй за ўсё, да яго прыйдуць метадам спроб і памылак.
Метаданыя таксама трэба стандартызаваць. Якімі метадамі выяўлення дыскрымінацыі карысталіся? Як фіксаваць сілу эфекту ці статыстычную значнасць пры розных метадах? Верагодна, карысным было б і кароткае апісанне выпадку — асабліва пра сацыяльныя працэсы і арганізацыйны кантэкст, — але ці павінна і ці можа яно мець стандартны фармат і пры гэтым заставацца дзейсным?
Такому набору даных маглі б пайсці на карысць абмеркаванне і ўдзел людзей з рознымі поглядамі — як унутры арганізацый, што падаюць інфармацыю, так і звонку. Тэхналогіі адкрытай анатацыі ці абмеркавання маглі б дадаваць пытанні і кантэкст да метадаў і зместу запісаў. Такія тэхналогіі, як StackExchange — сетка пытанняў і адказаў, першапачаткова разлічаная на распрацоўшчыкаў, а цяпер пашыраная на іншыя сферы, — на практыцы даказалі сваю папулярнасць як тэхнічныя і сацыяльныя інструменты для вырашэння праблем з праграмамі. Такая база магла б браць прыклад з таго, дзякуючы чаму супольнасці ведаў эфектыўна працуюць у гэтых віртуальных асяроддзях. Ключавым было б і тое, каб арганізацыі маглі прасачыць паходжанне даных у такіх сумесных базах ведаў; тут шмат чаму можна навучыцца ў рашэннях, прапанаваных для падобных праблем у навуковай супрацы вакол даных.
Большасць даследчыкаў даных ужо прывыклі працаваць разам анлайн — праз такія вядучыя тэхналогіі ў гэтай сферы, як Git, MediaWiki ці StackExchange. Але даследчыкі даных — толькі адзін кавалачак пазла. Як ужо гаварылася, праблемы справядлівасці могуць тычыцца розных частак працэсу мадэлявання, і таму погляды іншых — распрацоўшчыкаў карыстальніцкіх інтэрфейсаў, кіраўнікоў праектаў і тых, пра каго прымаюцца рашэнні, — былі б, хутчэй за ўсё, слушнымі і карыснымі. Выбраныя тэхналогіі павінны быць зразумелымі і даступнымі для тых, хто не прывык працаваць у такіх віртуальных прасторах, і пры гэтым мець магчымасці і пашыральнасць больш развітых рашэнняў. Інакш яны, хутчэй за ўсё, стануць выключальнымі і не атрымаюць таго шырокага распаўсюду, які зрабіў бы іх найбольш карыснымі.
Даваць інфармацыю ў такую базу ведаў могуць не толькі распрацоўшчыкі мадэляў. Туды можна было б дадаваць колькасныя і якасныя вынікі навуковых даследаванняў, датычныя пэўных галін ці крыніц даных. Напрыклад, існуе вялікі масіў даследаванняў фінансавай пісьменнасці, рэцыдыву ці абароны дзяцей, якія праводзяцца, каб палепшыць адпаведныя сферы, а не каб наўпрост ствараць сістэмы падтрымкі рашэнняў ці даваць ім інфармацыю. Такія сведчанні можна было б выкарыстоўваць, каб наўпрост вызначаць структуру мадэлі ці каб накіроўваць аналіз унутры даных і пошук этычных праблем. Многія з гэтых сведчанняў сёння цяжка знайсці: яны раскіданыя па розных дысцыплінах, схаваныя за платным доступам ці апублікаваныя з даследчымі пытаннямі, па якіх не відаць, якія карэляцыі даследаванне выявіла заадно. У сярэднетэрміновай перспектыве напаўняць такую базу паўаўтаматычна маглі б дапамагчы аналіз тэкстаў і апрацоўка натуральнай мовы.
Метады DADM і FATML, паколькі яны самі тэхнічна непразрыстыя для неспецыялістаў, нясуць уласныя праблемы празрыстасці і легітымнасці. Паводле GDPR людзі маюць права ведаць, калі іх персанальныя даныя апрацоўваюцца аўтаматычна і з якой мэтай, хоць на практыцы ў гэтых правоў ёсць агаворкі. Але зразумець, якая шкода можа ім пагражаць, калі яны дадуць згоду, значна складаней. І ў іх саміх, і ў давераных незалежных трэціх бакоў звычайна няма зыходных даных, каб нешта расследаваць. А нават калі б яны былі, незразумела, ці былі б яны вельмі карыснымі ці паказальнымі — улічваючы, як хутка мяняюцца гэтыя наборы даных і заканамернасці ў іх і як шмат звычайна магчымасцей звязаць адны даныя з іншымі. Але цікавяць іх (звычайна) не самі даныя, а патэнцыйна праблемныя заканамернасці, якія з гэтых даных можна вывесці. База сведчанняў магла б дапамагчы людзям і арганізацыям зразумець, якія высновы схаваныя ў розных відах даных.
Што можа перашкодзіць
Прапанова ў асноўным абапіраецца на дапушчэнне, што арганізацыі гатовыя траціць час і грошы на супрацу дзеля агульнага рэсурсу. Перш за ўсё гэта праблема калектыўнага дзеяння: вельмі вялікая спакуса праехацца «зайцам» і пакінуць іншым даваць інфармацыю, а ў выніку яе можа не даць ніхто. Праблему ўзмацняюць пытанні інтэлектуальнай уласнасці: калі на высновы з даных глядзець як на інтэлектуальную ўласнасць ці камерцыйную таямніцу, арганізацыі могуць неахвотна імі дзяліцца.
Аднак абмен данымі паміж фірмамі дзеля этычных мэтаў — зусім не нечуваная рэч, асабліва ў іншых галінах, што сутыкаюцца з такімі ж складанымі грамадскімі праблемамі. Сацыяльныя і экалагічныя праблемы ў сусветнай швейнай галіне паўсюдныя: няясна, як уплываюць на навакольнае асяроддзе працэсы, матэрыялы і хімікаты, а рэальныя вытворчыя ланцужкі, пабудаваныя на шматузроўневым субпадрадзе, малапразрыстыя. У 2010 годзе як арганізацыя для абмену данымі ўзнікла Кааліцыя за ўстойлівую вопратку (Sustainable Apparel Coalition, SAC); сёння ў ёй больш за 180 удзельнікаў, на якіх прыпадае значна больш за трэць усёй вопраткі і абутку, што прадаюцца на планеце. Разам з Агенцтвам па ахове навакольнага асяроддзя ЗША (EPA), з дапамогай некалькіх буйных ахвяраванняў даных і праектаў па іх зборы з удзелам членаў кааліцыя распрацоўвае адкрыты індэкс Хігга (Higg Index), каб даць дызайнерам інструменты, якія дазваляюць лепш і стражэй прадбачыць экалагічную ўстойлівасць будучых вырабаў яшчэ на ранніх этапах. У пэўным сэнсе ўтойванне даных пра этычныя праблемы і важныя сацыяльныя пытанні само па сабе можа стаць спрэчнай рэпутацыйнай рызыкай.
Больш за тое, інстытуцыйнае поле тэхналагічнай галіны, здаецца, цалкам адкрытае для такой супрацы. Як паказалі сацыёлагі Пол Дымаджа і Уолтар Паўэл, інстытуцыйныя палі ствараюць аднадумныя супольнасці практыкі праз тры галоўныя механізмы: прымусовы ціск, калі ўплыў пэўных дзеячаў ці чыннікаў навязвае аднастайнасць; мімэтычны ціск, які вынікае са стандартных, пераймальных рэакцый на нявызначанасць; і нарматыўны ціск, які ўзнікае, калі поле складваецца і прафесіяналізуецца. У сферы машыннага навучання відаць некалькі абнадзейлівых праяў нарматыўнага ціску: супольнасці добраахвотнай узаемадапамогі ў сетках пытанняў і адказаў, такіх як Cross Validated — сайт пытанняў і адказаў пра статыстыку ў сетцы StackExchange (якія самі ўзмацняюць мімэтычны ціск); бясплатная праца даследчыкаў даных на некамерцыйныя арганізацыі па выхадных праз такія арганізацыі, як DataKind, што ўсё расце; віртуальныя дыскусіі і падзеі з удзелам лідараў галіны на /r/MachineLearning і Quora; чаканне, што спецыяліст будзе рабіць унёсак у праграмы з адкрытым кодам, — і гэта толькі некалькі прыкладаў. У будучыні сваю ролю тут могуць адыграць і магчымыя формы прымусовага ціску — прафесійныя аб’яднанні, хартыі ці сертыфікацыя для даследчыкаў даных.
Выяўляць «добрыя» ці «найлепшыя» практыкі і збіраць іх у базы — распаўсюджаны, але таксама праблемны падыход палітыкі да складаных сацыятэхнічных выклікаў. Ён можа ўводзіць у зман, бо звычайна мяркуецца, што практыкі вядуць да добрых вынікаў, а не разглядаюцца як гіпотэзы, якія патрабуюць сур’ёзнага маніторынгу і ацэнкі. Нават калі сведчанні паказваюць, што добрыя практыкі працуюць у адным кантэксце, у іншым яны могуць праваліцца. База досведу, у адрозненне ад прадпісанняў «добрай практыкі», выконвала б хутчэй даследчую функцыю. Пачаць такія ініцыятывы ці далучыцца да іх могуць некалькі арганізацый: прыватныя аналітычныя цэнтры накшталт Data & Society у ЗША, прапанаваныя структуры, такія як нацыянальны орган апекі над данымі, апісаны ў нядаўнім дакладзе Каралеўскага таварыства і Брытанскай акадэміі, або любы са шматлікіх міждысцыплінарных калектываў ва ўніверсітэтах па ўсім свеце, якія спалучаюць інфарматыку і сацыяльныя навукі. Такая база магла б і звязаць людзей, што сутыкаюцца з падобнымі праблемамі ў розных кутках свету, — стварыць творчыя сеткі падтрымкі і абмеркавання, дзе аднадумцы дзеляцца парадамі, стратэгіямі і нават кодам, каб разам брацца за самыя складаныя задачы.
Даследчы аналіз справядлівасці
Апісаныя вышэй сітуацыі мяркуюць, што інфармацыю пра абароненыя прыкметы альбо можна атрымаць, альбо яна даступная ў падобных выпадках. Але бываюць сітуацыі, калі такія даныя атрымаць наогул вельмі цяжка. Напрыклад, «навакольныя вылічэнні» (ambient computing) ацэньваюць людзей па даволі адарваных ад чалавека, абстрактных прыкметах, якія могуць улавіць датчыкі ў навакольным асяроддзі, а не па даных, што ўводзяць самі людзі. Але і ў такіх сістэмах могуць узнікаць праблемы справядлівасці — і з імі можа быць асабліва цяжка справіцца.
Такія сітуацыі, калі абароненыя даныя невядомыя, — складаная задача для вылічальных інструментаў справядлівасці. Але мы мяркуем, што для іх ёсць канкрэтныя метады, якія, хоць і недасканалыя, могуць стаць карыснымі практыкамі, — іх варта і апрабаваць, і развіваць надалей.
Гіпотэзы пра несправядлівасць да пабудовы мадэлі: навучанне без настаўніка
Яшчэ да пабудовы мадэлі даныя можна даследаваць на заканамернасці, якія могуць прывесці да прадузятасці. Даследчы аналіз даных — ключавая частка аналізу даных, але ў навучанні, даследаваннях і практыцы яго гістарычна адсоўвалі на ўзбочыну. Ранейшыя даследаванні — напрыклад, інструменты DCUBE-GUI ці D-Explorer — паказалі, як візуальныя сродкі могуць дапамагчы зразумець патэнцыйна дыскрымінацыйныя заканамернасці ў наборах даных, нават пачаткоўцам. Але, як і іншыя метады, гэтыя інструменты ў цэлым зыходзяць з таго, што адчувальныя прыкметы ёсць у наборы даных, — а гэта, як мы даводзім, часта нерэалістычна.
Калі дапусціць, што непасрэдна адчувальных даных няма, проста разумець карэляцыі ў наборы даных не так ужо і карысна. Затое даследчую задачу можна разглядаць перш за ўсё як задачу навучання без настаўніка. Навучанне без настаўніка імкнецца выявіць і фармалізаваць схаваную структуру ў наборах даных. З яго дапамогай можна спадзявацца скласці ўяўленне пра структуру карэляцый у даных. Паколькі адчувальных прыкмет у нас няма, пацвярджальны аналіз складаны. Але гэта не значыць, што нічога зрабіць нельга. Даследчы аналіз даных можа шмат што даць для пабудовы гіпотэз і для таго, каб накіроўваць далейшы збор даных і сведчанняў у межах шырэйшай працэдуры належнай руплівасці.
Мы засяродзімся на адным важным падмностве метадаў навучання без настаўніка — тых, што спрабуюць зразумець структуру набору даных, ацэньваючы схаваныя (латэнтныя) зменныя, якія, мяркуючы па ўсім, там прысутнічаюць. Некаторыя метады, такія як метад галоўных кампанент (PCA), спрабуюць стварыць версію даных з меншай колькасцю вымярэнняў, якая меншай колькасцю зменных захоўвае як мага больш варыяцыі. Некаторыя метады сацыяльных навук, такія як Q-метадалогія, карыстаюцца гэтым падыходам, каб улавіць схаваныя вымярэнні — напрыклад, суб’ектыўныя пункты гледжання. Іншыя метады, такія як мадэлі гаўсавых сумесей, зыходзяць з таго, што набор даных складаецца з некалькіх розных нармальных (гаўсавых) размеркаванняў, і спрабуюць знайсці і змадэляваць гэтыя кластары.
Такія віды аналізу можна выкарыстоўваць, каб будаваць гіпотэзы пра справядлівасць у наборах даных. Напрыклад, пасля кластарызацыі ці вылучэння падгруп у наборы даных (якія могуць быць, а могуць і не быць звязанымі з абароненымі прыкметамі) гэтыя групы можна якасна вывучыць, апісаць і ахарактарызаваць. Каб атрымаць больш кантэкстнай інфармацыі пра людзей у гэтых кластарах — напрыклад, ці карэлююць іх паводзіны, зафіксаваныя датчыкамі ці іншым чынам, з нейкімі сацыяльна-дэмаграфічнымі прыкметамі, — можна ўжыць эксперыментальныя метады і метады выбаркі. Гэтыя кластары можна выкарыстаць да ці падчас пабудовы мадэлі, каб зразумець, як яна працуе для розных падгруп, прысутных у даных.
Гіпотэзы пра несправядлівасць пасля пабудовы мадэлі: інтэрпрэтаваныя мадэлі
Другі падыход да аналізу ўнутры даных без доступу да абароненых прыкмет вывучае не толькі ўваходныя даныя, а ўжо навучаныя мадэлі. Калі мадэлі навучаныя — нават складаныя, — ёсць некалькі метадаў, якімі можна паспрабаваць зразумець іх асноўную логіку ў зразумелай чалавеку форме.
У літаратуры пра тое, як разумець мадэлі накшталт нейронных сетак, традыцыйна адрозніваюць дэкампазіцыйную і «педагагічную» інтэрпрэтацыю (апошнюю нядаўна сталі называць інтэрпрэтацыяй, «незалежнай ад мадэлі», model-agnostic). Дэкампазіцыйныя падыходы засяроджваюцца на тым, як прадставіць заканамернасці ў даных так, каб і аптымізаваць якасць прагнозу, і захаваць унутраную логіку сэнсава зразумелай для распрацоўшчыкаў. Прыхільнікі ж педагагічных сістэм заўважалі, што з мадэляў накшталт нейронных сетак цяжка атрымаць сэнсава інтэрпрэтаваную логіку, хоць некаторыя і спрабуюць. Тактыка, якую яны абралі і якой у асноўным прытрымліваецца большасць сучасных даследаванняў інтэрпрэтацыі складаных сістэм, — разглядаць інтэрпрэтацыю як асобную задачу аптымізацыі.
Ідэю педагагічна інтэрпрэтаваных мадэляў растлумачыць адносна проста. Складаную мадэль «абгортваюць» прасцейшай, якая, звяртаючыся да складанай мадэлі як да аракула, можа ацаніць яе асноўную логіку. Кандыдаты на такую ролю — лагістычная рэгрэсія ці дрэвы рашэнняў. Аднак усё часцей прапановы па аналізе складанейшых мадэляў прызнаюць, што разрыў паміж логікай, якую можа выразіць простая мадэль, і логікай, схаванай у складанай, занадта вялікі, каб яе належным чынам «перакласці». Наглядны прыклад — распазнаванне выяў. Таму ў гэтай сферы спрабуюць ацаніць логіку ў наваколлі аднаго канкрэтнага ўваходнага вектара — напрыклад, выявы, — каб зразумець, чаму яе класіфікавалі менавіта так. (Гэты метад уласцівы не толькі педагагічным падыходам: нядаўнія працы паказалі, што вельмі перспектыўныя тут і дэкампазіцыйныя метады, якія выкарыстоўваюць элементы структуры мадэлі, а не проста абыходзяцца з ёй як з «чорнай скрынкай».)
Аналітыкі, якія займаюцца даследчым аналізам справядлівасці, маглі б уручную вывучаць механізмы, што ляжаць у аснове логікі мадэлі, і пытацца, ці маюць яны сэнс. У прыватнасці, аналітыкі маглі б падумаць, ці гатовыя яны апублікаваць такую інфармацыю пра мадэль і ці не будзе ў грамадства прэтэнзій да таго, як і чаму рашэнні прымаюцца менавіта так. Увагу прыцягнулі нядаўнія даследаванні, якія выявілі гендарную прадузятасць у вектарных прадстаўленнях слоў (word embeddings) — сістэмах, што размяшчаюць словы адно адносна аднаго ў шматвымернай прасторы, каб адлюстраваць розныя вымярэнні іх значэння; метады выяўлення прадузятасці ў гэтай сферы роднасныя таму, пра што мы тут гаворым. Будучыя даследаванні павінны прадметна праверыць, ці можна праз такі аналіз выявіць значную і важную інфармацыю пра наборы даных ці мадэлі, пра якія вядома, што яны ў нечым прадузятыя.
Абмеркаванне: тры падыходы — тры мэты
Тры розныя падыходы, апісаныя ў гэтым артыкуле, паказваюць на тры магчымыя шляхі для даследаванняў і практыкі больш справядлівага машыннага навучання. Кожны з іх падыходзіць для сваіх мэтаў.
Падыход з трэцім бокам, калі іншая арганізацыя захоўвае адчувальныя прыкметы і выкарыстоўвае іх, каб выяўляць і, магчыма, змякчаць дыскрымінацыю ў даных і мадэлях, карысны перш за ўсё там, дзе давер да арганізацыі, зацікаўленай у пабудове мадэлі, нізкі або дзе высокая патэнцыйная рэпутацыйная рызыка. Тыповыя выпадкі тут — страхаванне ці найм, тым больш што з гэтымі сферамі гістарычна звязаная прадузятасць па абароненых прыкметах. Складанасць гэтага падыходу ў тым, што яго няпроста наладзіць ва ўмовах недахопу рэсурсаў ці ў аднабаковым парадку.
Падыход сумеснай базы ведаў, калі звязаныя базы даных збіраюць праблемы справядлівасці, заўважаныя і перажытыя даследчыкамі і практыкамі з усяго свету, мог бы быць карысны ў вельмі розных сітуацыях. Ён мог бы дапамагчы там, дзе агульная нявызначанасць асабліва вострая, дзе ацэньваць рызыкі трэба загадзя ці дзе рызыкі складаныя, зменлівыя і сацыятэхнічныя. Але для гэтага патрэбная змена мыслення. Арганізацыі, якія займаюцца мадэляваннем, павінны пераадолець нежаданне адкрыта абмяркоўваць свае мадэлі і будуць вымушаныя выдаткоўваць час і грошы, каб не толькі браць з такога агульнага рэсурсу, але і ўносіць у яго. Магчымым выйсцем маглі б стаць ананімныя ўнёскі, але тады паўсталі б пытанні, хто правярае паходжанне інфармацыі і наколькі лёгка пазнаць арганізацыю па мэце мадэлявання.
Даследчы падыход патрабуе найменш арганізацыйных намаганняў, бо яго можна ажыццявіць у аднабаковым парадку на даных, дзе адчувальных прыкмет няма. Але хоць ён і дазваляе ставіць пытанні і даследаваць пэўныя тыпы анамальных ці патэнцыйна праблемных заканамернасцей у даных, сам па сабе ён дае, безумоўна, найменшыя гарантыі, што праблемы справядлівасці ўсебакова выяўленыя, ацэненыя і змякчаныя. Далейшая праца павінна фармалізаваць метады пошуку такіх заканамернасцей у даных і праверыць, наколькі эфектыўна распрацоўшчыкі мадэляў і працэсы выяўляюць шэраг штучна ўнесеных праблем.
Не дзіўна, што ў тэхналагічных ці кіраўніцкіх рашэнняў для такіх спрэчных паняццяў, як справядлівасць, ёсць межы. Справядлівасць у навучанні без настаўніка ацэньваць асабліва складана, бо выяўленыя групы схаваныя, хоць нядаўна і з’явіліся першыя працы, якія пачынаюць даследаваць гэтую прастору. Справядлівасць у дачыненні да дэмаграфічных груп таксама будзе цяжка ўхапіць, калі самі гэтыя групы схаваныя, — напрыклад, калі гаворка пра аднолькавае стаўленне да людзей з пэўнымі палітычнымі поглядамі пры мадэрацыі кантэнту ў інтэрнэце. Але важней іншае: хоць тры апісаныя намі падыходы адрозніваюцца ступенню фармальнасці і спосабамі разумець справядлівасць, усе яны ў цэлым застаюцца засяроджанымі на саміх праграмных артэфактах. Мы не сцвярджаем, што гэтых падыходаў ці шырокага складу мыслення, які за імі стаіць, дастаткова, каб разумець роўнасць ці змякчаць дыскрымінацыю ў лічбавую эпоху. Але мы асцярожна мяркуем, што там, дзе такія праграмныя артэфакты выкарыстоўваюцца для прыняцця і падтрымкі рашэнняў, праца з тэхнічнымі аспектамі гэтых праблем, хутчэй за ўсё, — неабходны кавалачак пазла: не больш і не менш важны за іншыя, такія як арганізацыйная культура, грамадскія формы нагляду ці рашэнні пра тое, навошта і куды сістэму ўкараняць. Мы таксама звяртаем увагу на большыя праблемы прагнастычных сістэм: што яны па самой сваёй прыродзе могуць наогул не дасягаць сацыяльных ці палітычных мэтаў або што галоўным пытаннем можа быць не столькі справядлівасць, колькі стыгматызацыя, празмернае сачэнне ці абясцэньванне пэўных культурных уяўленняў — напрыклад, пра сям’ю. Там, дзе інтарэсы арганізацый, якія ўкараняюць такія сістэмы, і тых, на каго яны ўплываюць, па сутнасці супярэчаць адны адным, супраца можа быць немагчымай ці непажаданай; пацярпелыя групы могуць замест гэтага (і гэта зразумела) схіляцца да больш канфрантацыйных форм супраціву і палітычнага дзеяння.
Кірункі для эмпірычных даследаванняў
Гэтыя тры прапановы паказваюць, як альтэрнатыўныя інстытуцыйныя ўладкаванні і спосабы пазнання могуць дапамагчы ў кіраванні справядлівасцю ў машынным навучанні. Яны засяроджаныя на адным выяўленым практычным абмежаванні — адсутнасці адчувальных даных. Кожны падыход мае свае абмежаванні і агаворкі і дае мала гарантый. Гэта можа раздражняць даследчыкаў у гэтай сферы, але так выглядае заблытаная рэальнасць многіх сённяшніх практычных сітуацый.
Мы лічым, што сярод абмежаванняў ёсць і магчымасці. Практычныя межы падыходаў, якія павышаюць справядлівасць, — у тым ліку гэтых трох — выявяцца толькі тады, калі іх укараняць і рэфлексіўна вывучаць у рэальных умовах. Асабліва наша другая і трэцяя прапановы — базы ведаў і даследчы аналіз — не паддаюцца тым матэматычным гарантыям, якія так суцяшаюць літаратуру DADM. У такіх сітуацыях ацэнка працэсу значна важнейшая за ацэнку выніку. Ключавое тут — зразумець, з якімі пытаннямі і праблемамі гэтыя метады дапамагаюць (ці не дапамагаюць) спраўляцца падчас рэальнай пабудовы, укаранення і кіравання прагнастычнымі сістэмамі. Такой працы пакуль зроблена зусім мала (адзін прыклад — даследаванне Майкла Віла 2017 года), і мы настойліва даводзім, што яе павінна стаць больш. Як мы ўжо адзначалі, разлічваць, што на практыцы магчыма матэматычна строгае «ачышчэнне ад прадузятасці», часта нерэалістычна, а значыць, часта бескарысна прыкладаць да машыннага навучання з улікам дыскрымінацыі ўмовы валіднасці, звычайныя для даследаванняў у статыстыцы і інфарматыцы. Новыя тэхналогіі такога роду трэба ацэньваць хаця б часткова па тым, якія новыя магчымасці для адказнай працы яны даюць практыкам, — задача складаная, міждысцыплінарная і моцна нагружаная каштоўнасцямі, але вельмі неабходная.
Без гэтага вымярэння распрацаваныя інструменты, хутчэй за ўсё, будуць спатыкацца нечакана і нават на дробязях, і гэта паўплывае на іх здольнасць змагацца з несправядлівасцю і дыскрымінацыяй у рэальным свеце. Наўрад ці статыстычныя гарантыі справядлівасці гладка ператворацца ў адчуванне людзей, што рашэнні пра іх былі прынятыя справядліва, — а гэта адчуванне залежыць ад працэсу не менш, чым ад выніку. Даследчыкі ў гэтай сферы павінны выпрабоўваць свае рашэнні на практыцы, сачыць за іх укараненнем з дапамогай багатых і строгіх якасных метадаў, такіх як этнаграфія і даследаванне дзеяннем (action research), і вяртаць высновы назад — у перапрацоўку і пераасэнсаванне інструментаў. Каб належным чынам займацца справядлівасцю ў машынным навучанні, даследчыкі і практыкі, якія працуюць дзеля «больш справядлівага» машыннага навучання, павінны прызнаць, што гэта не проста абстрактная задача аптымізацыі з абмежаваннямі. Гэта заблытаная, укаранёная ў кантэкст і непазбежна сацыятэхнічная праблема, і да яе трэба адпаведна ставіцца. Для гэтага тэхнічным даследчыкам трэба лепш разумець сацыяльныя праблемы і кантэксты, а даследчыкам грамадства — больш строга разбірацца з тэхнічнымі прапановамі, што ляжаць на стале, і дбаць, каб крытыка з практычнымі наступствамі даходзіла да вушэй камп’ютарнай супольнасці.
Michael Veale, Reuben Binns, «Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data», Big Data & Society, т. 4, № 2, 2017. Пераклад з англійскай паводле артыкула ў часопісе Big Data & Society; анатацыя, ключавыя словы, спіс літаратуры, звесткі пра фінансаванне і канфлікт інтарэсаў, бібліяграфічныя спасылкі, зноскі з адрасамі вэб-старонак і са спасылкамі на літаратуру, а таксама схема прапушчаныя, змястоўныя зноскі ўключаныя ў тэкст у дужках. Арыгінал распаўсюджваецца паводле ліцэнзіі Creative Commons Attribution 4.0 (CC BY 4.0), пераклад — на тых жа ўмовах.
