Джэні Л. Дэвіс і Эйпрыл Уільямс — сацыёлагі, якія даследуюць тэхналогіі і няроўнасць, Майкл У. Ян — камп’ютарны навуковец. Іх артыкул выйшаў у кастрычніку 2021 года ў навуковым часопісе Big Data & Society. Аўтары палемізуюць з галіной «справядлівага машыннага навучання» (fair machine learning) — даследаваннямі, якія шукаюць матэматычныя спосабы зрабіць алгарытмы бесстароннімі. Па іх словах, бесстароннасць у грамадстве, дзе няроўнасць ужо закладзеная ў даныя, толькі замацоўвае яе, і замест яе яны прапануюць «рэпарацыю» — свядомае выпраўленне гістарычнай шкоды. Аўтары абапіраюцца на інтэрсекцыянальнасць — падыход, які ў 1989 годзе сфармулявала амерыканская юрыстка Кімберлі Крэншоу: ён разглядае, як раса, гендар, клас і іншыя восі ўшчэмлення перасякаюцца і ўзмацняюць адна адну. Слова «рэпарацыі» ў ЗША звычайна азначае патрабаванне кампенсацыі нашчадкам паняволеных людзей за рабства і сегрэгацыю; аўтары ўжываюць яго шырэй. Прыклады ў тэксце амерыканскія: інструмент найму, ад якога адмовілася Amazon, і алгарытм COMPAS, які ацэньвае для судоў рызыку рэцыдыву; у 2016 годзе журналісты ProPublica паказалі, што ён завышае рызыку для чорных абвінавачаных. Мы пераклалі ўвесь асноўны тэкст артыкула. Анатацыю, ключавыя словы, спіс літаратуры, падзякі, звесткі пра фінансаванне і канфлікт інтарэсаў, бібліяграфічныя спасылкі ў дужках і нумары зносак мы прапусцілі, нумарацыю раздзелаў знялі. Тры змястоўныя зноскі мы ўключылі ў тэкст у дужках, а зноску пра напісанне тэрміна Intersectional з вялікай літары і зноску з адрасам вэб-старонкі прапусцілі. Там, дзе аўтары пераказваюць іншых даследчыкаў, мы назвалі іх па імёнах.
Уводзіны
У сацыяльна расслоеных грамадствах улада канцэнтруецца, але яе механізмы рассеяныя. Улада цячэ праз органы кіравання, сацыяльныя інстытуты і мікравзаемадзеянні, і ўсё гэта пераплятаецца з тэхналогіямі свайго часу. Па змаўчанні тэхналогіі адлюстроўваюць і ўмацоўваюць існы сацыяльны парадак: яны выяўляюць іерархічныя адносіны і ўвасабляюць іх у матэрыі. Але тэхналогіі могуць быць і прыладамі вызвалення. Яны здольныя выкрываць, руйнаваць і перабудоўваць усталяваны стан рэчаў. Апошняе патрабуе мэтанакіраваных і скаардынаваных намаганняў, якія абапіраюцца на разуменне грамадства. Каб паслужыць такім намаганням, мы прапануем *алгарытмічную рэпарацыю* — паняцце і каркас для інтэрсекцыянальных падыходаў да сістэм машыннага навучання, у якіх месца справядлівасці займае выпраўленне шкоды. Рэпарацыйны падыход не абмяжоўваецца паляпшэннем кода: ён выкарыстоўвае вылічальныя інструменты для сацыяльнага ўмяшання і пры гэтым крытычна ацэньвае, дзе і калі вылічэнням не месца.
Алгарытмічная рэпарацыя — трансдысцыплінарная, сацыятэхнічная прапанова, якая злучае тэорыі інтэрсекцыянальнасці з практыкай рэпарацый і прыкладае іх разам да машыннага навучання, каб распазнаваць і выпраўляць структурную няроўнасць. І інтэрсекцыянальнасць, і рэпарацыі маюць гістарычныя карані ў праве, і абедзве займаюцца сістэмнай дыскрымінацыяй. Абедзве ўжо выйшлі за межы свайго юрыдычнага паходжання дзякуючы інтэлектуальным і актывісцкім рухам. Мы працягваем гэтае пашырэнне і зліваем інтэрсекцыянальнасць і рэпарацыю ў цэласную аснову для крытычнай алгарытмічнай рэформы.
Алгарытмічная рэформа патрабуе і сацыяльных, і тэхнічных ведаў. Таму трансдысцыплінарнае супрацоўніцтва — цэнтральная частка нашай прапановы. Сацыяльныя тэарэтыкі і камп’ютарныя навукоўцы аднолькава неабходныя для праектавання, стварэння і ацэнкі алгарытмічных сістэм, якія выраўноўваюць няроўнасць, і лепш за ўсё гэта ўдаецца, калі яны працуюць разам. Гаворка не пра фармальнае партнёрства, у якім тэхнікі займаюцца адным, а тэарэтыкі — іншым, а пра сапраўднае супрацоўніцтва і ўзаемнае навучанне (і ўзаемнае навучанне *праз* супрацоўніцтва), каб рэформы вырасталі з некалькіх крыніц ведаў. (Мы самі спрабуем так працаваць: гэты артыкул напісалі два сацыёлагі і камп’ютарны навуковец, у якіх разам ёсць вопыт у крытычнай расавай тэорыі, крытычных даследаваннях тэхналогій, тэорыі камунікацыі і машынным навучанні.)
Наш аргумент будуецца так. Спачатку мы разглядаем праблему алгарытмічнай няроўнасці ў машынным навучанні — што гэта такое, чаму яна захоўваецца і як тэхнолагі спрабавалі з ёй змагацца. Потым коратка выкладаем асноўныя палажэнні інтэрсекцыянальнасці, звязваем іх з машынным навучаннем і паказваем, як у пары з рэпарацыяй яна дае крытычную арыентацыйную аснову. Абапіраючыся на гэта, мы разбіраем галоўныя метады галіны «справядлівага машыннага навучання» (fair machine learning, FML), аналізуем, як і чаму яны не здольныя змагацца з алгарытмічнай няроўнасцю, і такім чынам абгрунтоўваем альтэрнатыўны, рэпарацыйны падыход. Нарэшце, мы абмяркоўваем метады ўкаранення алгарытмічнай рэпарацыі і перашкоды на гэтым шляху — магчымасці і абмежаванні для рэпарацыйнага алгарытмічнага праксісу.
Алгарытмічная няроўнасць у машынным навучанні
Алгарытм — гэта проста набор правілаў для выканання задачы. У вылічэннях гэта закадаваныя матэматычныя інструкцыі, якія традыцыйна пісалі ўручную праграмісты. Машыннае навучанне выкарыстоўвае асаблівы від алгарытмаў, якія ствараюцца праз аўтаматычны статыстычны вывад на вялікіх масівах даных. Буйныя інстытуцыі звяртаюцца да машыннага навучання, калі выносяць прысуды, размяркоўваюць сацыяльную дапамогу, выдаюць крэдыты, наймаюць людзей і размяркоўваюць іншыя рэсурсы, ад якіх залежаць магчымасці асобных людзей і цэлых груп. Машыннае навучанне пранізвае і штодзённае жыццё — праз пошукавыя сістэмы, праграмы для знаёмстваў, сацыяльныя сеткі і стрымінгавыя сэрвісы. Такім чынам, яно ўплывае на кіраванне, фармуе арганізацыі і ўплятаецца ў будзённасць.
Абгрунтаванне машыннага навучання гучыць прыемна і зычліва: зрабіць рашэнні інстытуцый больш справядлівымі, а паўсядзённыя справы — зручнейшымі. Але на практыцы такія сістэмы раз за разам даюць заснаваныя на даных вынікі, якія адлюстроўваюць і ўзмацняюць узоры няроўнасці. За апошняе дзесяцігоддзе журналісты, навукоўцы і актывісты задакументавалі гэтыя ўзоры на гучных выпадках, калі аўтаматызацыя пайшла не так. Гэта і расісцкія подпісы да выяў у Google, і алгарытмы цэнаўтварэння, праз якія азіяцкія суполкі пераплачвалі за курсы падрыхтоўкі да ўступных тэстаў у каледж, і сістэмы распазнавання твараў, што вялі да незаконных арыштаў, бо кепска спраўляюцца з цёмнай скурай, а да гэтага дадаецца расісцкая практыка празмернага паліцэйскага кантролю. Гэтая шкода і размеркавальная, і рэпрэзентацыйная: яна стварае матэрыяльныя падзелы і замацоўвае культурныя стэрэатыпы, якія прыніжаюць маргіналізаваных людзей і групы.
Чаму машыннае навучанне ўзнаўляе няроўнасць?
Галоўная прычына, чаму алгарытмы машыннага навучання і далей узнаўляюць няроўнасць, у тым, што гэтыя тэхнічныя сістэмы па сваёй сутнасці сацыяльныя. Прасцей кажучы, алгарытмы жывяцца данымі, даныя паходзяць ад людзей, людзі складаюць грамадства, а грамадства няроўнае. Таму алгарытмы цягнуцца да існых узораў улады і прывілеяў, маргіналізацыі і ўшчэмлення.
Саламон Барокас і яго калегі апісваюць машыннае навучанне як канвеер з чатырох этапаў: зафіксаваць і вымераць тое, што ёсць (вымярэнне) → вывесці з навучальных даных абагульненні (навучанне) → прыкласці мадэль да новых уваходных даных (дзеянне) → сабраць зваротную сувязь і ўдакладніць мадэль. На працягу гэтага канвеера алгарытмічная няроўнасць можа ўзнікаць некалькімі канкрэтнымі шляхамі, якія часткова перакрываюцца. Яна можа вынікаць з несправядлівых мэтаў, укаранёных у расісцкіх, сексісцкіх, гетэранарматыўных, эйблісцкіх, нацыяналістычных і (або) каланіялісцкіх прыярытэтах. Яна можа паходзіць з прадузятых, нерэпрэзентатыўных даных. Яна можа абапірацца на прадузятыя ўскосныя паказчыкі (напрыклад, колькасць арыштаў як паказчык рэальнага ўзроўню злачыннасці). Нарэшце, яна можа браць рэальныя адрозненні паміж групамі насельніцтва, створаныя структурным прыгнётам, і ўспрымаць іх як нешта беспраблемнае і сутнаснае (напрыклад, цэны на медычнае страхаванне, якія караюць чорных мужчын і ўзнагароджваюць белых жанчын з-за таго, што хранічныя хваробы ў гэтых групах сустракаюцца з рознай частатой).
«Справядлівае машыннае навучанне» і алгарытмічны ідэалізм
Праблема алгарытмічнай няроўнасці не прайшла міма камп’ютарных навукоўцаў і інжынераў. Наадварот, вырасла цэлая жывая галіна «справядлівага машыннага навучання», якую аб’ядноўвае мэта выправіць прадузятасці ў сістэмах машыннага навучання. Адзін нядаўні агляд дзеліць тэхнічныя рашэнні гэтай галіны на тры катэгорыі, якія адпавядаюць тром азначэнням справядлівасці: антыкласіфікацыя, парытэт класіфікацыі і каліброўка. Мы азначым і разгледзім кожную з іх ніжэй. Пакуль жа важна адно: кожнае з гэтых рашэнняў прапануе вылічальны шлях да справядлівых алгарытмічных вынікаў. Аднак, нягледзячы на пахвальныя мэты, прапанаваныя рашэнні раз за разам аказваюцца недастатковымі.
Падыходы «справядлівага машыннага навучання» не спраўляюцца, бо вырастаюць з таго, што мы называем *алгарытмічным ідэалізмам*, — з вылічэнняў, якія зыходзяць з таго, што грамадства меркатакратычнае, і імкнуцца нейтралізаваць дэмаграфічныя адрозненні. У грунтоўна несправядлівым кантэксце такі падыход заўсёды будзе недастатковым. Алгарытмічны ідэалізм пачынаецца з базавай веры ў роўнасць магчымасцей і бачыць прычыну расслаення, з аднаго боку, у чалавечых прадузятасцях, якім схільныя ўсе, а з другога — у недасканалых статыстычных працэдурах. Гэты погляд вырастае з ілюзорных культурных наратываў, якія не адпавядаюць рэальнаму свету — свету, дзе дыскрымінацыя глыбока ўкаранёная, першасная і ўзмацняецца на скрыжаваннях некалькіх маргіналізацый. У сваёй цяперашняй тэарэтычнай упакоўцы прапановы «справядлівага машыннага навучання» выглядаюць бесстароннімі і аб’ектыўнымі: яны шукаюць аптымальнай дакладнасці, каб размеркаваць рызыкі і выгады пароўну паміж акуратна размежаванымі групамі паводле ідэнтычнасці. І тая справядлівасць, да якой яны імкнуцца, раз за разам выслізгвае ад іх.
Мы бярэм ідэалізм «справядлівага машыннага навучання» за адпраўны пункт і прапануем замест яго *алгарытмічную рэпарацыю*, якая пераасэнсоўвае грамадства праз крытычную інтэрсекцыянальную оптыку. Гэты падыход імкнецца не да сацыяльнай роўнасці (equality), якая ставіцца да ўсіх аднолькава, а да сацыяльнага выраўноўвання (equity), якое дае рэсурсы паводле розных патрэб і таму ўлічвае восі гістарычных пераваг і ўшчэмленняў. Гэта значыць — адмовіцца ад справядлівасці як бесстароннасці і накіроўваць рэсурсы тым, каму ў іх сістэмна адмаўлялі. Такі падыход спалучае логіку інтэрсекцыянальнасці з практыкай рэпарацыі.
Алгарытмічная рэпарацыя: інтэрсекцыянальная оптыка
Інтэрсекцыянальнасць — гэта не адна тэорыя, а падыход і прызма з наборам арыентацыйных сцверджанняў, мэтаў і інструментаў. Яна ляжыць у аснове крытычных тэорый у розных галінах — крытычнай расавай тэорыі, крытычных феміністычных даследаванняў, квір-тэорыі, — і ўсіх іх аб’ядноўвае ўвага да сістэмных адносін улады, якія адных узвышаюць, а другіх караюць, адных ставяць у цэнтр, а другіх прымушаюць маўчаць. Інтэрсекцыянальны погляд зыходзіць з таго, што ідэнтычнасці множныя і ўзаемазвязаныя, што іх фармуюць грамадскія структуры і інстытуты і што яны праходзяць праз гэтыя структуры і інстытуты, як праз фільтр. Структуры і інстытуты канцэнтруюць і памнажаюць магчымасці і абмежаванні так, што адлюстроўваюць і ўмацоўваюць іерархіі, якія выдаюцца за нешта сутнаснае, прыроджанае. Аднак гэтыя іерархіі не наканаваныя, і тыя, хто працуе ў рэчышчы інтэрсекцыянальнасці, ставяць сабе задачу выкрываць і разбураць сістэмы несправядлівасці.
Інтэрсекцыянальнасць набывала розныя значэнні і служыла розным мэтам, але захоўвала пры гэтым ядро асноўных палажэнняў. Вось яны. Няроўнасці сістэмныя і пераплеценыя: ідэнтычнасці нельга зразумець асобна адна ад адной і ад таго, як яны ўплеценыя ў сацыяльныя структуры. «Аб’ектыўнасць» ніколі не бывае нейтральнай: важна, адкуль глядзіш, і маргіналізаваныя суб’екты даюць неабходны, але недаацэнены пункт гледжання. Няроўнасці выяўляюцца праз юрыдычныя, асабістыя і прафесійныя перавагі і ўшчэмленні. Іерархіі ўлады і прывілеяў хаваюцца за эсэнцыялізмам — уяўленнем пра прыроджаную сутнасць груп, — і таму па змаўчанні іх механізмы застаюцца непрыкметнымі. Да гэтых палажэнняў далучаюцца імператывы: выкрываць і адмаўляць эсэнцыялізм; пашыраць магчымасці маргіналізаваных; называць, вылучаць і аспрэчваць агентаў і структуры панавання.
Хоць інтэрсекцыянальнасць трывала ўвайшла ў акадэмічныя тэксты і актывісцкія рухі, нарадзілася яна ў праве. Яна ўзнікла як адказ на прававыя нормы, якія сціралі і ігнаравалі восі ідэнтычнасці, што накладаюцца адна на адну (напрыклад, чорных жанчын), і імкнулася ўлічыць дыскрымінацыйную палітыку і практыкі, якія закранаюць падвойна маргіналізаваных суб’ектаў права. Абапіраючыся на гэты прававы падмурак, прыхільнікі інтэрсекцыянальнасці падкрэсліваюць, што гэта актыўны палітычны праект. Інтэрсекцыянальнасць — не толькі тое, з дапамогай чаго думаюць, але і тое, што *робяць*. Гэта інтэлектуальны метад, але таксама — і перш за ўсё — інструмент, які дае людзям сілу і набліжае сацыяльную справядлівасць. Таму інтэрсекцыянальны праект не спыняецца на выяўленні выпадкаў сістэмнага ўшчэмлення: ён таксама імкнецца накіраваць рэсурсы да тых, хто маргіналізаваны і пазбаўлены. Патрабаванне разглядаць інтэрсекцыянальнасць як прызямлёную, практычную, матэрыяльную справу можна выканаць, калі прыкласці яе да ацэнкі і праектавання сістэм машыннага навучання.
Наш інтэрсекцыянальны падыход да машыннага навучання далучаецца да ўсё большага корпусу прац, якія звяртаюць увагу на сацыяльна-гістарычныя адносіны ўлады ўнутры вылічальных сістэм, і развівае іх. Сярод такіх прац — прапановы крытычных расавых метадалогій для алгарытмічнай справядлівасці, прымяненне крытычнай расавай тэорыі ў даследаваннях узаемадзеяння чалавека і камп’ютара, дэкаланіяльны ШІ, дэкаланіяльная камп’ютарная навука, вылічэнні дзеля сацыяльных зменаў і пазітыўная дыскрымінацыя (affirmative action) у алгарытмічнай паліцэйскай дзейнасці і пры вынясенні прысудаў. Алгарытмічная рэпарацыя натхняецца ўсімі гэтымі праектамі і спалучае элементы кожнага з іх. Яна грунтуецца на праксісе, падкрэслівае множнасць ідэнтычнасцей, што перасякаюцца, і адкрыта выступае за кампенсацыйнае пераразмеркаванне рэсурсаў, якое праводзіцца на апярэджанне — праз рэпарацыйны падыход.
Рэпарацыйны падыход
Калі прыкласці інтэрсекцыянальнасць да машыннага навучання, а машыннае навучанне — да інтэрсекцыянальнасці, інтэрсекцыянальная палітыка атрымлівае апору ў матэрыяльных умовах, якія ўплываюць на сённяшні жыццёвы досвед праз вылічальныя формы кіравання і будзённае карыстанне тэхнікай. Іначай кажучы, тое, што інтэрсекцыянальнасць *робіць* (і што яна імкнецца адмяніць), напрамую сыходзіцца з праблемамі алгарытмічнай няроўнасці. Мы прапануем увасабляць інтэрсекцыянальную палітыку праз практыкі рэпарацыі.
«Рэпарацыя» — механізм з доўгай гісторыяй: з яго дапамогай вінаватыя бакі сімвалічна і матэрыяльна выпраўляюць крыўды, учыненыя асобным людзям і групам. Рэпарацыі прызначалі пасля войнаў, у знак прызнання каланіяльных злачынстваў і прабачэння за іх, і яны па-ранейшаму застаюцца патрабаваннем, вакол якога мабілізуюцца змагары за грамадзянскія правы чорных у ЗША: яны дамагаюцца матэрыяльнай кампенсацыі за шкоду ад рабства і сегрэгацыі, якая цягнецца праз пакаленні. Рэпарацыйныя дзеянні глядзяць не толькі ў мінулае. Яны таксама дзейнічаюць на апярэджанне: імкнуцца змяніць тое, як гістарычныя крыўды ўплываюць на сённяшнія і будучыя магчымасці, і накіроўваюць рэсурсы, каб кампенсаваць і пераадолець існыя дэфіцыты.
Традыцыйна рэпарацыі належаць да заканадаўчага, часта геапалітычнага кантэксту, але мы ўжываем слова «рэпарацыя» шырэй і выступаем за структурнае выпраўленне шкоды праз алгарытмічную рэформу. Гэта больш чым вольнае пашырэнне юрыдычнага тэрміна. Прававыя і палітычныя сістэмы звязваюць рэпарацыю з канкрэтнымі вінаватымі і пацярпелымі, а таксама з даказальнай сувяззю паміж правапарушэннем аднаго боку і яго наступствамі для другога. Але структурны, інтэрсекцыянальны прыгнёт рэдка дзейнічае так. Інтэрсекцыянальны прыгнёт такі ўсюдыісны і згубны якраз таму, што ён рассеяны па інстытуцыйных інфраструктурах, палітыцы кіравання, мове, культуры, асабістых установах і міжасобасных адносінах. Сістэмная, шматгранная, часта ледзь прыкметная прырода інтэрсекцыянальнай няроўнасці не ўпісваецца ў лінейныя адносіны шкоды і віны. Таму алгарытмічная рэпарацыя ўбудоўвае выпраўленне шкоды ў тую сукупнасць тэхналогій, якая звязвае макраінстытуты і мікравзаемадзеянні, і закладае праграму выраўноўвання ў матэрыяльныя сістэмы, што кіруюць паўсядзённым жыццём. (Некаторыя тэарэтыкі пярэчаць супраць таго, каб ужываць паняцце рэпарацыі ў структурным сэнсе: яно дрэнна стасуецца з канкрэтна акрэсленымі адносінамі шкоды і з разглядам канкрэтных правапарушэнняў, на якіх сёння грунтуюцца рэпарацыі ў праве. Мы не спрачаемся з гэтым, але адштурхоўваемся ад гэтага пункту: мы аспрэчваем саму канкрэтнасць рэпарацыі як інструмента выпраўлення шкоды, бо на практыцы шкода часта бывае структурнай і рассеянай і ўзнікае па-за межамі юрыдычных і палітычных інстытутаў.)
Наш заклік да рэпарацыйных алгарытмаў вынікае з шырэйшай задачы — выраўноўвання і сацыяльнай справядлівасці, — але таксама і з канкрэтных умоў аўтаматызацыі, якія не пакідаюць нейтральнага варыянта. Увогуле размеркаванне рэсурсаў можа захоўваць няроўнасць, пагаршаць яе або змяншаць. Аднак сістэмы машыннага навучання па сваёй прыродзе самаўзнаўляльныя: вынікі, якія яны спараджаюць, скамянеюць і ўзмацняюцца. Адбываецца гэта таму, што алгарытмы робяць рашэнні быццам бы аб’ектыўнымі і адарванымі ад чалавечага меркавання; таму, што яны непразрыстыя і незразумелыя; і таму, што іх вынікі часта няма тэхнічнай магчымасці адмяніць, нават калі абставіны патрабуюць выпраўлення. Наша прапанова алгарытмічнай рэпарацыі зыходзіць з маральнага абавязку змякчаць, а не абвастраць структурнае і гістарычнае расслаенне, як яно праяўляецца ў вылічальным кодзе. Гэтая прапанова прама супрацьстаіць пануючай логіцы «справядлівага машыннага навучання», якое імкнецца пазбавіць алгарытмы прадузятасці і зрабіць іх «справядлівейшымі». Рэпарацыйны падыход, наадварот, зыходзіць з прадузятасці і выкарыстоўвае яе, каб алгарытмы выраўноўвалі няроўнасць і служылі справядлівасці.
Крытычны погляд на «справядлівае машыннае навучанне»: ад справядлівасці да рэпарацыі
Галіна «справядлівага машыннага навучання» ставіць мэтай зрабіць алгарытмы больш справядлівымі для людзей, на якіх уплываюць сістэмы машыннага навучання. У аглядзе галіны Сэм Корбет-Дэйвіс і Шарад Гоэл каталагізуюць яе стратэгіі і адрозніваюць тры азначэнні справядлівасці, на якіх грунтуюцца розныя вылічальныя рашэнні: *антыкласіфікацыю*, *парытэт класіфікацыі* і *каліброўку*. (Апроч разгледжаных тут мадэляў справядлівасці, у галіне расце цікавасць да азначэнняў справядлівасці, заснаваных на прычынна-выніковых сувязях. Такія мадэлі пакуль не ўкараняюцца шырока, і таму іх няма ні ў аглядзе Корбет-Дэйвіса і Гоэла, ні ў нашым артыкуле. Аднак нядаўняя крытыка прычыннай справядлівасці ў машынным навучанні паказвае, што ёй уласцівыя тыя самыя слабасці, што і існым падыходам.) Як са шкадаваннем прызнаюць самі аўтары агляду, гэтыя намаганні ў асноўным не далі выніку і аднавілі тыя несправядлівыя сацыяльныя ўмовы, якія мусілі змякчыць.
Мы сцвярджаем, што беды «справядлівага машыннага навучання» вынікаюць з таго, што галіна заснаваная на *алгарытмічным ідэалізме* — памылковым меркатакратычным уяўленні пра свет — і на палітычнай абыякавасці, якую гэтая памылка дазваляе.
У гэтым раздзеле мы апісваем існыя рашэнні «справядлівага машыннага навучання» і азначэнні справядлівасці, на якія яны абапіраюцца, паказваем на эмпірычных прыкладах, дзе гэтыя рашэнні аказаліся недастатковымі, і для кожнага прыкладу прапануем іншы адпраўны пункт, які вынікае з інтэрсекцыянальнага рэпарацыйнага падыходу. Так мы абгрунтоўваем алгарытмічную рэпарацыю, супрацьпастаўляючы яе ідэалізму, закладзенаму ў імкненне да «справядлівага».
Антыкласіфікацыя
Антыкласіфікацыя патрабуе, каб алгарытмічныя ацэнкі не ўлічвалі абароненых законам прыкмет — такіх як раса, клас, гендар або інваліднасць. Гэта датычыць як прамога ўліку гэтых характарыстык, так і ўскосных паказчыкаў, якія іх замяняюць. Корбет-Дэйвіс і Гоэл параўноўваюць гэта з прынцыпам роўнай абароны закона і з тым, як эканамісты разумеюць дыскрымінацыю «паводле густу»: перавагі і ўшчэмленні нельга размяркоўваць паводле таго, якая дэмаграфічная група каму больш даспадобы. На ўзроўні алгарытму антыкласіфікацыйныя сістэмы імкнуцца закадаваць абыякавасць да ідэнтычнасці тых, да каго будуць прыкладзеныя аўтаматызаваныя рашэнні.
Прынцыпы антыкласіфікацыі ляжаць у аснове аўтаматызаваных праграм найму, якія мусяць абыходзіць прадузятасці менеджараў пры адборы кандыдатаў і пазбягаць тых пераваг і ўшчэмленняў паводле расы, класа, гендару, узросту і нацыянальнасці, што гістарычна вызначалі, хто пройдзе першы адбор. На практыцы гэтыя алгарытмічныя сістэмы ўзнаўляюць сацыяльныя іерархіі, уласцівыя той сукупнасці людзей, з якой яны выбіраюць. Добры прыклад — тое, як тэхналагічны канцэрн Amazon выкарыстоўваў антыкласіфікацыйныя алгарытмы.
У 2014 годзе Amazon распрацавала інструмент для ўласнага найму. Ён з дапамогай машыннага навучання сартаваў кандыдатаў паводле таго, наколькі яны падыходзяць да кожнай пасады, і не браў пад увагу характарыстык сацыяльнай ідэнтычнасці. Мэта была патройная: павысіць эфектыўнасць, адабраць лепшых кандыдатаў і пазбегнуць няўсвядомленых прадузятасцей — асабліва ў дачыненні да жанчын, бо іх было (і ёсць) мала ў тэхналагічным сектары. Аднак да 2015 года стала відаць, што аўтаматызаваная сістэма працуе не так, як планавалася. Алгарытмы найму раз за разам ставілі мужчынам вышэйшыя ацэнкі, а жанчынам — ніжэйшыя. Прычына была ў тым, што сістэму навучылі на даных пра найм у кампаніі за папярэднія дзесяць гадоў, а яны адлюстроўвалі галіну, дзе пераважаюць мужчыны. Іначай кажучы, у Amazon, як і ва ўсім тэхналагічным сектары, працавала непрапарцыйна шмат мужчын. Таму на існых даных сістэма навучылася, што лепшыя кандыдаты — мужчыны. Гэты самаўзнаўляльны цыкл быў такі моцны, што любая прыкмета жаночай гендарнай ідэнтычнасці ў заяўцы зніжала ацэнку. Дыплом жаночага каледжа, удзел у жаночых арганізацыях, «жаночыя» моўныя звароты — усё гэта змяншала бал. Amazon спрабавала гэта выправіць, але сістэма ўсё роўна знаходзіла ўскосныя прыкметы гендару і ўзнагароджвала мужчын за кошт жанчын. У рэшце рэшт Amazon адмовілася ад праграмы.
З інтэрсекцыянальнага пункту гледжання антыкласіфікацыйныя сістэмы хібныя па самой сваёй прыродзе. Яны грунтуюцца на сціранні адрозненняў, на тым, што дэмаграфічныя рысы сплюшчваюцца. Ідэалагічна такі падыход абыходзіць эмпірычную рэальнасць сістэмнай няроўнасці, але ні статыстычна, ні матэматычна ён не можа з ёй справіцца. Даныя, якімі сілкуюцца гэтыя сістэмы, і людзі, да якіх іх прыкладаюць, займаюць розныя месцы ў іерархіі. Гэтыя адрозненні фіксуюцца і ўзнаўляюцца праз вылічэнні — і будуць фіксавацца і ўзнаўляцца далей.
Рэпарацыйны ж падыход вылучаў бы, называў бы і кадаваў бы іерархічныя адрозненні такімі, якімі яны праяўляюцца ў катэгорыях сацыяльнай ідэнтычнасці. Тады алгарытмы Amazon не рабілі б гендар нябачным, а наадварот, зрабілі б яго адной з галоўных зменных для аптымізацыі. Гэта магло б азначаць, што заяўкам жанчын, трансгендарных і небінарных людзей надаецца вага, якая матэматычна ўмацоўвае іх кандыдатуры, а ацэнкі, што адпавядаюць стэрэатыпным прыкметам белай цысгендарнай маскуліннасці, магчыма, зніжаюцца. Так жанчыны, трансгендарныя і небінарныя людзі атрымлівалі б перавагу ў адпаведнасці з тымі сацыяльнымі ўмовамі, якія зрабілі працоўную сілу высокатэхналагічнай галіны гендарна (і расава) перакошанай, — і дзеля таго, каб гэтыя ўмовы выправіць. Больш за тое, такі падыход не разглядаў бы «жанчыну» як аднародную (бінарную) катэгорыю, а пазначаў бы і ўлічваў бы перасячэнні з узростам, расай, інваліднасцю і іншымі значнымі зменнымі, якія фармуюць гендарны досвед і магчымасці.
Такая рэпарацыйная сістэма літаральна цаніла б тое, што прыносяць кампаніі кандыдаты з недастаткова прадстаўленых груп, і адначасова рабіла б інтэрсекцыянальную гендарную разнастайнасць у тэхналогіях нормай, каб высокія пасады і шлях да іх выглядалі магчымымі і чаканымі для ўсіх гендарных груп. Тэхнічнае рашэнне (жанчыны, трансгендарныя і небінарныя людзі атрымліваюць статыстычную падтрымку) непасрэдна ўплывала б на працоўнае асяроддзе кампаніі (Amazon наймае больш жанчын, трансгендарных і небінарных людзей) і мела б шырэйшыя сацыяльныя наступствы для інтэрсекцыянальных гендарных адносін (жанчыны, трансгендарныя і небінарныя людзі становяцца нормай у тэхналагічным сектары, а шлях да кар’еры ў тэхналогіях для іх робіцца прасцейшым). Калі ж гэтыя мэты недасяжныя, рэпарацыйны падыход падказвае, што машыннае навучанне ўвогуле не варта выкарыстоўваць у рашэннях пра найм.
Парытэт класіфікацыі
Парытэт класіфікацыі азначае, што памылкі класіфікацыі для розных груп сацыяльнай ідэнтычнасці павінны быць роўнымі. Мэта — дасягнуць парытэту ў частаце памылак паводле паказчыкаў якасці прагнозу. Корбет-Дэйвіс і Гоэл называюць некалькі мер памылкі класіфікацыі: частата ілжыва станоўчых вынікаў, частата ілжыва адмоўных вынікаў, дакладнасць (precision), паўната (recall), доля станоўчых рашэнняў і плошча пад ROC-крывой (AUC). Асабліва яны засяроджваюцца на ілжыва станоўчых выніках і долі станоўчых рашэнняў, бо менавіта гэтым паказчыкам даследчыкі «справядлівага машыннага навучання» надавалі найбольш увагі. Мы таксама засяродзімся на іх, а яшчэ на ілжыва адмоўных выніках, бо яны важныя для гучных выпадкаў алгарытмічнай няроўнасці.
Ілжыва станоўчыя і ілжыва адмоўныя вынікі — гэта памылкі ў прагнозе таго, наколькі верагодна, што нешта адбудзецца (або не адбудзецца). Доля станоўчых рашэнняў, якую яшчэ называюць «дэмаграфічным парытэтам», азначае, што пэўны вынік размяркоўваецца пароўну паміж групамі сацыяльнай ідэнтычнасці. Гэтыя меры — ілжыва станоўчыя вынікі, ілжыва адмоўныя вынікі і дэмаграфічны парытэт — былі ў цэнтры дыскусій пра машыннае навучанне ў вынясенні прысудаў (і крытыкі гэтага выкарыстання). Самы вядомы выпадак тут — інструмент ацэнкі рызыкі рэцыдыву COMPAS (Correctional Offender Management Profiling for Alternative Sanctions).
COMPAS — шырока распаўсюджаны камерцыйны інструмент, які прагназуе, наколькі верагодна, што абвінавачаны зноў учыніць злачынства. У 2016 годзе выданне ProPublica прааналізавала даныя да вынясення прысудаў з акругі Броўард у Фларыдзе — буйной юрысдыкцыі, якая карыстаецца COMPAS. Аказалася, што чорным абвінавачаным сістэматычна ставілі вышэйшыя ацэнкі рызыкі, чым белым, і што для чорных абвінавачаных рызыка была завышаная, а для белых — заніжаная (гэта значыць, чорныя абвінавачаныя здзяйснялі паўторныя злачынствы радзей, чым прадказваў алгарытм, а белыя — часцей). Агульны разрыў у ацэнках рызыкі паміж чорнымі і белымі — гэта парушэнне дэмаграфічнага парытэту, а завышэнне і заніжэнне прагнозаў рэцыдыву — гэта памылкі ілжыва станоўчыя (для чорных абвінавачаных) і ілжыва адмоўныя (для белых).
Парытэт класіфікацыі зыходзіць з дапушчэння, што калі памылкі размеркаваныя пароўну, то і рашэнні будуць справядлівымі, і што пры дастаткова дакладных і рэпрэзентатыўных даных справядлівага размеркавання можна дасягнуць. Інтэрсекцыянальнасць паказвае, што гэтыя дапушчэнні хібныя. Хібныя таму, што *наступствы* рызыкі для розных груп неаднолькавыя, і таму, што даныя, якія трапляюць у сістэму машыннага навучання, прасякнутыя сацыяльнай палітыкай і практыкамі, што фармуюць статыстычныя ўваходы і выхады. Калі гаворка пра прысуды, судзімасць і тэрмін у турме нікому не пажадаеш. Аднак для чорных абвінавачаных негатыўныя наступствы асуджэння і зняволення памнажаюцца, перакідваюцца на іх сем’і і суполкі і ўмацоўваюць расавы разрыў у дабрабыце, здароўі, стабільнасці сем’яў і псіхічным самаадчуванні. Больш за тое, верагоднасць сутыкнуцца з паліцыяй і быць асуджаным для бедных чорных мужчын значна вышэйшая, чым для любой іншай групы. Даныя крымінальнай юстыцыі самаўзнаўляльныя: групы, якія лічацца крымінальна «рызыкоўнымі», насамрэч непрапарцыйна рызыкуюць патрапіць у сеткі сістэмы крымінальнай юстыцыі.
Рэпарацыйны падыход замяніў бы мэту «парытэту» сістэмным выпраўленнем шкоды. Ён пачынаўся б з сацыяльных фактаў — непрапарцыйнай рызыкі для розных расавых груп і гісторыі расава-класавай дынамікі, якая ўплывае на навучальныя даныя. Зыходзячы з гэтага, рэпарацыйныя інструменты падтрымкі рашэнняў актыўна абаранялі б бедныя небелыя суполкі, асабліва бедных чорных мужчын, мацней, чым іншыя групы насельніцтва. Гэта значыць — ствараць і ўкараняць алгарытмы, якія ўтрымліваюць чорных мужчын ад турмы, а паліцыю — ад чорных кварталаў, супрацьстаяць крыміналізацыі чорнай скуры і выпраўляюць расава абумоўленыя шляхі, што вядуць у турму.
Каліброўка
Каліброўка патрабуе, каб «вынікі не залежалі ад абароненых прыкмет пры ўмове аднолькавых ацэнак рызыкі». Каліброўку можна лічыць больш тонкай версіяй антыкласіфікацыі. Згодна з ёй, алгарытмічная формула можа ўлічваць характарыстыкі ідэнтычнасці толькі тады, калі яны даказальна, эмпірычна ўплываюць на вынік, які прагназуецца. Іначай кажучы, сістэма калібруецца пад розныя ўзроўні рызыкі ў розных групах і ставіць ацэнкі паводле гэтых базавых адрозненняў.
Каб праілюстраваць каліброўку, застанемся з прыкладам COMPAS. Мы робім гэта таму, што Northpointe, кампанія, якая стаіць за COMPAS, адказала крытыкам, што яе алгарытмы насамрэч справядлівыя, бо адпавядаюць патрабаванню каліброўкі. Маецца на ўвазе, што чорны абвінавачаны, якога COMPAS аднёс да высокай рызыкі, з такой самай верагоднасцю здзейсніць паўторнае злачынства, як і белы абвінавачаны з такой самай ацэнкай. У адкрытым лісце да ProPublica кампанія піша:
ProPublica засяродзілася на статыстыцы класіфікацыі, якая не ўлічвала *розных базавых узроўняў рэцыдыву ў чорных і белых*. З-за выкарыстання гэтай статыстыкі ў іх артыкуле з’явіліся ілжывыя сцверджанні, якія потым паўтараліся ў інтэрв’ю і ў артыкулах агульнанацыянальных медыя. (Вылучэнне наша.)
Абараняючыся, Northpointe апраўдвае свой прадукт стандартамі каліброўкі. Гэтая абарона недастатковая і з тэхнічнага, і з сацыяльнага пункту гледжання.
На тэхнічным узроўні, хоць памылкі і калібруюцца з улікам базавых адрозненняў паміж групамі, *віды* памылак неаднолькавыя. Як падрабязна паказала ProPublica, чорныя абвінавачаныя па-ранейшаму непрапарцыйна часта атрымліваюць ілжыва станоўчыя вынікі, а белыя — непрапарцыйна часта «ўзнагароджваюцца» ілжыва адмоўнымі. Чорным памылкова ставяць завышаныя ацэнкі рызыкі, а белым — памылкова паблажлівыя. Канкрэтна гэта значыць, што больш чорных трапляе за краты, а больш белых застаецца на волі.
Ёсць і нетэхнічныя прычыны быць незадаволенымі адказам Northpointe, а значыць, і каліброўкай як алгарытмічным стандартам. Перадусім даныя, на якіх Northpointe навучае свае алгарытмы, адлюстроўваюць расісцкія схільнасці амерыканскай паліцыі, якая залішне часта прыцягвае да адказнасці чорных мужчын. Тым самым гэтыя даныя *ствараюць* (а не толькі адлюстроўваюць) розныя базавыя ўзроўні для груп, вылучаных паводле расы, класа і гендару. Больш за тое, пенітэнцыярная сістэма не толькі рэагуе на злачыннасць, але і праз цэлы набор механізмаў спараджае новыя парушэнні. Таму, абапіраючыся на каліброўку як на тэхнічнае абгрунтаванне, Northpointe ўхваляе і замацоўвае сістэму, у якой існая несправядлівасць становіцца падставай для ўласнага ўзмоцненага ўзнаўлення.
Як і антыкласіфікацыя, каліброўка імкнецца прыбраць ідэнтычнасць з формулы рашэння (хоць і з агаворкамі). Як і парытэт класіфікацыі, каліброўка імкнецца да раўнавагі паміж групамі (улічваючы розную базавую рызыку). Як паказана вышэй, абедзве гэтыя мэты не памяншаюць няроўнасці і могуць нават узмацніць несправядлівы сацыяльны лад. Алгарытмічная рэпарацыя, наадварот, адкідае сціранне ідэнтычнасці — нават калі яно абгрунтоўваецца эмпірычна рознымі ўзроўнямі рызыкі. Замест гэтага яна ўлічвае сацыяльную няроўнасць такой, якой яна размяркоўваецца па восях ідэнтычнасці, выкрывае глыбінныя прычыны рознай рызыкі і ліквідуе тое расслаенне, якое гэтыя адрозненні і адлюстроўваюць, і спараджаюць. На практыцы гэта магло б азначаць вышэйшыя парогі рызыкі рэцыдыву для чорных абвінавачаных, ніжэйшыя парогі для вызвалення пад заклад і ўмоўна-датэрміновага вызвалення, а таксама статыстычныя вагавыя папраўкі, якія ўлічваюць празмерны паліцэйскі нагляд у бедных небелых суполках. Калі глядзець праз рэпарацыйную інтэрсекцыянальную оптыку, любы алгарытм, які не ўлічвае гэтай базавай няроўнасці, трэба прызнаць недастатковым.
Метады і перашкоды
Тэхнічныя сродкі алгарытмічнай рэпарацыі ўжо цяпер даступныя вылічальна, але сацыяльны эфект яна дасць толькі тады, калі яе сапраўды ўкараніць. Таму звернемся да ўкаранення. Каб не вынаходзіць ровар, мы бярэм два нядаўна прапанаваныя метады алгарытмічнага праксісу, якія могуць стаць інструментамі для апісаных тут рэпарацыйных стратэгій: архіўнае куратарства даных і размеркаваную ўладу над ШІ. Абодва метады заснаваныя на трансдысцыплінарнасці і патрабуюць узаемнага супрацоўніцтва акадэмічных і неакадэмічных удзельнікаў. Мы таксама называем і абмяркоўваем тры віды перашкод на шляху алгарытмічнай рэпарацыі — сацыяльныя, прававыя і інстытуцыйныя. Разам гэтыя метады і перашкоды змяшчаюць алгарытмічную рэпарацыю ў кантэкст і магчымасцей, і абмежаванняў.
Як укараніць рэпарацыю
Архіўнае куратарства — адзін з перспектыўных спосабаў укараніць алгарытмічную рэпарацыю. Яно абапіраецца на прафесійны вопыт архіўнай справы, адточаны бібліятэкарамі і музейнымі куратарамі, і прыкладае гэтыя навыкі да даных для машыннага навучання. Несправядлівыя вынікі алгарытмаў неаддзельныя ад праблем з зыходнымі данымі. Гэтыя праблемы могуць быць звязаныя з тым, як розныя групы прадстаўленыя ў наборах даных, і (або) з сацыяльнымі фактарамі, якія крышталізуюцца ў выглядзе даных. Справіцца з такімі праблемамі бывае непамерна складана. Аднак у прафесіяналаў, навучаных збіраць і курыраваць калекцыі, ёсць навыкі, якія можна перанесці ў сферу машыннага навучання. Ын Со Чо і Тімніт Гебру адзначаюць, што *згода, інклюзіўнасць, улада, празрыстасць, этыка і прыватнасць* — звязаныя з данымі пытанні, якія ў бібліятэказнаўстве даўно і добра прапрацаваныя.
Абапіраючыся на свае навыкі, прафесійныя куратары здольныя кіраваць данымі, збіраць, упарадкоўваць і правяраць іх так, каб не толькі не замацоўваць зноў няроўнасць, але і аптымізаваць даныя на карысць маргіналізаваных — з такой мэтанакіраванай дакладнасцю, якая недасяжная для тых, хто не валодае куратарскімі метадамі. Сюды ўваходзіць уменне ўлічваць складаныя канфігурацыі ідэнтычнасці, у якіх перавагі і ўшчэмленні дзейнічаюць адначасова, і разуменне таго, якія даныя варта збіраць і — што яшчэ важней — якіх збіраць не варта. Такія навыкі і практыкі добра падыходзяць для разгледжаных вышэй праблем — найму і вынясення прысудаў, — дзе даныя такія складаныя і так пераплеценыя з мноствам зменных, якія блытаюць карціну і ўзмацняюць адна адну, што аднаму толькі спецыялістам па даных гэта аказалася не па сілах.
Размеркаваная ўлада над ШІ — другі магчымы метад. Ён грунтуецца на тым, каб ліквідаваць звычайную асіметрыю ўлады паміж тымі, хто стварае сістэмы машыннага навучання, і тымі, на каго яны ўплываюць. Гэты падыход выступае за інструменты, зразумелыя тым суполкам, якіх яны датычаць, і створаныя разам з імі, — асабліва з тымі суполкамі, якія былі ўразлівымі яшчэ да аўтаматызацыі і чыю ўразлівасць аўтаматызацыя замацавала. Тактыкі размеркаванай улады над ШІ абапіраюцца на ўзаемнае ўзаемадзеянне распрацоўшчыкаў і суполак, якіх гэта датычыць, і на «адваротнае настаўніцтва», у якім члены суполак выступаюць экспертамі ва ўласным жыццёвым досведзе.
Прыклады такога метаду — сумесныя праекты навукоўцаў і актывістаў, якія вядуць, сярод іншых, групы Algorithmic Justice League, Data for Black Lives і Carceral Tech Resistance Network. Кожная з гэтых арганізацый выкарыстоўвае веды суполак, каб кідаць выклік камерцыйным, урадавым і рэгулятарным органам і супрацоўнічаць з імі дзеля тэхнічных, сацыяльных і палітычных зменаў. Algorithmic Justice League, напрыклад, праверыла, як тэхналогіі распазнавання твараў спраўляюцца з расай і гендарам, і пасля гэтага некалькі кампаній перапрацавалі свае праграмы так, што яны сталі дакладней класіфікаваць жанчын з цёмнай скурай у задачах пошуку па выявах. Data for Black Lives, якая каардынуе тысячы інжынераў, матэматыкаў і актывістаў, вучыць былых вязняў навуцы пра даныя, каб гэтая непасрэдна закранутая група магла актыўна ўдзельнічаць у рэформе сістэмы крымінальнай юстыцыі. У сваю чаргу Carceral Tech Resistance Network вядзе навучанне ў суполках і разам з імі і мабілізуе іх дзеля адмены турэмных тэхналогій і рэпарацый за расавую шкоду ад гэтых сістэм. Усе тры арганізацыі разам з іншымі выступілі супраць выкарыстання распазнавання твараў у паліцыі, паказалі прынцыповую несумяшчальнасць гэтых інструментаў з расавай справядлівасцю і дамагліся цэлай хвалі карпаратыўных і заканадаўчых мараторыяў. Гэтыя праекты пачынаюцца ў закранутых суполках, імі кіруюцца і праз іх развіваюцца — і ўжо даказалі, што здольныя ўвасабляць рэпарацыйныя падыходы да ацэнкі і праектавання сістэм машыннага навучання.
Перашкоды
Каб алгарытмічная рэпарацыя стаяла на зямлі, трэба бачыць і магчымасці, і цяжкасці. Метады, пра якія ішла гаворка, абнадзейваюць, але ёсць эмпірычныя прычыны, чаму машыннае навучанне ўвесь час узнаўляе няроўнасць, і гэтыя рэаліі ўстойлівыя і ўпартыя. Алгарытмічная рэформа патрабуе цвярозага рэалізму наконт умоў, у якіх будзе дзейнічаць любое сацыятэхнічнае ўмяшанне. Пры ўкараненні алгарытмічная рэпарацыя сутыкнецца з сацыяльнымі, прававымі і інстытуцыйнымі перашкодамі, звязанымі паміж сабой. Разабрацца з кожнай з іх у межах гэтай працы немагчыма, але мы апісваем іх, каб ясна акрэсліць умовы далейшага шляху.
На сацыяльным узроўні рэпарацыя абапіраецца на логіку, якая разыходзіцца з пануючымі ўяўленнямі пра справядлівасць: яна выбірае нераўнамернае размеркаванне рэсурсаў, накіраванае на тых, хто на маргінах. Як паказвае зваротная хваля супраць палітыкі пазітыўнай дыскрымінацыі і супраціў навучальным праграмам па крытычнай расавай тэорыі, свядомае пераразмеркаванне рэсурсаў, безумоўна, сустрэне моцнае супраціўленне. Тактыкі выпраўлення шкоды будзе цяжка прыняць тым, хто ўяўляе грамадства ў цэлым меркатакратычным, а гэтае базавае ўяўленне сапраўды глыбока ўкаранёнае.
Будуць і прававыя, і інстытуцыйныя цяжкасці. Рэпарацыя патрабуе цэнтралізаваных ведаў пра абароненыя законам прыкметы і дзеянняў на іх аснове. Гэта цяжка ў прававых умовах, якія забараняюць збіраць такія даныя і (або) улічваць іх у важных рашэннях — пры найме, выдачы крэдытаў, прыёме ў навучальныя ўстановы і вынясенні прысудаў. Падобныя забароны ва ўнутраных правілах інстытуцый стануць бар’ерам для алгарытмічнай рэпарацыі ўнутры арганізацый.
Ёсць і рэальныя перашкоды для таго міждысцыплінарнага і сацыяльна ўключанага супрацоўніцтва, без якога рэпарацыйныя алгарытмічныя праекты немагчымыя. Захоўваецца няроўнасць улады і аплаты паміж камп’ютарнымі і сацыяльнымі навукоўцамі, паміж акадэмічнымі і неакадэмічнымі арганізацыямі, а таксама эпістэмалагічныя расколы, якія цяжка пераадолець. Гэтыя перашкоды для сапраўднага між-, транс- і пазадысцыплінарнага супрацоўніцтва ўзмацняе акадэмічная сістэма стымулаў, якая ўзнагароджвае традыцыйныя ўнутрыдысцыплінарныя працы вышэй, чым гібрыдныя і шырока акрэсленыя даследчыя вынікі, — нягледзячы на шматлікія заявы пра каштоўнасць змешвання дысцыплін і навукі, уключанай у жыццё суполак. Каб справіцца з гэтымі інстытуцыйнымі цяжкасцямі, трэба думаць не толькі пра тое, хто будзе рабіць працу алгарытмічнай рэпарацыі, але і пра тое, як яе можна рабіць у розных сектарах — пры падтрымцы кіраўніцтва, з механізмамі падсправаздачнасці, дэмакратычным наглядам і справядлівай аплатай працы тых, хто яе робіць.
Высновы
Тэхналогіі адлюстроўваюць і ствараюць грамадствы, з якіх яны паходзяць і ў якіх распаўсюджваюцца. Па змаўчанні тэхналогіі ўвасабляюць каштоўнасці тых, хто мае ўладу, і аднаўляюць іерархіі, якія за гэтымі каштоўнасцямі стаяць. Гэтыя ўзоры — адлюстраванне, аднаўленне і ў выніку ўзмацненне структурнай няроўнасці — праявіліся з асаблівай сілай, калі сістэмы машыннага навучання ўвайшлі ў асабістае і інстытуцыйнае жыццё.
У адказ узнікла галіна «справядлівага машыннага навучання»: камп’ютарныя навукоўцы і інжынеры прапануюць безліч тэхнічных выпраўленняў для несправядлівасці аўтаматызацыі. І ўсё ж алгарытмічная няроўнасць нікуды не знікае. Хаваючы прыкметы сацыяльнай ідэнтычнасці, раўнамерна размяркоўваючы паміж імі памылкі або калібруючы іх, прыхільнікі «справядлівага машыннага навучання» імкнуцца да справядлівасці і роўнасці, тады як патрэбныя выраўноўванне і рэпарацыя. Мы абгрунтавалі гэта ў асноўнай частцы тэксту і прапанавалі адмовіцца ад справядлівасці на карысць антыпрыгнётнага, інтэрсекцыянальнага падыходу. Мы хочам, каб гэты падыход кіраваў праектаваннем алгарытмаў і служыў стандартам, паводле якога існыя алгарытмічныя сістэмы ацэньваюцца, выпраўляюцца і, калі трэба, адкідаюцца або дэмантуюцца. Такім чынам, наша прапанова мае на мэце і будаваць лепшыя сістэмы, і прыцягваць да адказнасці існыя.
Мы вылучаем два магчымыя метады ўкаранення — прафесійнае архіўнае куратарства даных і размеркаваную ўладу над ШІ. Абодва метады адпавядаюць базавым дапушчэнням і мэтам алгарытмічнай рэпарацыі, і абодва выглядаюць перспектыўнымі практычнымі сродкамі алгарытмічнай рэформы. Мы таксама ўлічваем сацыяльныя, прававыя і інстытуцыйныя перашкоды для ўкаранення, каб рэалістычна паглядзець на працу, якая наперадзе.
Наступныя крокі
Застаючыся з гэтай працай, якая наперадзе, напрыканцы мы разгледзім наступныя крокі ў доўгім праекце сацыяльнай і тэхнічнай перабудовы. Мы падкрэсліваем, што патрэбныя ўвага да канкрэтнага кантэксту, больш розных інструментаў і шматбаковыя падыходы, якія аб’ядноўваюць тэхнічныя, сацыяльныя і інстытуцыйныя намаганні.
Інструменты сацыяльных зменаў — тэхнічныя ці любыя іншыя — ніколі не дзейнічаюць у вакууме. У апошнім змястоўным раздзеле гэтага артыкула мы выбралі два нядаўна прапанаваныя механізмы, з дапамогай якіх можна было б укараніць алгарытмічную рэпарацыю. Іх выпрабаванне ў розных эмпірычных умовах пакажа, як яны працуюць, дзе не спраўляюцца і якія інфраструктурныя ўмовы спатрэбяцца, каб гэтыя метады далі сапраўдны эфект.
Таксама важна шукаць і ствараць запас метадаў і інструментаў, якія адказваюць на канкрэтныя патрэбы і канкрэтныя ўмовы і забяспечваюць сумяшчальнасць паміж сацыяльнымі і тэхнічнымі сістэмамі. Наколькі востра патрэбнае цэлае сузор’е метадаў і інструментаў, становіцца відавочна, калі ўспомніць, якія разнастайныя і ўкаранёныя структурныя прычыны, з-за якіх няроўнасць працягвае праяўляцца ў алгарытмічнай форме. Алгарытмічная рэпарацыя непазбежна пойдзе насуперак мностве ўсталяваных парадкаў, і гэтая цяжкая справа запатрабуе шматлікіх ітэрацый, гнуткага прымянення і пастаянных паправак.
Каб стварыць надзейны набор інструментаў, трэці аўтар гэтага артыкула (Ян) цяпер кіруе праектам па распрацоўцы тэхнічных сродкаў, якія правяраюць сістэмы прыняцця рашэнняў і аптымізуюць іх дзеля скарачэння няроўнасці. Гэта вылічальны механізм, у цэнтры якога — ацэнкі ўплыву, што найбольш скарачаюць няроўнасць у выніках аўтаматызаваных рашэнняў. Гэтыя інструменты аўдыту прызначаныя менавіта для інстытуцыйных сістэм падтрымкі рашэнняў — такіх, што выкарыстоўваюцца пры найме, выдачы крэдытаў і прыёме ў навучальныя ўстановы, — і калібруюцца пад канкрэтную няроўнасць у тых суполках, якіх гэтыя рашэнні датычаць. Такія праекты, якія цяпер распрацоўваюцца, прадвяшчаюць новы, крытычна асэнсаваны ландшафт сацыятэхнічных адносін.
Мы таксама адзначаем, што «наступныя крокі» не могуць быць толькі тэхнічнымі. Любое алгарытмічнае рашэнне сацыяльных праблем непазбежна частковае і няпоўнае і патрабуе дапаўняльных сацыяльных, прававых і інстытуцыйных пераменаў. Канкрэтна гэта значыць: перагледзець антыдыскрымінацыйныя правілы, якія сціраюць і тым самым ігнаруюць прыкметы ідэнтычнасці; перабудаваць інстытуцыйныя стымулы і размеркаванне ўлады, якія адгароджваюць акадэмічныя дысцыпліны адна ад адной і ад публічнага сектара; увесці рэгулятарныя інструменты, якія выяўляюць і караюць дыскрымінацыйныя вынікі алгарытмаў; стварыць арганізацыі, якія будуць правяраць тэхнічныя сістэмы і сачыць за тым, як тыя размяркоўваюць рэсурсы і як прадстаўляюць людзей.
На практыцы праблемы алгарытмічных сістэм — гэта праблемы сацыяльных сістэм, і сапраўдныя рашэнні будуць па сваёй прыродзе і тэхнічнымі, *і* сацыяльнымі. Гэтыя рашэнні не дадуцца ні лёгка, ні хутка, ні раз і назаўсёды. Гэтак жа як пераадоленне расізму, сексізму, класізму і каланіялізму — бесперапынныя, зменлівыя, нелінейныя праекты, такім праектам з’яўляецца і шлях да таго, каб пазбавіць алгарытмы і код няроўнасці. Алгарытмічная рэпарацыя — не канчатковы і не вычарпальны адказ, а крытычны, інтэрсекцыянальны падмурак для выраўноўвання.
Jenny L. Davis, Apryl Williams, Michael W. Yang, «Algorithmic reparation», Big Data & Society, т. 8, № 2, 2021 (апублікаваны 4 кастрычніка 2021), doi:10.1177/20539517211044808. Пераклад з англійскай паводле артыкула ў часопісе Big Data & Society; анатацыя, ключавыя словы, спіс літаратуры, падзякі, звесткі пра фінансаванне і канфлікт інтарэсаў, бібліяграфічныя спасылкі і дзве зноскі (пра напісанне тэрміна і з адрасам вэб-старонкі) прапушчаныя, тры змястоўныя зноскі ўключаныя ў тэкст, нумарацыя раздзелаў знятая. Арыгінал распаўсюджваецца паводле ліцэнзіі Creative Commons Attribution-NonCommercial 4.0 (CC BY-NC 4.0), пераклад — на тых жа ўмовах.
