Шакір Махамед і Уільям Айзак тады працавалі ў лабараторыі DeepMind, якая належыць Google, а Мары-Тэрэз Пнг была аспіранткай Оксфардскага ўніверсітэта. Іх артыкул выйшаў у ліпені 2020 года ў навуковым часопісе «Philosophy & Technology» — больш як за два гады да ChatGPT — і стаў адным з самых цытаваных тэкстаў пра ШІ і ўладу. Аўтары пішуць у рэчышчы дэкаланіяльнай тэорыі. Іх ключавое слова «каланіяльнасць» (coloniality) — тэарэтычны тэрмін перуанскага сацыёлага Анібала Кіханы: так называюць не сам каланіялізм, а ўзоры ўлады, падпарадкавання і ведаў, якія перажылі калоніі і дзейнічаюць і сёння. Прыклады ў тэксце адносяцца да 2015–2019 гадоў: справа Cambridge Analytica, саміт G20 у Осацы, першыя нацыянальныя стратэгіі ў галіне ШІ. Мы пераклалі ўвесь асноўны тэкст артыкула. Анатацыю, ключавыя словы, спіс літаратуры і падзякі мы прапусцілі, як і спасылкі на літаратуру ў дужках і нумары зносак. Адну змястоўную зноску (пра тое, што «ШІ» ўключае і машыннае навучанне) мы ўнеслі ў тэкст, астатнія прапусцілі. Нумарацыю раздзелаў мы знялі. Кароткія загалоўкі ўнутры падраздзелаў («Справядлівасць», «Бяспека», «Дыялог» і іншыя) ідуць першым словам абзаца. Там, дзе гаворка ідзе пра канкрэтных даследчыкаў, мы назвалі іх па імёнах.
Як каштоўнасці фармуюць навуковыя веды і тэхналогіі
Поспехі штучнага інтэлекту (ШІ) — і тэхналагічныя навінкі ўвогуле — ахопліваюць усё большую частку культурнага, эканамічнага і палітычнага жыцця сучаснага грамадства. Каб ухапіць гэтую ролю і ўплыў ШІ, што ўвесь час растуць, мы шырэй адчыняем канцэптуальную дыяфрагму, праз якую на яго глядзім: разглядаем ШІ адначасова як аб’ект і як суб’ект — гэта значыць, адпаведна, як тэхналагічныя артэфакты і як сістэмы сетак і інстытуцый.
Як аб’ект ШІ (тут і далей мы ўжываем гэты тэрмін як агульны, што ахоплівае і машыннае навучанне) за апошнія два дзесяцігоддзі зрабіў рывок — яго звычайна тлумачаць спалучэннем росту вылічальнай магутнасці, даступнасці вялікіх аб’ёмаў даных і ўдасканалення алгарытмаў навучання, — і гэты рывок даў новыя прымяненні ў шматлікіх галінах, сярод іх транспарт і ахова здароўя. Гэтыя навінкі прынеслі грамадству пэўную карысць, але паказалі і тое, што імі можна злоўжываць або ўжываць іх на шкоду так, як іх стваральнікі нават не ўяўлялі. Як суб’ект ШІ з малавядомай галіны камп’ютарных навук ператварыўся ў тэхналагічныя артэфакты, якія ўбудаваныя ў працу дзяржаў, бізнесу і грамадзянскай супольнасці і якія тыя пільна вывучаюць. Гэтыя зацікаўленыя бакі моцна ўплываюць на тое, куды будуць развівацца і як будуць ужывацца такія перадавыя тэхналогіі, як ШІ, — ці то праз рэгулятыўныя і этычныя рамкі, ці то праз прасоўванне пэўных алгарытмічных архітэктур, — і таму сам тэрмін «ШІ» варта разумець шырэй.
І як аб’ект, і як суб’ект ШІ сутыкнуўся з пытаннямі пра свае мэты і прымяненні. У цэнтры гэтых спрэчак — пытанні каштоўнасцей і ўладных адносін, у якія гэтыя каштоўнасці ўплеценыя. Якія каштоўнасці і нормы мы павінны абараняць, калі даследуем і ўкараняем сістэмы на аснове штучнага інтэлекту? Як няўменне ўлічыць асіметрычную дынаміку ўлады падрывае нашу здольнасць змякчаць ужо выяўленую шкоду ад ШІ? Як непрызнаныя і не пастаўленыя пад сумнеў сістэмы каштоўнасцей і ўлады перашкаджаюць нам ацэньваць шкоду і збоі ў будучыні?
Як мяняліся парадыгмы каштоўнасцей і ўлады
Якую ролю адыгрываюць каштоўнасці ў здабыванні новых ведаў — вечнае пытанне, асабліва для навукі. Філосафы даўно спрачаюцца пра значэнне эпістэмічных каштоўнасцей: унутранай несупярэчлівасці, фальсіфікавальнасці, здольнасці тэорыі да абагульнення, навуковай аб’ектыўнасці. Гэтыя каштоўнасці вызначаюць праўдзівасць навуковых сцверджанняў, мэта якіх — устанавіць больш агульныя анталагічныя або прычынныя заканамернасці пра прыроду пэўных сістэм. Аднак навука — плён не толькі эпістэмічных каштоўнасцей, але і кантэкстуальных: тых, што адлюстроўваюць маральныя, грамадскія ці асабістыя меркаванні пра тое, як прымяняць навуковыя веды. Існуе трывалы кансэнсус, што неэпістэмічныя каштоўнасці законна ўдзельнічаюць у навуковым мысленні — асабліва калі выбіраюць тэмы даследаванняў і вырашаюць, як ужываць іх вынікі. Тое самае тычыцца і работы ў галіне вылічэнняў і тэхналогій — гэта прызнана ў шырокай галіне даследаванняў каштоўнасцей у тэхналогіях.
Навуковая супольнасць зноў і зноў паводзіла сябе неэтычна — згадаем хаця б даследаванне сіфілісу ў Таскігі, якое праводзіла Служба аховы здароўя ЗША. У адказ занепакоеныя навукоўцы, палітыкі і праваабаронцы аформілі кантэкстуальныя каштоўнасці ў этычныя рамкі, якія пераналадзілі ўладныя адносіны паміж даследчыкамі і супольнасцямі ці асобамі, якіх датычыцца даследаванне. Нюрнбергскі кодэкс, Хельсінкская дэкларацыя і прынцыпы Бэлманцкага даклада разам замацавалі тры асноўныя этычныя каштоўнасці, або правы, якія павінны служыць мінімальным стандартам для даследаванняў з удзелам людзей: павагу да асобы (асабістую аўтаномію), дабрадзейнасць (даследаванне павінна прыносіць як мага больш карысці грамадству і як мага менш шкоды асобе) і справядлівасць (рызыкі даследавання павінны размяркоўвацца па ўсім грамадстве). Гэтыя прынцыпы лічацца гістарычнай вяхой даследчай этыкі, хаця іх парушэнні здараюцца і цяпер — узгадаем пытанні пра неэтычны вываз узораў крыві падчас эпідэміі Эболы ў Заходняй Афрыцы, якія дагэтуль застаюцца адкрытымі. Самі прынцыпы таксама ставяць пад сумнеў і раз-пораз пераглядаюць: крытыкі паказваюць, што яны не ахопліваюць шэрагу новых відаў шкоды і недастаткова ўлічваюць жыццёвую рэальнасць недапрадстаўленых груп.
Абмежаванасць гэтых прынцыпаў становіцца яшчэ відавочнейшай, калі ШІ і іншыя перадавыя тэхналогіі пранікаюць у тыя сферы грамадскага жыцця, дзе стаўкі асабліва высокія. Першыя спробы кадыфікаваць этычныя правілы для ШІ — напрыклад, Асіламарскія прынцыпы 2017 года — засяроджваліся на рызыках, звязаных з аўтаномнай смяротнай зброяй і бяспекай агульнага штучнага інтэлекту (AGI). Абедзве праблемы надзвычай важныя, але гэтыя правілы не прызнавалі, што рызыкі для міру і бяспекі першымі адчуваюць на сабе зоны канфліктаў у краінах, што развіваюцца, і не размяжоўвалі сацыяльную і тэхнічную бяспеку. Больш за тое, яны не займаліся ні сутыкненнем каштоўнасцей і ўлады, ні пытаннем, чые менавіта каштоўнасці ў іх прадстаўленыя, ні структурнай няроўнасцю, з-за якой карысць і рызыкі размяркоўваюцца нераўнамерна ўнутры грамадстваў і паміж імі.
Прыклад такога спляцення каштоўнасцей, улады і ШІ — нядаўняе даследаванне Зіяда Абермеера і яго калег. Яны выявілі, што шырока распаўсюджаны прагнастычны алгарытм, які адбіраў пацыентаў для медыцынскіх праграм, праяўляў расавую прадузятасць супраць афраамерыканцаў. Інструмент павінен быў вызначаць пацыентаў, якіх варта ўключыць у праграму «кіравання дапамогай пры высокай рызыцы», што адкрывае доступ да дадатковых медыцынскіх рэсурсаў і падтрымкі. На жаль, буйныя сістэмы аховы здароўя ў ЗША, выбіраючы пастаўшчыкоў алгарытмічных інструментаў адбору, рабілі націск на кантэкстуальныя каштоўнасці — «зніжаць агульныя выдаткі сістэмы аховы здароўя, адначасова павялічваючы каштоўнасць», або, як у Нацыянальнай службе аховы здароўя Вялікабрытаніі, «каштоўнасць за грошы», — і ахвяравалі іншымі каштоўнасцямі, такімі як пераадоленне няроўнасці ў самой сістэме. У выніку ўкаранёны алгарытм абапіраўся на прагназуючую сілу выдаткаў чалавека на лячэнне (агульнай сумы, патрачанай на медыцыну) — і ўскосна гэта прывяло да таго, што афраамерыканскім пацыентам адмаўлялі часцей, чым белым: людзі, якія мелі патрэбу ў лячэнні, яго не атрымлівалі, а структурная няроўнасць у амерыканскай ахове здароўя паглыблялася. Як паказвае гэты прыклад, тое, з якой хуткасцю алгарытмы ШІ ўбіраюць, увекавечваюць і легітымізуюць розныя формы прадузятасці і шкоды, — гэта якасны скачок у параўнанні з ранейшымі тэхналогіямі, і таму такія інструменты трэба безадкладна пераацаніць, каб іх выкарыстанне было этычным і карысным для грамадства.
Яшчэ адна праблема ў тым, што ШІ можа маскіраваць асіметрычныя ўладныя адносіны — так, што праваабаронцам і сумленным распрацоўшчыкам цяжка па-сапраўднаму вырашаць іх яшчэ на стадыі распрацоўкі. Як заўважае Руха Бенджамін, «калі ў папярэднюю эпоху намер паглыбіць расавую няроўнасць быў больш яўным, то сёння закадаваная няроўнасць увекавечваецца якраз таму, што тыя, хто праектуе і ўкараняе такія інструменты, не задумваюцца ўсур’ёз пра сістэмны расізм». Некаторыя даследчыкі, напрыклад Лучана Фларыдзі і яго калегі, падкрэсліваюць, што такія тэхналогіі, як ШІ, патрабуюць пашырыць этычныя рамкі накшталт Бэлманцкіх прынцыпаў — дадаць да іх тлумачальнасць (растлумачэнне і празрыстасць) або непрычыненне шкоды. Джэс Уітлстоўн і яе калегі, наадварот, прапануюць адмовіцца ад пералічэння ўсё новых каштоўнасных крытэрыяў і ўважлівей займацца супярэчнасцямі, якія ўзнікаюць паміж прынцыпамі і іх ажыццяўленнем на практыцы. Мы таксама лічым, што галіне ШІ пайшлі б на карысць гнуткія і надзейныя тактыкі і метадалогіі прадбачання, заснаваныя на крытычных навуках, — каб лепш распазнаваць абмежаванні той ці іншай тэхналогіі і магчымую этычную і сацыяльную шкоду ад яе.
Крытычная навука як інструмент сацыятэхнічнага прадбачання
Крытычная навука — гэта свабоднае аб’яднанне дысцыплін, якія імкнуцца выявіць схаваныя культурныя дапушчэнні, што пануюць у пэўнай галіне ведаў і ў грамадстве ў цэлым. Даследаванні ў гэтым рэчышчы не толькі тлумачаць сацыятэхнічныя з’явы, але і разбіраюць, якія каштоўнасці, культура і ўлада дзейнічаюць паміж зацікаўленымі бакамі і тэхналагічнымі артэфактамі. Паколькі ШІ прымяняецца надзвычай шырока, мы мусім браць крытычныя тэорыі ў шырокім сэнсе, але асабліва падкрэсліваем ролю посткаланіяльных і дэкаланіяльных крытычных тэорый. Хаця дэкаланіяльныя даследаванні выходзяць з гісторыі каланіялізму, яны цесна пераплеценыя з крытычнымі тэорыямі расы, фемінізмам, крытычнымі даследаваннямі права, квір-тэорыяй і даследаваннямі навукі і тэхналогій.
Пра ролю каштоўнасцей і ўлады ў тэхналогіях і даных пісала мноства даследчыкаў, якія абапіраюцца на дэкаланіяльныя тэорыі, — Паола Рыкаўртэ, Стэфанія Мілан і Эміліяна Трэрэ, Нік Колдры і Улісес Мехіяс, — а таксама аўтары салідных прац у галіне посткаланіяльных і дэкаланіяльных вылічэнняў: Ліллі Ірані з калегамі, Пол Дурыш і Скот Мэйнўорынг, Мустафа Алі. Такія крытычныя падыходы ўсё часцей ужываюць, каб высветліць магчымыя этычныя і сацыяльныя наступствы ШІ і тэхналогій увогуле. Ужо ёсць шмат даследаванняў, якія выкрываюць прадузятасць і несправядлівасць алгарытмічных сістэм, эксплуататарскія або экстрактыўныя практыкі працы з данымі і такія прымяненні ШІ, што пазбаўляюць уразлівыя групы насельніцтва іх ідэнтычнасці і рэсурсаў.
У гэтым артыкуле мы хочам коратка пазнаёміць чытача з дэкаланіяльнай тэорыяй і паказаць, як гэтая тэарэтычная рамка можа стаць магутнай лінзай этычнага прадбачання. Тэхналагічным прадбачаннем і метадалогіямі прадбачання ўвогуле называюць намаганні даследчыкаў, палітыкаў і практыкаў з індустрыі зразумець і прадбачыць, як выбар і дзеянні сённяшняга дня могуць сфармаваць ці стварыць будучыню. Праблемныя вынікі ўжывання ШІ ў сферах з высокімі стаўкамі, такіх як ахова здароўя або крымінальнае правасуддзе, наглядна паказалі, што для гэтых тэхналогій патрэбныя гнуткія і надзейныя метадалогіі этычнага прадбачання. Такія метадалогіі дапамаглі б зацікаўленым бакам загадзя заўважаць і выносіць на святло сляпыя плямы і абмежаванні, шырэй ацэньваць карысць і шкоду ад ШІ і выяўляць уладныя адносіны, што стаяць за яго ўкараненнем. Гэта неабходна, каб лепш узгадніць нашы даследаванні і распрацоўку тэхналогій з ужо ўсталяванымі і новымі этычнымі прынцыпамі і нормамі рэгулявання — і каб даць сілу ўразлівым народам, якія так часта нясуць на сабе асноўны цяжар негатыўных наступстваў інавацый і навуковага прагрэсу.
Каланіяльнасць і дэкаланіяльная тэорыя
Дэкаланізацыяй называюць інтэлектуальную, палітычную, эканамічную і грамадскую працу па аднаўленні зямлі і жыцця пасля таго, як гістарычныя каланіяльныя перыяды скончыліся. Прысваенне тэрыторый, эксплуатацыя прыроднага асяроддзя і чалавечай працы, непасрэдны кантроль над грамадскімі структурамі — такія рысы гістарычнага каланіялізму. Наступствы каланіялізму жывуць і сёння, і калі мы пазнаём гэтыя каланіяльныя рысы ў сучаснай дзейнасці, мы гаворым пра больш агульнае паняцце — каланіяльнасць. У гэтым раздзеле мы коратка разгледзім, што такое каланіяльнасць, як яна бачыць сістэмы ўлады і як праяўляецца ў лічбавым свеце.
Каланіяльнасць — гэта тое, што перажыло каланіялізм. Таму яна імкнецца растлумачыць, чаму захоўваецца ўладная дынаміка паміж тымі, каму далі перавагу, і тымі, каго паставілі ў горшае становішча «гістарычныя працэсы пазбаўлення ўласнасці, заняволення, прысваення і выкачвання рэсурсаў […], якія стаялі ў цэнтры нараджэння сучаснага свету». Каланіяльнасць называе пераемнасць усталяваных узораў улады паміж каланізатарам і каланізаваным — і сучасныя рэшткі гэтых адносін, — а таксама тое, як гэтая ўлада фармуе наша разуменне культуры, працы, міжсуб’ектнасці і вытворчасці ведаў. Анібал Кіхана называе гэта каланіяльнасцю ўлады. Для Кіханы сіла каланіяльнасці — у кантролі над грамадскімі структурамі ў чатырох вымярэннях: уладзе, эканоміцы, гендары і сэксуальнасці, ведах і суб’ектнасці. Падобна і для Нэльсана Мальдонада-Торэса каланіяльнасць — гэта ўзнаўленне іерархій расы, гендару і геапалітыкі, якія былі вынайдзеныя або прыстасаваныя як прылады каланіяльнага кантролю. Для Ніка Колдры і Улісеса Мехіяса, якія пераносяць каланіяльнасць улады ў лічбавую сучаснасць, «каланізуючую форму ўлады ўзнаўляюць» сучасныя адносіны даных — чалавечыя адносіны, якія, будучы захопленымі ў выглядзе даных, становяцца таварам.
Такім чынам, у дэкаланізацыі дзве ролі. Першая — тэрытарыяльная дэкаланізацыя, якая дасягаецца, калі каланіяльныя адносіны ліквідуюцца. Другая — структурная дэкаланізацыя, пра якую і ідзе гаворка ў гэтым артыкуле: яна імкнецца разабраць каланіяльныя механізмы ўлады, эканомікі, мовы, культуры і мыслення, што фармуюць сучаснае жыццё, і для гэтага дапытваецца, адкуль паходзяць і наколькі легітымныя пануючыя формы ведаў, каштоўнасці, нормы і дапушчэнні. Тры погляды праясняюць гэты дэкаланіяльны ландшафт ведаў.
- Дэцэнтрыруючы погляд на дэкаланізацыю адмаўляецца пераймаць Захад ва ўсіх сферах жыцця, патрабуе сцвярджаць уласныя, непаўторныя ідэнтычнасці і зноў засяродзіць веды на падыходах, якія вяртаюць на першы план гісторыі, праблемы і рашэнні ўсяго свету. Для Нгугі ва Тхіонга гэта азначае адмовіцца ад англійскай мовы як непахіснага сродку навучання і публічнай размовы. Дыскусіі пра дэкаланізацыю навучальных праграм або дэкаланізацыю ўніверсітэта заклікаюць перагледзець тое, што лічыцца падмуркам інтэлектуальнай дысцыпліны, падкрэсліваючы і прызнаючы легітымнасць маргіналізаваных ведаў; на гэты ж погляд часта абапіраюцца і заклікі дэкаланізаваць навуку.
- Дапаўняльна-інклюзіўны погляд працягвае карыстацца існымі ведамі, але так, каб яўна прызнаваць каштоўнасць новых і альтэрнатыўных падыходаў і падтрымліваць асяроддзе, у якім новыя спосабы ствараць веды могуць па-сапраўднаму квітнець. Да гэтага погляду звяртаюцца працы, што крытыкуюць універсалізм мыслення і замест яго выступаюць за лакалізацыю і плюрыверсалізм.
- Погляд залучанасці наўпрост заклікае да больш крытычнага позірку на навуку. Ён прапануе разглядаць навуковую практыку з краёў, ставіць патрэбы маргіналізаваных груп у цэнтр праектавання і даследавання і пытацца, адкуль бяруцца веды: каго ўключаюць, а каго выключаюць, у чыіх інтарэсах ужываецца навука, каму затыкаюць рот і якія непрызнаныя дапушчэнні могуць тут дзейнічаць.
Дэкаланіяльная тэорыя дае нам некалькі карысных інструментаў, каб ахарактарызаваць дысбалансы ўлады і несправядлівыя наступствы, якія нясуць перадавыя тэхналогіі накшталт ШІ. Адна з такіх рамак вылучае метраполіі — цэнтры ўлады — і іх перыферыі, у якіх улады адносна менш і якія аспрэчваюць аўтарытэт метраполіі, яе ўдзел і легітымнасць у фармаванні штодзённага жыцця. Тэорыя залежнасці развівае гэтую рамку: яна звязвае каланіяльную гісторыю з сённяшняй недаразвітасцю і ўстойлівым эканамічным дысбалансам паміж краінамі і рэгіёнамі, а залежнасці, што з гэтага вынікаюць, — з гістарычнай дынамікай метраполіі і перыферыі. Праз лінзу метраполіі і перыферыі мы можам часткова распазнаць у сучасных практыках распрацоўкі ШІ рысы каланіяльнай пераемнасці, якая ідзе ад дзяржаў і ўрадаў. Гэтак жа сённяшнія тэхналагічныя карпарацыі можна апісаць як метраполіі тэхналагічнай улады, а грамадзянскую супольнасць і спажыўцоў — як іх перыферыю.
Дыхатаміі метраполіі і перыферыі — гэта інтэрпрэтацыйныя мадэлі, якія пры неасцярожным ужыванні могуць звесці рэальнасць пражытага досведу да занадта спрошчаных бінарных пар: «Захад і ўсе астатнія», «Поўнач і Поўдзень», «магутныя і прыгнечаныя», — і ў гэтым выяўляюцца некаторыя абмежаванні дэкаланіяльнай тэорыі. Акрамя таго, трэба пазбягаць пастак вялікіх гістарычных метанаратываў пра несправядлівасць, якія апелююць да тэарэтычнай ідэі «глабальнага» і «гавораць ад імя прыгнечаных». Патрэбную раўнавагу можна знайсці, калі ўключаць іншыя кірункі дэкаланіяльнай думкі: кантрапунктны аналіз Эдварда Саіда, псіхадынамічныя падыходы Франца Фанона і Ашыса Нандзі, эканамічны аналіз, гістарычную і літаратурную крытыку і не толькі. Праз абмежаванні тэорыі мы лічым важным уключыць і шырэйшы погляд крытычнай навукі, пра які гаварылася ў папярэднім раздзеле.
Алгарытмічная каланіяльнасць
Пазнаючы ў лічбавую эпоху адпаведнікі тэрытарыяльнай і структурнай каланіяльнасці, мы прапануем ужыць дэкаланіяльную тэорыю да лічбавых тэхналогій, такіх як ШІ. Лічбавыя прасторы — створаныя інтэрнэтам і ўсё больш звязанымі ў сетку сістэмамі і прыладамі, якімі мы карыстаемся, — утвараюць лічбавыя тэрыторыі, што, як і фізічныя прасторы, схільныя ператварацца ў месцы выкачвання рэсурсаў і эксплуатацыі, а значыць — у месцы лічбава-тэрытарыяльнай каланіяльнасці. Праяўляецца і лічбава-структурная каланіяльнасць: каланіяльнасць улады можна заўважыць у лічбавых структурах — у сацыякультурных уяўленнях, сістэмах ведаў і спосабах распрацоўкі і выкарыстання тэхналогій, якія абапіраюцца на сістэмы, інстытуцыі і каштоўнасці, што захаваліся з мінулага і не ставяцца пад сумнеў сёння. Таму новыя тэхналогіі, як ШІ, наўпрост падпадаюць пад уплыў каланіяльнасці, а дэкаланіяльныя крытычныя тэорыі атрымліваюць магутную аналітычную ролю.
Тэорыі каланіялізму даных і капіталізму даных, што толькі складваюцца, прызнаюць гэтую гістарычную пераемнасць і ролю даных як матэрыяльнага рэсурсу, які эксплуатуюць дзеля эканамічнай экспансіі. Паола Рыкаўртэ распрацоўвае тэарэтычную мадэль, якая аналізуе каланіяльнасць тэхналагічнай улады праз даныя: яна разглядае даныцэнтрычныя эпістэмалогіі як выраз каланіяльнасці ўлады — у тым, як яны навязваюць «спосабы быцця, мыслення і адчування, што вядуць да выгнання людзей з грамадскага парадку, адмаўляюць існаванне альтэрнатыўных светаў і эпістэмалогій і пагражаюць жыццю на Зямлі». Нік Колдры і Улісес Мехіяс далей развіваюць тэму каланіяльнай пераемнасці ў выкачванні і эксплуатацыі зямлі, працы і адносін праз лічбавую інфраструктуру. Гэтую шырэйшую вобласць тэхналагічнай каланіяльнасці развіваюць і даследчыкі інтэрсекцыйнага фемінізму даных, крытычнай тэорыі расы, дэкаланізацыі тэхналогій, новых эпістэмалогій даных, а таксама экалагічнай устойлівасці і справядлівасці.
Мы ўводзім тэрмін «алгарытмічная каланіяльнасць», каб развіць ідэю каланіялізму даных у кантэксце ўзаемадзеяння алгарытмаў з грамадствамі — узаемадзеяння, якое ўплывае на размеркаванне рэсурсаў, на сацыякультурныя і палітычныя паводзіны людзей і на існыя дыскрымінацыйныя сістэмы. Мы таксама пачынаем разбіраць, як каланіяльнасць праяўляецца ў алгарытмічных сістэмах прыняцця рашэнняў, калі тыя ствараюць новыя рынкі працы, уплываюць на геапалітычную дынаміку ўлады і на этычны дыскурс. Ніжэй мы ўводзім мову дэкаланіяльнасці ў сённяшнюю размову пра справядлівасць, падсправаздачнасць і празрыстасць алгарытмічных сістэм і прапануем таксаномію дэкаланіяльнага прадбачання: інстытуцыялізаваны алгарытмічны прыгнёт, алгарытмічная эксплуатацыя і алгарытмічнае пазбаўленне. У межах гэтых формаў дэкаланіяльнага прадбачання мы разглядаем шэраг выпадкаў, якія лічым ачагамі каланіяльнасці: алгарытмічныя сістэмы прыняцця рашэнняў, «прывідную працу», бэта-тэсціраванне, нацыянальную палітыку і міжнароднае сацыяльнае развіццё. Ачагамі каланіяльнасці мы называем выпадкі структурнай няроўнасці, якія можна гістарычна асэнсаваць як каланіяльную пераемнасць. Гэтыя ачагі дапамагаюць убачыць, дзе эмпірычныя назіранні разыходзяцца з сённяшнімі тэарэтычнымі рамкамі ўлады ў ШІ, якія ў большасці сваёй пазагістарычныя. Выкарыстоўваючы іх, каб разабрацца з гэтым сутыкненнем тэорыі і эмпірыкі, мы даводзім: размова пра ўладу і няроўнасць у сувязі з ШІ не можа быць пазагістарычнай і застаецца няпоўнай, калі не прызнае каланіяльнай пераемнасці.
Алгарытмічны прыгнёт
Алгарытмічны прыгнёт праз аўтаматызаваныя, кіраваныя данымі і прагнастычныя сістэмы пашырае несправядлівае падпарадкаванне адной сацыяльнай групы і прывілеяванае становішча другой — тое, што падтрымліваецца «складанай сеткай сацыяльных абмежаванняў»: ад грамадскіх нормаў, законаў і інстытуцыйных правілаў да неўсвядомленых прадузятасцей і стэрэатыпаў. Паняцце алгарытмічных, або аўтаматызаваных, формаў прыгнёту вывучалі, у прыватнасці, Сафія Ноубл і Вірджынія Юбэнкс. Наступныя прыклады праводзяць першыя сувязі паміж праявамі алгарытмічнага прыгнёту ў розных частках свету і паказваюць, якую ролю ў гэтай размове можа адыграць дэкаланіяльная тэорыя.
Ачаг 1: алгарытмічныя сістэмы прыняцця рашэнняў
Прагнастычныя сістэмы на аснове ШІ прывялі да новых формаў паліцэйскай дзейнасці і сачэння, змянілі доступ да дзяржаўных паслуг і перайначылі ўяўленні пра ідэнтычнасць і свабоду слова ў лічбавую эпоху. Распрацоўвалі такія сістэмы нібыта для таго, каб даць інструменты падтрымкі рашэнняў — абгрунтаваныя фактамі, непрадузятыя і паслядоўныя. Аднак тое, як гэтыя інструменты ўкараняюцца на практыцы, часта паказвае адваротнае. Такія сістэмы рызыкуюць замацаваць гістарычную несправядлівасць і ўзмацніць сацыяльныя прадузятасці, закладзеныя ў даных, на якіх іх распрацоўвалі.
Прыкладаў хапае. Скажам, праваабаронцы ў лічбавай сферы шырока выказвалі заклапочанасць распазнаваннем асоб у камерах відэаназірання ў Сінгапуры ў межах ініцыятывы «Ліхтарны слуп як платформа» (Lamppost as a Platform, LaaP), сістэмай прагнастычнай паліцэйскай дзейнасці CMAPS у Нью-Дэлі, індыйскай сістэмай ідэнтыфікацыі Aadhaar, кенійскай лічбавай біяметрычнай сістэмай ідэнтыфікацыі Huduma Namba і алгарытмічнымі ўмяшаннямі ўрада Новай Зеландыі ў лёс дзяцей маоры ў межах сістэмы сацыяльнай абароны. Тое, як прагнастычныя алгарытмы ўплываюць на людзей — ад звычайных грамадзян да найбольш уразлівых, — паказвае, што да пытанняў справядлівасці ў аўтаматызаваных сістэмах трэба падыходзіць па-рознаму і з улікам кантэксту.
Алгарытмічныя сістэмы прыняцця рашэнняў усё шырэй ужываюцца ў крымінальным правасуддзі ЗША, хаця ёсць пераканаўчыя сведчанні іх хібаў — напрыклад, таго, што крымінальныя базы даных адлюстроўваюць узоры дыскрымінацыйнай паліцэйскай практыкі. І па-за крымінальным правасуддзем ёсць мноства выпадкаў, калі прагнастычныя алгарытмы ўвекавечваюць сацыяльную шкоду ў штодзённым жыцці: сістэмы распазнавання асоб не бачаць чорных твараў і ўвекавечваюць гендарныя стэрэатыпы; алгарытмы выяўлення мовы варожасці пазначаюць як «таксічныя» гаворку чорных амерыканцаў і квір-слэнг; новыя інструменты найму дыскрымінуюць жанчын; аўтаматызаваныя сістэмы праверкі ў аэрапортах сістэматычна адпраўляюць транс-людзей на дадатковы дагляд; а прагнастычныя алгарытмы ўжываюцца, каб нібыта распазнаць квірнасць адно па фотаздымку твару.
Сённяшнюю размову пра сацыятэхнічныя сістэмы, у межах якой абмяркоўваюцца многія з гэтых выпадкаў, можна ўзбагаціць, калі змясціць гэтую несправядлівасць у гістарычны кантэкст глабальных сістэм расавага капіталізму, класавай няроўнасці і гетэранарматыўнага патрыярхату, што карэнямі сыходзяць у каланіяльную гісторыю. Што тычыцца расавага капіталізму, то, услед за Паолай Рыкаўртэ, Нікам Колдры і Улісесам Мехіясам, Стэфаніяй Мілан і Эміліянай Трэрэ, мы прапануем разумець інстытуцыйную шкоду, якую ўзнаўляюць аўтаматызаваныя інструменты прыняцця рашэнняў, як працяг «гісторый расісцкай экспрапрыяцыі», непарыўна з імі звязаны, — бо «толькі адсочваючы ўзаемасувязі паміж зменлівымі формамі капіталізму і расізму, мы можам спадзявацца адказаць на самыя вострыя выклікі сацыяльнай несправядлівасці».
Дэкаланіяльная рамка дапамагае звязаць праявы алгарытмічнага прыгнёту з шырэйшым сацыяльна-палітычным і культурным кантэкстам і дазваляе аналізаваць рызыкі і магчымасці сістэм ШІ шырока — геаграфічна, гістарычна і інтэрсекцыйна. Важна, што яна дазваляе выйсці ў аналізе за межы паўночнаамерыканскіх ці еўрапейскіх уяўленняў пра ідэнтычнасць і шкоду. Калі звязваць праявы алгарытмічнага прыгнёту ў розных частках свету, з’явяцца новыя падыходы, якія больш крытычна і ўдумліва разглядаюць альтэрнатыўныя магчымасці выкарыстання тэхналогій у сацыяльна складаных умовах, — а разам з імі і праекты, у якія з самага пачатку закладзеныя інклюзіўныя і добра прыстасаваныя механізмы нагляду і выпраўлення шкоды.
Алгарытмічная эксплуатацыя
Паняцце алгарытмічнай эксплуатацыі апісвае, як інстытуцыйныя гульцы і галіны, што групуюцца вакол алгарытмічных інструментаў, нячэснымі або неэтычнымі сродкамі выкарыстоўваюць людзей (часта ўжо маргіналізаваных) — і выгада ад гэтага асіметрычна дастаецца гэтым галінам. Наступныя прыклады разглядаюць каланіяльную пераемнасць у працоўных практыках і навуковых эксперыментах у алгарытмічных індустрыях.
Ачаг 2: «прывідныя работнікі»
Многія нядаўнія поспехі ШІ магчымыя толькі тады, калі патрэбныя для іх велізарныя аб’ёмы даных размячаюць людзі — эксперты, якія выяўляюць элементы здаровага сэнсу, што робяць даныя прыдатнымі для пэўнай задачы. Тыя, хто зарабляе на жыццё такой разметкай, — так званыя «прывідныя работнікі» — працуюць аддалена, раскіданыя па ўсім свеце: на анлайн-платформах для разметкі або ў спецыялізаваных кампаніях. У крайніх выпадках даныя размячаюць вязні і эканамічна ўразлівыя людзі ў краінах са слабым працоўным заканадаўствам. Карціна тут няпростая. З аднаго боку, такая размеркаваная праца спрыяе эканамічнаму развіццю, дае гнуткасць у рабоце і новыя формы рэабілітацыі. З другога — яна ўсталёўвае форму выкачвання ведаў і працы, якая аплачваецца вельмі нізка і амаль не ўлічвае ўмоў працы, сістэм падтрымкі і гарантый бяспекі.
Дэкаланіяльная лінза зрушвае наш позірк: мы пачынаем бачыць, як каланіяльная гісторыя ўплывае на сённяшняе рэгуляванне працы і на тое, як яно выконваецца, і як здольнасць пераносіць вытворчасць і аддаваць паслугі на аўтсорсінг праз межы дазваляе галінам карыстацца сённяшняй посткаланіяльнай эканамічнай няроўнасцю, каб «перабудоўваць вытворчасць такімі спосабамі і ў такіх месцах, якія зніжаюць выдаткі і павялічваюць карпаратыўны прыбытак». Логіка каланіяльнага выкачвання і эксплуатацыі «мутавала, але і захоўвае пераемнасць сёння», падтрымліваючы посткаланіяльную эканамічную няроўнасць, сувязь якой з гістарычнай каланіяльнай дзейнасцю даказана эмпірычна. Генерацыя і апрацоўка даных адкрываюць магчымасці для выкачвання і раскопак у індустрыях здабычы даных (data mining), пра якія можна сказаць, што іх праца «урасла ў практыкі і тэхнікі экстракцыі [і] ёсць свайго роду каланіяльны адбітак», — і часткова гэта пацвярджае тое, што многія «прывідныя работнікі» жывуць у былых калоніях.
Ачаг 3: бэта-тэсціраванне
Гісторыя эксплуатацыі маргіналізаваных груп дзеля навуковага і тэхналагічнага прагрэсу доўгая і добра задакументаваная. Калоніі Брытанскай імперыі «служылі лабараторыяй для эксперыментаў з новымі формамі медыцынскай і навуковай практыкі». Навуковыя эксперыменты на афраамерыканцах ідуць праз гісторыю бесперапынна — ад ранніх доследаў над заняволенымі чорнымі жанчынамі і немаўлятамі ў XIX стагоддзі, на якіх збудаваная гінекалогія як галіна медыцыны, да даследавання сіфілісу ў Таскігі. Такія эксперыментальныя практыкі і далей адбіваюцца на тым, як у былых калоніях — часта былымі ж каланізатарамі — ствараюцца праграмы сацыяльна-эканамічнага развіцця.
Менавіта праз гэтую гістарычную лінзу мы разглядаем практыку бэта-тэсціравання — праверкі і даводкі ранніх версій праграмных сістэм, каб выявіць праблемы ў іх выкарыстанні ў рэальных умовах, з рэальнымі карыстальнікамі і задачамі. Тэстуючы прагнастычныя сістэмы, мы сустракаем некалькі адназначна эксплуататарскіх сітуацый, калі арганізацыі выкарыстоўваюць чужыя краіны як выпрабавальныя палігоны — якраз таму, што там няма ўсталяваных гарантый і правілаў адносна даных і іх выкарыстання, або таму, што такія выпрабаванні парушалі б законы ў іх уласных краінах. Гэтая з’ява вядомая як этычны дэмпінг: экспарт кампаніямі шкоды і неэтычных даследчых практык да маргіналізаваных і ўразлівых груп насельніцтва або ў краіны з нізкім і сярэднім узроўнем даходу — экспарт, які часта ідзе «па старых лініях разлому каланіялізму». Адваротны бок этычнага дэмпінгу — этычнае ўхіленне: тое, чаго не робяць для абароны людзей, калі шкода выходзіць за межы таго, што патрабуюць прававыя ці рэгулятыўныя рамкі.
Напрыклад, Cambridge Analytica (CA) вырашыла выпрабаваць і даводзіць свае алгарытмічныя інструменты на выбарах у Кеніі 2017 года і ў Нігерыі 2015 года, каб потым выкарыстаць гэтыя інструменты на выбарах у ЗША і Вялікабрытаніі. Кенію і Нігерыю выбралі збольшага таму, што законы аб абароне даных там слабейшыя, чым у Вялікабрытаніі, дзе базавалася CA, — наглядны прыклад этычнага дэмпінгу. Пазней высветлілася, што гэтыя сістэмы актыўна ўмешваліся ў выбарчыя працэсы і падрывалі грамадскую згуртаванасць. Крытычны дэкаланіяльны падыход, напрыклад, загадзя прымусіў бы нас спытаць, чаму парушэнні дэмакратычных працэсаў з боку кампаній накшталт CA прыцягнулі міжнародную ўвагу і выклікалі мабілізацыю толькі тады, калі пачалі закранаць заходнія дэмакратыі.
Яшчэ адзін выпадак бэта-тэсціравання — прагнастычныя алгарытмы для ўмяшання ў справы аховы дзяцінства, якія ўкараніў урад Новай Зеландыі: спачатку яны былі нацэленыя на маоры, карэнны народ Новай Зеландыі, які даўно церпіць ад інстытуцыйнага расізму. Падобна высветлілася, што кампанія па аналізе даных Palantir эксперыментальна ўкараніла прагнастычныя алгарытмы ў Новым Арлеане (разам з гарадской паліцыяй) без адабрэння грамадскасці. Гэтыя інструменты выкарыстоўвалі, каб браць пад паліцэйскае сачэнне канкрэтных людзей і кварталы, і непрапарцыйна моцна яны ўдарылі па афраамерыканцах. Ніводзін з гэтых выпадкаў нельга разглядаць пазагістарычна: для афраамерыканцаў, напрыклад, існуе гістарычная пераемнасць ад гінекалагічных эксперыментаў XIX стагоддзя праз эксперыменты ў Таскігі ў XX стагоддзі да прагнастычнай паліцэйскай дзейнасці і бэта-тэсціравання ў XXI.
Перспектыва гістарычнай пераемнасці, якую дае дэкаланіяльная тэорыя, ставіць важныя пытанні падсправаздачнасці, адказнасці, магчымасці аспрэчыць рашэнне і атрымаць кампенсацыю. Яны становяцца ўсё больш надзённымі ў заблытаных абставінах слабога рэгулявання — асабліва калі фірмам, што выходзяць на новыя рынкі, бракуе мясцовай экспертызы і ведаў пра гістарычны кантэкст. Рызыкі ўзнікнуць, калі мы не будзем вывучаць, як сёння этычныя стандарты адрозніваюцца ў залежнасці ад ідэнтычнасці і геаграфіі і як алгарытмы і аўтаматызаваныя сістэмы ўзаемадзейнічаюць з існым сацыяльным расслаеннем — і на мясцовым, і на глабальным узроўні.
Алгарытмічнае пазбаўленне
Паняцце алгарытмічнага пазбаўлення (algorithmic dispossession) абапіраецца на ідэі Дэвіда Харві і Джыма Тэтчара з калегамі. Яно апісвае, як у лічбавай эканоміцы, што расце, пэўная рэгулятыўная палітыка вядзе да таго, што ўлада, актывы ці правы канцэнтруюцца ў руках меншасці, а бяссільная большасць іх пазбаўляецца. Наступныя прыклады разглядаюць гэты працэс у кантэксце міжнародных стандартаў кіравання ШІ (палітыкі і этыкі) і выкарыстання ШІ для міжнароднага сацыяльнага развіцця.
Ачаг 4: нацыянальная палітыка і кіраванне ШІ
Дысбалансы ўлады ў глабальнай размове пра кіраванне ШІ ахопліваюць праблемы няроўнасці ў доступе да даных і суверэнітэту над інфраструктурай даных — але не толькі іх. Мы мусім адказаць на пытанні: каго абараняюць тыя ці іншыя рэгулятыўныя нормы і стандарты ШІ, хто мае ўладу гэтыя нормы распаўсюджваць і якія рызыкі нясе тое, што меншасць і далей атрымлівае выгаду ад канцэнтрацыі ўлады і капіталу праз механізмы пазбаўлення. Як нагадваюць Шэйла Джасанаф і Бенджамін Хёрлбат, трэба памятаць, «хто сядзіць за сталом, якія пытанні і праблемы адсоўваюцца ўбок і якая асіметрыя ўлады вызначае ўмовы дыскусіі».
Агляд глабальнага ландшафту этычных кіраўніцтваў па ШІ звярнуў увагу на «недапрадстаўленасць такіх геаграфічных рэгіёнаў, як Афрыка, Паўднёвая і Цэнтральная Амерыка і Цэнтральная Азія» ў дыскусіі пра этыку ШІ. Аўтары агляду адзначаюць дысбаланс улады: «больш эканамічна развітыя краіны фармуюць гэтую дыскусію больш, чым іншыя, і гэта выклікае занепакоенасць, што мясцовыя веды, культурны плюралізм і патрабаванні глабальнай справядлівасці застануцца па-за ўвагай». Падобную дынаміку мы бачым, калі разглядаем, як па ўсім свеце множацца нацыянальныя стратэгіі ў галіне ШІ. Некаторыя бачаць у гэтым праяву новай геапалітыкі «звышдзяржаў ШІ» і ўздым «ШІ-нацыяналізму», калі краіны змагаюцца за тое, каб распаўсюдзіць свой погляд на палітыку, прыкладныя падыходы і тэхнічныя паслугі. Адна з магчымых сцэн каланіяльнасці адразу ўзнікае ў Кай-Фу Лі: «Калі яны [краіны, што развіваюцца] не хочуць увагнаць свой народ у беднасць, ім давядзецца дамаўляцца з той краінай, якая пастаўляе ім большую частку праграмнага забеспячэння ШІ, — з Кітаем ці са Злучанымі Штатамі, — і па сутнасці стаць эканамічнай залежнасцю гэтай краіны». Можна сцвярджаць, што такім чынам падрываецца суб’ектнасць краін, што развіваюцца: яны «не могуць дзейнічаць аднабакова, каб выпрацаваць уласныя правілы», і не могуць разлічваць, што іх інтарэсы будуць хутка абароненыя.
Такія асцярогі пацвердзіліся на саміце «Вялікай дваццаткі» (G20) 2019 года, калі шэраг краін, што развіваюцца, — у тым ліку Індыя, Інданезія і Паўднёвая Афрыка — адмовіліся падпісаць «Асакскі трэк», міжнародную дэкларацыю пра патокі даных, бо палічылі, што іх інтарэсы, праблемы і прыярытэты ў дакуменце не прадстаўленыя. Падрыў інтарэсаў і суб’ектнасці краін, што развіваюцца, — актуальнае пытанне і ў дачыненні да Прынцыпаў АЭСР у галіне ШІ. Па меры таго як краіны-партнёры па ўсім свеце прымаюць і ўкараняюць гэтыя кіраўніцтвы, усплываюць падобныя асцярогі наконт выключальнай залежнасці ад абранага шляху і перавагі тых, хто прыйшоў першым. Акрамя таго, ёсць рызыка, што кіраўніцтвы па кіраванні ШІ будуць капіравацца з адной юрысдыкцыі ў другую так, што — нягледзячы на ўсе добрыя намеры — акажуцца несумяшчальнымі з патрэбамі, мэтамі і абмежаваннямі краін, што развіваюцца.
У гэтых выпадках выпрацоўкі палітыкі выразна відаць іерархіі ўлады, якія можна прааналізаваць з дапамогай ужо згаданай мадэлі метраполіі і перыферыі. Менавіта метраполіі (ці то ўрады, ці то індустрыя) маюць уладу навязваць нарматыўныя каштоўнасці і стандарты і могуць рабіць гэта, «рызыкуючы задушыць альтэрнатыўныя бачанні». Мадэль метраполіі і перыферыі звяртае ўвагу на тое, што ў працэсах кіравання ШІ трэба прадстаўляць каштоўнасці, інтарэсы, праблемы і прыярытэты краін з абмежаванымі рэсурсамі, — і на гістарычную дынаміку, якая гэтаму перашкаджае. Дэкаланіяльная тэорыя дае тым, хто выпрацоўвае палітыку ў галіне ШІ, рамку, каб дапытвацца пра дысбалансы ўлады ў палітычнай размове пра ШІ, разумець структурныя залежнасці краін, што развіваюцца, ставіць пытанне, каму належыць крытычна важная інфраструктура даных, і ацэньваць дысбалансы ўлады ў праектаванні, распрацоўцы і ўкараненні вылічальных тэхналогій, а таксама няроўнае размеркаванне рызык і эканамічнай выгады.
Ачаг 5: міжнароднае сацыяльнае развіццё
Значная частка сённяшняй палітычнай размовы пра ШІ ў краінах, што развіваюцца, тычыцца эканамічнага і сацыяльнага развіцця: перадавыя тэхналогіі прапануюцца там як рашэнне для складаных праблем развіцця — пра гэта сведчаць кірункі «ШІ дзеля дабра» (AI for Good) і «ШІ дзеля Мэтаў устойлівага развіцця» (AI4SDGs), што хутка растуць. У гэтай размове Бен Грын сцвярджае, што «добрага недастаткова» і што трэба пашырыць сённяшнія вузкія і расплывістыя азначэнні таго, што такое «сацыяльнае дабро», якімі карыстаюцца камп’ютарныя навукі.
Каб гэта зрабіць, можна абаперціся на ўжо існы аналіз інфармацыйна-камунікацыйных тэхналогій для развіцця (ICT for Development, ICT4D), які часта грунтуецца на гістарычным аналізе і дэкаланіяльнай крытыцы. Гэтая крытыка паказвае на праблемы залежнасці, пазбаўлення, этычнага дэмпінгу і ўхілення, пра якія ішла гаворка вышэй. Яна набывае новую форму цяпер, калі ШІ падаюць як неабходны інструмент сацыяльнага развіцця. Калі адна з глыбінных прычын правалу праектаў развіцця — звычайныя ўстаноўкі патэрналізму, тэхналагічнага салюцыянізму і драпежніцкага ўключэння (як, напрыклад, у «гуманітарызме сачэння»), — то дэкаланіяльнае мысленне зрушвае наш позірк да сістэм, якія, наадварот, умацоўваюць актыўную і ўцягнутую палітычную супольнасць. Гэта азначае, што праектаваць і ўкараняць сістэмы ШІ трэба, зыходзячы з суб’ектнасці, упэўненасці ў сабе і самастойнасці тых супольнасцей, дзеля якіх яны працуюць, — напрыклад, распрацоўваючы алгарытмічныя ўмяшанні сумесна з супольнасцямі, у якіх іх будуць ужываць.
Сумесная распрацоўка — толькі адна з магчымых стратэгій у разнастайным наборы інструментаў, якія дапамагаюць зрабіць сістэмы ШІ сацыяльна-палітычна, эканамічна, моўна і культурна адпаведнымі для розных супольнасцей, а таксама зрушыць асіметрыю ўлады. Дэкаланіяльны погляд дае нам інструменты для рэфлексіўнай ацэнкі і пастаяннага разгляду праблем культурнай сустрэчы, а таксама імпульс ставіць пад пытанне філасофскія асновы самога развіцця. Праз самарэфлексіўную практыку ініцыятывы, што імкнуцца выкарыстоўваць ШІ дзеля сацыяльнага ўплыву, могуць выпрацаваць належныя гарантыі і правілы, якія не дадуць яшчэ мацней замацаваць эксплуатацыю і шкоду, і могуць асэнсоўваць доўгатэрміновыя наступствы алгарытмічных умяшанняў, памятаючы пра гістарычную пераемнасць.
Тактыкі дэкаланіяльнага ШІ
Аб’яднаўшы галіну штучнага інтэлекту з дэкаланіяльнымі тэорыямі, мы можам выкарыстаць гістарычны досвед, каб выпрацаваць новыя інструменты прадбачання і практыкі. Так мы можам закласці асновы дэкаланіяльнага ШІ, які здольны перастварыць галіну штучнага інтэлекту, умацаваўшы яе эмпірычны падмурак, — і адначасова прадбачыць і прадухіляць алгарытмічны каланіялізм і шкоду.
Пяць ачагоў каланіяльнасці з папярэдняга раздзела паказваюць і прымяненні даследаванняў ШІ (яго прадукты і прагнозы — ШІ як аб’ект), і структуры, што яго падтрымліваюць (даныя, сеткі і палітыку — ШІ як суб’ект), як праявы каланіяльнасці ўлады і тэхналагічнай улады. Гэта падводзіць нас да задачы дэкаланізаваць уладу: разабраць шкодную асіметрыю ўлады і ўяўленні пра веды і павярнуцца замест гэтага да «плюрыверсальнай эпістэмалогіі будучыні» (выраз Вальтэра Міньёла), якая, у адрозненне ад універсалізмаў, прызнае і падтрымлівае шырэйшае кола сацыяльна-палітычных, экалагічных, культурных і эканамічных патрэб.
У гэтым апошнім раздзеле мы хочам выпрацаваць наборы тактык для будучага развіцця ШІ, якія, на наш погляд, адкрываюць шмат напрамкаў для далейшых даследаванняў і дзеянняў. Тактыкі не вядуць да канчатковага рашэння ці метаду — яны вядуць да «выпадковага і сумеснага складання іншых наратываў». Нашы тактыкі перагукаюцца з прапановамі многіх іншых даследчыкаў, як змяніць эпістэмічную практыку. Нік Колдры і Улісес Мехіяс выкладаюць бачанне дэкаланізацыі адносін даных праз шэсць задач — пераасэнсаваць, для чаго патрэбныя даныя, аднавіць дабрабыт, назваць альтэрнатыўныя светапогляды, улічваць гендар, абараняць і ствараць новыя формы сацыяльных адносін, — і ўсе яны павінны быць арыентаваныя на сацыяльныя мэты. Паола Рыкаўртэ паказвае, што трэба змяніць рэжымы кіравання данымі, звярнуцца да тэхналагічнага суверэнітэту і суб’ектнасці, улічваць уплыў тэхналагічных сістэм на экалагічныя і ўяўляць сабе альтэрнатыўныя лічбавыя будучыні. Руха Бенджамін заклікае нас пераналадзіць салідарнасць і пераасэнсаваць справядлівасць: пераглядзець праектаванне, праводзіць аўдыты закадаванай роўнасці і ствараць абаліцыянісцкія інструменты, якія па-новаму ўяўляюць тэхналогіі.
Мы прапануем тры тактыкі для будучага праектавання ШІ — падтрымку крытычнай тэхнічнай практыкі ШІ, наладжванне ўзаемнага супрацоўніцтва і адваротных педагогік і абнаўленне афектыўнай і палітычнай супольнасці. Яны заснаваныя на ўроках супраціву і аднаўлення, якія дае гістарычная і дэкаланіяльная крытыка, і на ўжо існай працы, што паказвае, як гэтыя тактыкі можна ажыццявіць на практыцы.
Да крытычнай тэхнічнай практыкі ШІ
Аснова дэкаланіяльнага ШІ — самарэфлексіўны падыход да распрацоўкі і ўкаранення ШІ, які прызнае дысбалансы ўлады і закладзеныя ў ім няяўныя сістэмы каштоўнасцей. Менавіта такую рамку выпрацаваў Філ Агры, калі апісаў паварот да крытычнай тэхнічнай практыкі ШІ (Critical Technical Practice, CTP). Крытычныя тэхнічныя практыкі займаюць сярэдзіну паміж тэхнічнай працай над новымі алгарытмамі ШІ і рэфлексіўнай працай крытыкі, якая выяўляе схаваныя дапушчэнні і альтэрнатыўныя спосабы працы. Ідэя CTP мела вялікі ўплыў і заняла важнае месца ў даследаваннях узаемадзеяння чалавека і камп’ютара (HCI) і ў дызайне. Напоўніўшы CTP дэкаланіяльнасцю, мы можам аказаць плённы ціск на нашу тэхнічную працу: пайсці далей за праектаванне «з чыстым сумленнем» і ацэнкі ўплыву, якія робяцца як другасныя задачы, — да такога спосабу працы, які бесперапынна спараджае вострыя пытанні і ацэнкі таго, наколькі ШІ палітычна абумоўлены сваім становішчам.
Роля практыкі ў такім разуменні з неабходнасцю шырокая. Нядаўнія даследаванні — і ў ШІ, і ў даследаваннях навукі і тэхналогій (STS) — паказваюць абмежаванасць чыста тэхналагічных падыходаў да этычных і сацыяльных экстэрналій ШІ. І ўсё ж тэхнічныя падыходы могуць зрабіць істотны ўнёсак, калі належным чынам адлюстроўваюць каштоўнасці і патрэбы адпаведных зацікаўленых бакоў і груп, якіх гэта датычыць. Такую распрацоўку з улікам кантэксту, пра якую гаворыць CTP, — распрацоўку, што імкнецца ўлічваць узаемадзеянне сацыяльных, культурных і тэхнічных элементаў, — часта называюць гетэрагеннай інжынерыяй. Таму гетэрагенна-крытычная практыка павінна ахопліваць некалькі спосабаў дзеяння: у даследаваннях, арганізацыі, тэсціраванні, палітыцы і актывізме. Мы разгледзім пяць тэм, з якіх складаецца такая практыка: алгарытмічную справядлівасць, бяспеку ШІ, роўнасць і разнастайнасць, выпрацоўку палітыкі і ШІ як інструмент дэкаланізацыі.
Справядлівасць. Даследаванні алгарытмічнай справядлівасці прызналі, што нават намаганні стварыць справядлівы класіфікатар могуць прывесці да дыскрымінацыйных або неэтычных вынікаў для маргіналізаваных груп — у залежнасці ад таго, якая дынаміка ўлады ляжыць у аснове, — бо «сапраўднае» азначэнне справядлівасці часта залежыць ад палітычных і сацыяльных фактараў. Тут да нас зноў звяртаецца Анібал Кіхана: ён пытаецца, каго абараняюць распаўсюджаныя ўяўленні пра справядлівасць, і заклікае разумець выключэнне пэўных груп як «пераемнасць і спадчыну каланіялізму, убудаваныя ў сучасныя структуры ўлады, кантролю і гегемоніі». Такія пытанні звернутыя да крытычнай практыкі, якая ў адказ нядаўна прапанавала метрыкі справядлівасці, што спрабуюць выкарыстоўваць прычыннасць або інтэрактыўнасць, каб больш улічваць кантэкст і тое, як справядлівасць разумеюць самі людзі.
Бяспека. Галіна тэхнічнай бяспекі ШІ займаецца праектаваннем сістэм ШІ, якія бяспечныя і належным чынам узгодненыя з чалавечымі каштоўнасцямі. Тут узнікае філасофскае пытанне ўзгаднення каштоўнасцей: як няяўныя каштоўнасці, што засвойваюць сістэмы ШІ, можна замест гэтага ўзгадніць з каштоўнасцямі іх карыстальнікаў-людзей. Праблема спецыфікацыі ўзнікае, калі ідэальная спецыфікацыя (тое, што мы хочам, каб рабіла сістэма ШІ) разыходзіцца з выяўленай спецыфікацыяй (тым, што сістэма ШІ робіць на самай справе). Гэта зноў ставіць пытанні, з якіх мы пачыналі: чые каштоўнасці і мэты прадстаўленыя і хто мае ўладу фармуляваць і ўбудоўваць гэтыя каштоўнасці, — і выводзіць на размову пра ўтылітарысцкі, кантаўскі і валявы погляды на паводзіны, а таксама пра тое, як прадухіляць і пазбягаць непажаданых і ненаўмысных наступстваў. Важна тут тое, што пытанні сацыяльнай бяспекі трэба абмяркоўваць разам з пытаннямі тэхнічнай бяспекі.
Разнастайнасць. Пад крытычнай лінзай намаганні дасягнуць большай роўнасці, разнастайнасці і інклюзіўнасці (EDI) у навуцы і тэхналогіях ператвараюцца з пануючага дыскурсу — які засяроджваецца на бізнес-аргуменце (так ствараюцца больш эфектыўныя каманды) або на маральным імператыве — у разнастайнасць як крытычную практыку, што наўпрост сутыкаецца з праблемамі гамагенізацыі, улады, каштоўнасцей і культурнага каланіялізму. Такая разнастайнасць змяняе мысленне каманд і арганізацый на самым глыбокім узроўні і дазваляе вырашаць праблемы больш інтэрсекцыйна.
Палітыка. У краінах, што развіваюцца, кіраванне ШІ ўсё больш скіравана на тое, каб заахвоціць мясцовую распрацоўку ШІ, — гэта ініцыятывы ЮНЕСКА, падтрымка палітыкі ў галіне ШІ, якую аказвае UN Global Pulse ва Угандзе і Гане, Нацыянальная стратэгія інавацый і лічбавізацыі Сьера-Леонэ, — або на тое, каб выбудаваць ахоўныя механізмы супраць эксплуататарскіх ці экстрактыўных практык працы з данымі. Хоць карысць такіх ініцыятыў відавочная, міжнародныя арганізацыі, што іх падтрымліваюць, па-ранейшаму знаходзяцца ў метраполіях, і таму патрэба ў самарэфлексіўных практыках і ў тым, каб улічваць шырэйшую палітычную эканомію, застаецца.
Супраціў. Тэхналогіі супраціву часта ўзнікалі як вынік процістаяння каланіяльнасці: іх ствараюць самаарганізаваныя супольнасці, каб «абысці дынаміку і кантроль дзяржавы і карпарацый». Абноўленая крытычная практыка можа таксама спытаць, ці можна выкарыстаць сам ШІ як інструмент дэкаланізацыі — напрыклад, каб выкрываць сістэмныя прадузятасці і месцы, дзе патрэбнае выпраўленне. Так, Ірэн Чэнь і яе калегі ўвасабляюць ідэю выкарыстаць ШІ, каб ацаніць сістэмныя прадузятасці і зменшыць няроўнасць у медыцынскай дапамозе: яны вывучаюць смяротнасць і паўторныя шпіталізацыі ў псіхіятрыю на працягу 30 дзён у залежнасці ад расы, полу і віду медыцынскай страхоўкі як ускоснага паказчыка сацыяльна-эканамічнага становішча. Больш за тое, хоць сістэмы ШІ і абмежаваныя пэўнай сацыятэхнічнай рамкай, мы лічым, што іх можна выкарыстоўваць як інструмент дэкаланізацыі, не трапляючы ў пастку тэхнасалюцыянізму. Калі сістэмы ШІ можна арыгінальна прыстасаваць да мясцовых умоў, яны могуць набыць новую ролю — «крэольскіх тэхналогій», як называе іх Дэвід Эджэртан: тэхналогій, якія знаходзяць карыснае і своеасаблівае ўжыванне ў вялікіх маштабах і па-за тым выкарыстаннем, для якога іх першапачаткова задумвалі.
Узаемнае супрацоўніцтва і адваротнае настаўніцтва
Посткаланіяльныя даследаванні ўсё больш падкрэсліваюць, якую істотную ролю ў змене каланіяльнага погляду ў самой метраполіі адыгралі каланізаваныя народы — сваімі паўстаннямі, актывізмам і самаарганізацыяй. Нягледзячы на каланіяльную ўладу, гістарычныя сведчанні паказваюць, што каланіялізм ніколі не быў толькі навязваннем. Ролі мяняліся: метраполія часта вучылася ў перыферыі, і паміж цэнтрам і перыферыяй складвалася адваротнае настаўніцтва. Сучасная крытычная практыка імкнулася б выкарыстаць гэты дэкаланіяльны імператыў, каб выпрацаваць двайны зрок: актыўна вызначаць цэнтры і перыферыі і рабіць адваротнае настаўніцтва і педагогікі ўзаемнага абмену, што з яго вынікаюць, сваім падмуркам — і адначасова імкнуцца разабраць каланіяльныя бінарнасці.
Адваротнае настаўніцтва наўпрост звяртаецца да філасофскага пытання, што ёсць веды. Захоўваецца напружанне паміж двума поглядамі. Згодна з першым, веды абсалютныя, а даныя, калі сабраць іх дастаткова, дазваляюць пабудаваць поўныя і ўсёабдымныя абстракцыі свету. Згодна з другім, веды заўсёды няпоўныя і залежаць ад адбору і інтэрпрэтацыі ў розных сістэмах каштоўнасцей. Гэтыя процілеглыя погляды на веды даследаваліся па-рознаму — у важнай антрапалагічнай працы Дыяны Форсайт пра веды ў ШІ, у генеалогіі статыстыкі як «маральнай навукі» ў Яна Хакінга і ў «новых эпістэмалогіях даных». Вырашаць, што лічыцца сапраўднымі ведамі, што трапляе ў набор даных, а што ігнаруецца і не ставіцца пад сумнеў, — гэта форма ўлады, якой валодаюць даследчыкі ШІ і якую нельга пакідаць непрызнанай. Менавіта ў супрацьстаянні гэтаму становішчу дэкаланіяльная навука, і асабліва тактыка адваротнага настаўніцтва, пакідае свой след. Мы прапануем тры спосабы — дыялог, дакументацыю і праектаванне, — праз якія можна ажыццявіць узаемнае настаўніцтва.
Дыялог. Адваротныя педагогікі ажыццяўляюць дэкаланіяльны зрух ад патэрналісцкіх да салідарных спосабаў працы, а дасягнуць яго можна праз сістэмы сапраўднага міжкультурнага дыялогу. Такі дыялог ляжыць у аснове міжкультурнай лічбавай этыкі, якая пытаецца, як тэхналогіі могуць падтрымліваць грамадства і культуру, а не ператварацца ў прыладу культурнага прыгнёту і каланіялізму. Міжкультурная этыка падкрэслівае абмежаванасць і каланіяльнасць універсальнай этыкі — этычных рамак, якія пануюць, а не ўключаюць, — і знаходзіць альтэрнатыву ў плюралізме, плюрыверсальнай этыцы і мясцовых праектах. Адзін з падыходаў да адваротных педагогік прапануе Паял Арора ў даследаваннях прыватнасці: яна дапытваецца пра эмпірычную аснову гэтых даследаванняў і заклікае да «эпістэмічнага непаслушэнства» і да таго, каб ролі метраполіі і перыферыі мяняліся.
Дакументацыя. З’явіліся новыя рамкі, якія робяць яўным тое, як уяўленні пра веды закладзеныя ў набор даных і ва ўкаранёныя сістэмы ШІ. «Пашпарты набораў даных» (datasheets for datasets) коратка апісваюць, што ёсць у наборы даных, а чаго ў ім няма, а падобныя яўныя ацэнкі сістэм ШІ дае рамка «картак мадэляў» (model cards). Прыклад з ацэнкай таксічнасці ў артыкуле Маргарэт Мітчэл і яе калег пра карткі мадэляў — просты і пераканаўчы ўзор адваротнай педагогікі: карыстальнікі, якіх датычыла сістэма, выкрылі яе абмежаванні, і гэта прывяло да задакументаваных паляпшэнняў у наступных версіях.
Праектаванне. Расце і разуменне таго, як праводзіць даследаванні, у якіх супольнасці ўдзельнічаюць па-сапраўднаму. Для гэтага ёсць рамкі накшталт «Этычна ўзгодненага праектавання» IEEE (Ethically Aligned Design), рамкі праектавання тэхналагічнай палітыкі накшталт Diverse Voices («Розныя галасы») і механізмы сумеснай выпрацоўкі алгарытмічнай падсправаздачнасці праз удзельныя даследаванні дзеяння (participatory action research). Каб даведацца, як шырокая публіка разумее ролю і ўплыў ШІ, выкарыстоўваюць і фармат грамадзянскіх журы.
Магчыма, не крытычны погляд стаў рухавіком гэтых рашэнняў, і самі гэтыя прапановы маюць свае абмежаванні і падлягаюць крытыцы, але праз пастаянны працэс крытыкі і даследаванняў яны могуць ператварыцца ў магутныя механізмы адваротнага настаўніцтва ў праектаванні і ўкараненні ШІ.
Абноўленыя афектыўныя і палітычныя супольнасці
Тое, як мы будуем крытычную практыку ШІ, залежыць ад сілы палітычных супольнасцей: ад іх здольнасці самім вызначаць, як яны будуць карыстацца ШІ, ад іх уключанасці ў перадавыя тэхналогіі і ўладання імі, ад механізмаў, якія дазваляюць аспрэчваць тэхналагічныя ўмяшанні, выпраўляць іх і адмяняць. Сістэмы, якія мы апісалі ў раздзеле пра алгарытмічную каланіяльнасць, хоць нібыта і распрацоўваліся, каб падтрымаць людзей, што прымаюць рашэнні, і супольнасці, так і не ўцягнулі па-сапраўднаму тых, на каго гэтыя сістэмы былі нацэленыя, — і гэтым адрэзалі шляхі да ўладання, уключанасці і справядлівасці. Гістарычныя сведчанні зноў паказваюць, што такія сітуацыі ўзнікаюць праз патэрналісцкае мысленне і дысбалансы ў праве вырашаць і выбіраць, народжаныя іерархічнымі парадкамі падзелу і бінарнасці, якія ўсталявала каланіяльнасць. Дэкаланіяльны імператыў патрабуе адысці ад тэхналагічнай добразычлівасці і патэрналізму да салідарнасці. Гэты прынцып — адзін з асноўных у дэкаланіяльных тактыках і прадбачанні, і ён звязаны з больш шырокай мэтай — дэкаланізаваць уладу.
Выклік для салідарнасці ў тым, як стварыць новыя віды палітычнай супольнасці, здольныя перабудаваць сістэмы іерархіі, ведаў, тэхналогій і культуры, што дзейнічаюць у сучасным жыцці. Адна з тактык — убудаваць інструменты дэкаланіяльнай думкі ў праектаванне і даследаванні ШІ. Кантрапунктны аналіз Эдварда Саіда — важны крытычны інструмент, які актыўна падводзіць нас да таго, каб выкрываць звычкі і кадыфікацыі, што ўбудоўваюць у нашы даследаванні і прадукты сумнеўныя бінарнасці: метраполія і перыферыя, Захад і ўсе астатнія, навукоўцы і гуманітарыі, прыроднае і штучнае. Іншая даступная нам тактыка — падтрымліваць нізавыя арганізацыі і іх здольнасць ствараць новыя формы афектыўнай супольнасці, узвышаць міжкультурны дыялог і паказваць тыя формы салідарнасці і альтэрнатыўнай супольнасці, якія магчымыя ўжо сёння. Шмат такіх груп ужо існуе і дзейнічае па ўсім свеце, у тым ліку ў самой галіне ШІ, — напрыклад, Data for Black Lives, Deep Learning Indaba, Black in AI і Queer in AI.
Перавага гістарычнага досведу ў тым, што цяпер мы можам вярнуць прынцыпы жыцця, якія каланіяльныя бінарнасці калісьці зрабілі несумяшчальнымі з жыццём. Сяброўства хутка аказваецца «страчаным тропам антыкаланіяльнай думкі», як пісала Ліла Гандзі. Гэта палітычнае сяброўства, якое развівалася ў самых розных формах: у паняцці aimance («сяброўскай любові») у Гіты эль-Хаят і Абдэлькебіра Хатыбі, у палітыцы сяброўства Жака Дэрыда і ў афектыўных супольнасцях Лілы Гандзі, дзе распрацоўшчыкі і карыстальнікі шукаюць саюзаў і сувязяў па-за ўласніцкімі формамі прыналежнасці. Ёсць і іншыя рэсурсы: прынцыпы палітычнай любові, маральныя філасофіі, якія прызнаюць і матэрыяльнае, і нематэрыяльнае развіццё, а таксама такія філасофіі, як убунту і Еднасць. І дэкаланіяльныя прынцыпы, якія мы апісалі, — зрух ад добразычлівасці да салідарнасці, сістэмы адваротнага настаўніцтва, выкарыстанне тэхналагічных рашэнняў, стварэнне крытычнай тэхнічнай практыкі — разам фармуюць гэтыя новыя віды палітычнай і афектыўнай супольнасці. Гэтыя ідэі датычаць самай сутнасці працы над ШІ, бо, як нагадваюць выпадкі з раздзела пра алгарытмічную каланіяльнасць, ШІ і сам фармуецца сучаснай палітычнай супольнасцю, і фармуе яе развіццё.
Нарэшце, усе гэтыя погляды на ШІ разам хутка падводзяць нас да асноўных філасофскіх пытанняў пра тое, што значыць быць чалавекам: як мы ставімся адно да аднаго і жывём разам у прасторах, якія адначасова фізічныя і лічбавыя, як мы спраўляемся з адрозненнямі і транскультурнай этыкай, як мы перагледжваем ролю культуры і ўлады ў штодзённым жыцці, — і як адказы на гэтыя пытанні адлюстроўваюцца ў сістэмах ШІ, якія мы будуем. Ужо адно гэта патрабуе далейшых даследаванняў і дзеянняў, і тут гістарычны досвед і тэхналагічнае прадбачанне могуць зрабіць значны ўнёсак.
Высновы
Гэты артыкул імкнецца паказаць, наколькі важны крытычна-навуковы падыход, і асабліва дэкаланіяльнае мысленне, каб разумець і фармаваць сённяшняе развіццё ШІ. Хоць гэтыя галіны дагэтуль існавалі збольшага паасобку, мы спадзяёмся, што дэкаланіяльныя тэорыі пашыраць здольнасць практыкаў — і нашу ўласную — ставіць крытычныя пытанні да даследаванняў і праектавання тэхналогій, уяўляць альтэрнатыўныя рэальнасці, пытацца, хто і дзе распрацоўвае ШІ, і разбіраць ролю культуры і ўлады, убудаваных у сістэмы ШІ, — і так ажывяць бачанне Філа Агры, яго крытычную тэхнічную практыку ШІ.
Каб увасобіць гэтую крытычную практыку ў жыццё, спатрэбяцца не толькі прадбачанне і даследаванні канкрэтных выпадкаў, але і падыходы, якія падтрымліваюць новыя даследчыя культуры, а таксама наватарскія тэхнічныя даследаванні ў такіх галінах, як справядлівасць, узгадненне каштоўнасцей, прыватнасць і інтэрпрэтавальнасць. Больш за тое, вельмі патрэбныя новыя метадалогіі інклюзіўнага дыялогу паміж зацікаўленымі бакамі ў распрацоўцы ШІ — асабліва такія, у якіх маргіналізаваныя групы маюць сапраўдныя шляхі ўплываць на прыняцце рашэнняў, — каб пазбегнуць драпежніцкага ўключэння і далейшага алгарытмічнага прыгнёту, эксплуатацыі і пазбаўлення.
Любое абавязацельства будаваць адказны і карысны ШІ будучыні звязвае нас з іерархіямі, філасофіяй і тэхналогіямі, успадкаванымі з мінулага, і з новай адказнасцю перад тэхналогіямі сучаснасці. Крытычна асэнсаваць гэтую спадчыну, прадухіліць алгарытмічную каланіяльнасць, выявіць уладныя адносіны, што стаяць за ўкараненнем тэхналогій, вярнуць прынцыпы жыцця, якія калісьці зрабілі несумяшчальнымі з жыццём, і стварыць новыя формы палітычнай і афектыўнай супольнасці — вось задачы, для якіх дэкаланіяльныя тэорыі дадуць ключавыя рэсурсы: праз гетэрагенную практыку, міжкультурны дыялог, крэольскія ШІ, адваротнае настаўніцтва або палітыку сяброўства і любові. Наступныя гады прынясуць хвалю новых навуковых адкрыццяў і тэхналогій, народжаных ШІ, і таму супольнасці ШІ абавязаныя ўмацоўваць грамадскі дагавор праз этычнае прадбачанне і праз усю разнастайнасць даступных нам інтэлектуальных перспектыў — дзеля дабрадзейнасці і справядлівасці для ўсіх.
Shakir Mohamed, Marie-Therese Png, William Isaac, «Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence», Philosophy & Technology, т. 33 (2020), с. 659–684. Пераклад з англійскай паводле артыкула на сайце Springer; анатацыя, ключавыя словы, спіс літаратуры, падзякі, бібліяграфічныя спасылкі і зноскі прапушчаныя (адна змястоўная зноска ўнесеная ў тэкст), нумарацыя раздзелаў знятая. Арыгінал распаўсюджваецца паводле ліцэнзіі Creative Commons Attribution 4.0 International (CC BY 4.0), пераклад — на тых жа ўмовах.
