Кейт Кроуфорд „Пристрастието се превърна в суровина на; IA ”; Интернет новини
Кейт Кроуфорд (@katecrawford) е съосновател (заедно с Мередит Уитакър, @mer__edith) на Института AI Now (@AINowInstitute, блог). Изследовател в Microsoft Research, професор в Нюйоркския университет, тя е специализирана в изучаването на социалните последици от техническите системи, включително ефектите от големите данни, алгоритмите и изкуствения интелект. По случай откриването на гост-председателя за изкуствен интелект и правосъдие, отворен в École normale supérieure, тя направи завладяваща презентация за предизвикателствата на тези технологии. Нека отделим време да го развием !
„Изправени сме пред технически системи с безпрецедентна мощ, които много бързо въздействат върху всички сектори, от образованието до здравеопазването, от икономиката до правосъдието ... И протичащата трансформация е съпътстваща с възхода на авторитаризма и популизма“. Това развитие не е случайно, твърди изследователят: и двете поставят под въпрос централизацията на властта и изискват подобряване на критичното ни разбиране за формите на властта. Тази комбинация засилва трудностите при овладяването на тези инструменти и превръщането им в отговорни и изисква задълбочено разбиране на връзките между политиката, властта и изкуствения интелект. „AI е ново инженерство на енергетиката.“ Науката, обществото и властите трябва да намерят начини да бъдат наистина отговорни. „Това е повече от въпрос на справедливост, лоялност, честност или отговорност! Въпрос на справедливост! », Представя Кейт Крофорд не без страст.
Изображение: Кейт Крофорд на сцената в ENS, заснета от Стефани Хеър.
Крофорд си спомня Елиза, първият чатбот, разработен през 60-те години от компютърния учен Джоузеф Вайзенбаум. Този пионер в AI вече ни предупреждаваше, че примамливият потенциал на AI рискува да ни накара да забравим и да игнорираме неговите дълбоки политически последици. Елиза беше програма с голяма простота, но мнозина, които играеха с нея, бяха впечатлени от програмата, убедени, че някой се крие отзад, за да разговаря с тях. „Тогава най-умните хора в света мислеха. Изкуствен интелект и беше вълнуващо ... ”Weizenbaum вече предупреждаваше за разочарованието, което ще дойде с AI, и подчерта, че тези технологии ще позволят на инженерите да държат на разстояние човешките разходи за проектираните от тях системи. Точно това каза младият инженер от програмата за предсказуема полицейска дейност. Продължаваме да игнорираме социалните последици от инструментите, които създаваме. 60 години по-късно ние все още сме засегнати от тези проблеми, но социалните промени, които произвежда AI, са дълбоки. Трябва да се занимаваме с тези социални, етични и политически проблеми със същия ангажимент и същата строгост, която прилагаме за оптимизацията на техническите системи !
AI е едновременно технология, социална практика и индустриална инфраструктура
„Пристрастията се превърнаха в суровина на AI“
За да бъде още по-конкретна, изследователят води аудиторията си да разгледа изображенията, които захранват нашите системи, да отвори капака и да разбере как работи обучението на системите за разпознаване на изображения. Взема пример за набор от етикетирани изображения, често използвани за системи за обучение по разпознаване на изображения. Това е набор от 13 000 кадъра, използван за обучение на системи за разпознаване на модели ... Но не е без пристрастия. Състои се от 78% портрети на мъже и 84% от портрети на бели хора, което предполага, че системите, обучени от тези данни, ще работят най-добре при белите мъже. Тази игра е съставена предимно чрез "изстъргване" (т.е. извличане на данни, не е задължително със съгласието на пространствата, от които е изсмукана) снимки от Yahoo News между 2002 и 2004 г., когато фактът, че лицето, което е най-присъстващ в основата е този на Джордж Буш. Този прост пример подчертава как наборите данни отразяват съществуващите социални йерархии и структури на властта.
Друг пример е използването на AVA, база данни с коментирани видеоклипове, позволяваща на машините да разберат човешките действия и човешките дейности, като държане на питие или седене на стол. Проблемът е, че когато гледате видеоклипове, свързани с дейност, като игра с деца, виждате само жени, а не мъже. Ако търсите категорията „ритащ човек“, ще намерите само сцени с насилие с мъже, практикуващи кунг-фу! Тези примери показват, че тези бази за обучение разкриват определена визия за нашия живот, много нормативна, много стереотипна и много ограничена.
Тези пристрастия не само замърсяват изображенията, но се срещат и в думите, които тези системи използват, независимо дали за машинен превод, или в автоматичното етикетиране на изображения и видеоклипове. Думите, които използваме, често имат силна конотация на пола, установи едно проучване. По този начин думи като „гений“ или „тактика“ се свързват главно с местоимения от мъжки род, докато думи като „красив“ или „лекция“ се свързват с местоимения от женски род. Тези езикови пристрастия, разбира се, се откриват в емоционалния анализ, който се състои в определяне на емоциите от текстове или изображения на лица или нагласи. Когато беше издаден, API на Google за естествен език свързва термини като еврейски или гей с негативни чувства (вижте „Към автоматизираните и съпричастни взаимодействия“). Терминът Бяла сила се свързва с позитивни настроения, за разлика от феминисткия термин ... "Пристрастието се превърна в суровина на ИИ"
Както е обобщено в малка хумористична графика от компютърния учен Мориц Хард (@mrtz), дълго време се смяташе, че всичко е наред с машинното обучение, докато системите и изследванията се умножат ... и покажат степента на проблема с дискриминацията и това докато разгръщането на тези системи ангажира и въздейства на милиони хора, обяснява тя, показвайки изображение на Джак Никълсън в The Shining, неговото халюцинирано лице в дупката на вратата, което той идва да разбие с брадва и което софтуерът за анализ на изображения описва като "щастлив".