Система распознавания лиц столкнулась с проблемой расовой предвзятости

Недавно система распознавания лиц приняла калифорнийского демократа Джимми Гомеса за потенциального преступника. И это несмотря на то, что он выпускник Гарварда и один из немногих латиноамериканских законодателей, работающих в Палате представителей США. Гомес был одним из 28 членов Конгресса США, чьи сходства обнаружили с фотографиями арестованных людей, в рамках теста, проведенного Американским союзом гражданских свобод в прошлом году в рамках программы Amazon Rekognition. Об этом сообщает Информатор Tech, ссылаясь на CNET. Почти 40% ложных совпадений с помощью инструмента Amazon, который используется полицией, были связаны с цветными людьми. Член палаты представителей США Джимми Гомес Полученные данные усиливают растущую обеспокоенность групп гражданских свобод, законодателей и даже некоторых технологических фирм тем, что распознавание лиц может нанести вред меньшинствам, поскольку технология становится все более распространенной. Одна из форм этой технологии уже используется на iPhone и телефонах на базе Android, и полиция, ритейлеры, аэропорты и школы тоже постепенно приходят к ней. Но исследования показали, что системам распознавания лиц труднее идентифицировать женщин и людей с темной кожей, что может привести к серьезным неприятностям. «Это пример того, как применение технологий в правоприменительной сфере могут привести к пагубным последствиям для сообществ, которые и так достаточно натерпелись», - сказал Джейкоб Сноу, адвокат по технологиям и гражданским свободам в ACLU Северной Калифорнии. Распознавание лиц имеет свои преимущества. Полиция штата Мэриленд использовала эту технологию для установления личности подозреваемого в массовой стрельбе в Capital Gazette. В Индии это помогло полиции выявить почти 3000 пропавших детей в течение четырех дней. Facebook использует технологию для идентификации людей на фотографиях для слабовидящих. Также это стало удобным способом разблокировать смартфон. Но технология не совершенна, и были некоторые неловкие публичные ошибки. Сервис Google Фото однажды назвал двух черных людей гориллами. В Китае женщина заявила, что у коллеги получилось разблокировать ее iPhone X с помощью Face ID. Шанс того, что их неправильно опознают, усиливаются, когда правоохранительные органы используют распознавание лиц для идентификации подозреваемых в совершении преступления или для разоблачения протестантов. «Когда вы даете [эту технологию], правоохранительным органам для обнаружения преступника, это совсем другой случай», - сказал Гомес. «Этим создаете ситуацию, когда ошибка может привести к летальному исходу между правоохранительными органами и этим человеком». Законодатель отметил, что технические инженеры часто думают о том, как заставить что-то работать, и недостаточно думают о том, как инструменты, которые они создают, отразятся на меньшинствах. Технологические компании отреагировали на критику и начали процесс улучшения данных, используемых для обучения их систем распознавания лиц. Но взамен они призвали к усилению государственного регулирования, чтобы помочь защитить технологию от злоупотреблений. По оценкам исследователей из юридической школы Джорджтауна, каждый второй взрослый американец находится в сети распознавания лиц, используемой правоохранительными органами. Amazon выступила против исследования ACLU, утверждая, что организация использовала неправильные настройки при запуске теста. «Машинное обучение является очень ценным инструментом, помогающим правоохранительным органам, и, несмотря на то, что оно применяется правильно, мы не должны выбрасывать духовку, потому что ошибка в настройке температуры сожжет пиццу» - написал Мэтт Вуд, генеральный менеджер по искусственному интеллекту в Amazon Web Services, в блоге компании.

Проблема распознавания

Существуют различные причины, по которым сервисам распознавания лиц может быть сложнее идентифицировать различные меньшинства и женщин по сравнению с белыми мужчинами. Публичные фотографии, которые технические работники используют для обучения компьютеров распознаванию лиц, могут содержать больше белых людей, чем представителей меньшинств, говорит Клэр Гарви, старший сотрудник Центра конфиденциальности и технологий юридической школы Джорджтауна. Например, если компания использует фотографии из базы данных знаменитостей, она будет ориентирована на белых людей, потому что представителей меньшинств гораздо меньше в Голливуде. Исследования показывают, что технологии распознавания лиц труднее идентифицировать людей с более темной кожей  По словам Гарви, инженеры технологических компаний, в состав которых в основном входят белые люди, могут не специально разрабатывать системы распознавания лиц, ориентированные на белых. Согласно исследованиям, людям труднее распознать лица другой расы, что в итоге может передастся на искусственный интеллект. Также проблемы могут возникнуть из-за отсутствия цветового контраста на более темной коже или из-за косметики, которую наносят женщины, чтобы скрыть морщины. По данным исследования, проведенного исследователями из MIT Media Lab, системам распознавания лиц, разработанным Microsoft, IBM и Face++, было сложнее определить пол темнокожих женщин, по сравнению с белыми мужчинами. Другое исследование, проведенное MIT, показало, что технология распознавания лиц Amazon сработала еще хуже, чем остальные до этого.

Роль технологических компаний

Amazon оспорила результаты исследования MIT. Пресс-секретарь в блоге назвала исследование «вводящим в заблуждение». Исследователи использовали «анализ лица», который определяет характеристики лица, такие как пол или улыбка, а не распознавание лица, которое сопоставляет лицо человека с похожими лицами на фотографиях или видео. «Анализ лица и распознавание лица совершенно разные с точки зрения базовой технологии и данных, используемых для их обучения», - сказал Вуд в своем блоге об исследовании MIT. «Пытаться использовать анализ лица для оценки точности распознавания лиц нецелесообразно, так как он не предназначен для этой цели». Это не значит, что технические гиганты не думают о расовых предрассудках. В прошлом году Microsoft заявила, что ее инструмент распознавания лиц через Azure Cognitive Services уменьшил количество ошибок при идентификации женщин и темнокожих мужчин до 20 раз. Facebook также использует распознавание лиц, чтобы отмечать людей на фотографиях. Ее представитель сказал, что компания гарантирует, что данные, которые она использует, «сбалансированы и отражают разнообразие пользователей Facebook». Google указал на опубликованные им принципы искусственного интеллекта, которые включают запрет на «создание или усиление несправедливой предвзятости». В целях продвижения исследования справедливости и точности распознавания лиц в январе IBM выпустила набор данных для разработчиков под названием Diversity in Faces, который рассматривает не только тон кожи, возраст и пол. Данные включают в себя 1 миллион изображений человеческих лиц, помеченных такими метками, как симметрия лица, длина носа и высота лба. «У нас есть все эти субъективные и неясные представления о том, что означает разнообразие», - сказал Джон Смит, ведущий ученый Diversity in Faces в IBM. IBM создала набор данных с миллионным лиц, чтобы помочь уменьшить предвзятость в технологии распознавания лиц.  Компания собирала изображения с фото-сайта Flickr, что стало поводом для критики со стороны некоторых фотографов, экспертов и активистов за то, что компания не сообщила людям, что их изображения используются для улучшения технологии распознавания лиц. В ответ IBM заявила, что серьезно относится к конфиденциальности, и пользователи могут изъять свои данные.

Необходимы четкие правила

Даже несмотря на то, что технологические компании стремятся повысить точность своей технологии распознавания лиц, опасения, что эти инструменты могут быть использованы для дискриминации иммигрантов или меньшинств, не исчезают. Отчасти это потому, что люди все еще борются с предвзятостью в бытовой жизни. Правоохранительные органы и правительство могут по-прежнему использовать эту технологию для выявления политических протестантов или отслеживания иммигрантов, тем самым, подвергая риску их свободу, утверждают группы по защите гражданских прав и эксперты. «Очень точная система также становится невероятно мощным инструментом наблюдения», - сказал Гарви. Борцы за права и технологические компании призывают правительство к действиям. «Единственный эффективный способ управления использованием технологий правительством - это активное управление самим правительством», - написал президент Microsoft Брэд Смит в своем блоге. «И если есть опасения по поводу того, как технология будет использоваться в обществе, единственный способ урегулировать это использование - взяться за это правительству». ACLU призвал законодателей временно запретить правоохранительным органам использовать технологию распознавания лиц. Гражданские правозащитные организации также отправили письмо в Amazon с просьбой прекратить предоставление Rekognition правительству. Некоторые законодатели и технологические фирмы, такие как Amazon, обратились к Национальному институту стандартов и технологий, который оценивает технологии распознавания лиц, чтобы одобрить отраслевые стандарты и этические методы для тестирования распознавания лиц по расовому признаку. Раннее мы сообщали о том, что система распознавания лиц Amazon определяет профессию по внешности. В патентной заявке Amazon описана улучшенная версия системы распознавания изображений и видео Rekognition. Также Microsoft ограничит злоупотребление своей технологией распознавания лиц. Еще напомним, что в Японии открыли магазин, где можно расплатиться по технологии распознавания лиц.