27 июля, 19:44

Система правосудия из фильма «Особое мнение» перестает быть фантастикой

В начале июля от рук полицейских погибли двое чернокожих — Филандо Кастиль и Элтон Стерлинг. Видеозаписи, на которых были запечатлены их убийства, широко распространились в Интернете. На фоне этих событий дело Эрика Лумиса не вызвало большого резонанса, хотя оно является не менее важным в споре о роли технологий в справедливости полицейского контроля.

В феврале 2013 года представители правопорядка остановили автомобиль, который до этого был замечен в перестрелке, и арестовали находившегося за рулем Лумиса. В суде он признал себя виновным в попытке скрыться от полицейских и в управлении транспортным средством без разрешения владельца. Судья приговорила его к шести годам заключения. Продолжительность срока определялась не только тяжестью преступлений и наличием судимостей, но и оценкой компьютерной программы, которая рассчитывает вероятность, с которой Лумис может вновь совершить преступление.

Оценка степени риска высчитывается алгоритмами, которые анализируют демографические данные и информацию о предыдущих преступлениях, и на сегодняшний день все больше судов США учитывают их данные при вынесении приговора. Идея заключается в том, чтобы создать систему, не подверженную бессознательным предубеждениям, настроению судьи или другим человеческим факторам. Подобные инструменты используются при составлении маршрутов для патрулирования, распределения заключенных по тюремным камерам, вынесения решения по условно-досрочному освобождению.

Сторонники применения этих инструментов утверждают, что они помогут решить исторические несправедливости, тогда как их критики говорят, что такие методы их только усугубляют, маскируя старые предрассудки компьютеризованной точностью.

Случай Лумиса в этом споре особенно примечателен, так как он белый. Но в суде Лумис привел все те же основные критические доводы: эти алгоритмы слишком загадочные, чтобы использоваться в суде, они наказывают людей за чужие преступления и используют демографическую статистику против обвиняемых.

Это дело, говорят эксперты по правовым вопросам, может стать отправной точкой для судебных разбирательств, ставящих под сомнение конституционность подобных методик.

Чтобы понять, как устроены подобные алгоритмы, издание Bloomberg обратилось к Ричарду Берку, профессору Университета Пенсильвании, который разрабатывает их уже не один десяток лет (хотя он не является автором алгоритма, который составил оценку степени риска в деле Лумиса).

Созданные им алгоритмы используются, чтобы определить, каких заключенных поместить под более строгое содержание или, например, насколько тщательно следует наблюдать за освобожденными условно-досрочно и какова вероятность того, что они совершат преступление снова.

Берку прекрасно известно о том, что вещи подобного рода пугают многих людей. На конференции, которая прошла в мае этого года в стенах Университета Пенсильвании, состоялись напряженные дебаты о пользе работы Берка для общества. Модератор конференции Сандра Мэйсон заявила, что перед ними «комиссия особого мнения», ссылаясь на фильм с Томом Крузом, где по сюжету правительство использует трех мутантов-провидцев для обнаружения будущих убийц, после чего арестовывает их прежде, чем они успевают совершить преступление. Сравнение напрашивается само собой, и даже Берку не всегда удается его избегать. На протяжении часа другие члены комиссии поочередно высказывали свои сомнения, связанные с научной точностью, пользой и справедливостью техник прогнозирования, наподобие тех, что разрабатывает Берк.




В конечном итоге Берку, который слушал выступающих без особого интереса, предоставили завершающее слово. «Вот какой вывод из этого можно сделать, если утрировать: никакие данные не подходят, система уголовного правосудия обречена, так как все лица, задействованные в ней, являются предвзятыми по признаку расы и пола. Если такой вывод мы должны вынести из этого собрания, то с таким же успехом всем нам можно было остаться сегодня дома», — заявил Берк. В помещении раздался неловкий смех.

Берк начал заниматься проблемой преступности в конце 1960-х, еще когда учился в аспирантуре. В Балтиморе, где он тогда жил, постоянно происходили вспышки насилия, связанные с убийством Мартина Лютера Кинга. В своей диссертации Берк анализировал статистические закономерности, с которыми совершались грабежи. «В то время невозможно было быть равнодушным к тому, что происходит в области преступности и правосудия, — говорит Берк. — Примерно так же, как и сегодня, в свете событий в Фергюсоне».

В середине 1990-х Берк заинтересовался машинным обучением, при котором компьютеры ищут закономерности, обрабатывая огромные объемы статистических данных. Для создания алгоритмов Берк вносит в компьютер сведения о десятках тысяч человек, данные об их арестах и о возрасте, когда были произведены эти аресты, а также сведения о месте проживания, сроках заключения и так далее. Компьютер отслеживает закономерности, которые служат основой прогноза о том, совершит ли арестованный преступление повторно.

По мнению Берка, главное преимущество машинного обучения — отсутствие необходимости понимать причины, побуждающие людей на насилие. Внесите в компьютер достаточно данных, и он сам все решит, не вдаваясь в философские размышления о природе преступных наклонностей. Несмотря на свою привлекательность, эта идея подвергается критике каждый раз, когда беспристрастный алгоритм выдает результаты, далекие от нейтральных. В одном исследовании было установлено, что автоматизированная программа Google для размещения рекламных объявлений показывала мужчинам вакансии хорошо оплачиваемых работ чаще, чем женщинам. Другое исследование показало, что реклама интернет-сервисов, которые находят данные об арестах, всплывает чаще при запросах на имена, распространенные среди чернокожих.

В таких случая программисты говорят: «Каков вопрос, таков ответ». Данная ситуация сложилось из-за десятилетий расового и социоэкономического неравенства в обществе и судебной системе. Прогнозы относительно будущих преступлений основаны на статистических данных о прошлых преступлениях и, таким образом, могут заключить, что люди из определенных социальных групп (бедных и не белых) склонны к совершению преступлений, исходя из прежнего опыта правоохранительных органов.

Берк не считает данный вопрос причиной для беспокойства и утверждает, что в его системы не вводят данные о расовой принадлежности, а его собственные исследования показали, что его алгоритмы дают похожие оценки степени риска, независимо от расовой принадлежности. Берг также говорит, что инструменты, которые он создает, не используются для наказания, напротив: их чаще используют для переоценки чрезмерно сурового наказания путем выявления людей, о которых судьи и сотрудники службы пробации не должны беспокоиться.

В 2006 году Берк начал сотрудничать с департаментом Филадельфии, который осуществляет надзор за освобожденными условно-досрочно. Городской бюджет тогда был небольшим, а уровень преступности — высоким. Власти хотели определить, за кем из многочисленных освобожденных по УДО им действительно нужно внимательно следить. Берк вместе с командой исследователей из университета Пенсильвании разработал алгоритм, позволяющий выявить людей, которые с наибольшей вероятностью могут совершить преступление снова, находясь на испытательном сроке. Стоит отметить, что Берк выполняет такую работу бесплатно и никогда не числился в платежной ведомости штата.

Самым распространенным остается вопрос о том, насколько точно оцениваются степени риска. Берк говорит, что, исходя из собственного опыта, от 29 до 38 процентов низких оценок степени риска оказываются неверными. Но точность, по словам Берка, в данном деле имеет не первостепенное значение. Подобно тому, как синоптики предпочтут ошибиться в пользу вероятности дождя для перестраховки, потому что никому не хотелось бы попасть под ливень без зонта, так и судебные системы предпочитают алгоритмы, которые завышают вероятность того, что человек может совершить преступление. Один и тот же человек может получить высокую или низкую оценку степени риска в зависимости от того, где правительство решит установить черту.
«Позиция политиков заключается в том, что выпустить на свободу Дарта Вейдера куда опаснее, чем посадить в тюрьму Люка Скайуокера», — говорит Берк.

Власти города планировали предоставить когнитивно-поведенческую терапию людям с высокой оценкой степени риска и компенсировать затраты, расходуя меньше денег на контроль за всеми остальными. Когда Берк поставил вопрос, отсылавший к «Звездным войнам», в отделе по условно-досрочному освобождению сначала решили, что выпустить Дарта Вейдера было бы в 10 раз хуже, вспоминает Джеффри Барнс, работавший вместе с Берком над проектом. Берк понял, что с таким порогом алгоритм определит от 8000 до 9000 людей потенциальными убийцами. Чиновники поняли, что не в состоянии оплатить столько курсов терапии, и попросили создать менее жесткий алгоритм. Команда Берка исказила цифры соответствующим образом. «Мы специально делаем алгоритм менее точным, чтобы ошибки были в нашу пользу», — говорит он.

Власти существенно сократили надзор за условно-досрочно освобожденными, которым система Берка присвоила низкую оценку степени риска. В исследовании 2010 года ученый и власти Филадельфии сообщили, что люди, за которыми осуществлялся смягченный надзор, подвергались аресту реже, чем те, кто при похожих низких показателях степени риска находились на испытательном сроке под традиционным надзором.

С того момента Берк разработал похожие программы для системы условно-досрочного освобождения заключенных штатов Мэриленд и Пенсильвания. В последнем с 2011 по 2014 год около 15 процентов людей, которые подали на условно-досрочное освобождение, получили различные решения из-за результатов оценки степени риска. Случаи повторных преступлений среди тех, кого выпустили за этот период, встречались значительно реже, чем среди тех, кого освободили в предыдущие годы. Таким образом, алгоритмы Берка помогали властям штата принимать верные решения.

Лора Тристер, представительница комиссии по условно-досрочным освобождениям, не думает, что расовая принадлежность может влиять на результаты. «Это еще не подвергалось тщательному анализу. Однако УДО сильно отличается от вынесения судебного решения, — говорит она. — Комиссия не решает, виновен человек или нет. Мы только рассматриваем потенциальный риск».

Но ученый планирует разработать алгоритм и для вынесения судебных решений. Решать, на какой срок отправить человека в тюрьму, не одно и то же, что решать, насколько раньше человека оттуда выпустить.


В судах штата Висконсин используется программа Compas, разработанная коммерческой компанией Northpointe. По данным организации, люди, которых программа считает опасными, подвергаются повторному аресту в течение двух лет после освобождения в 70 процентах случаев. В деле Лумиса компания столкнулась с трудностями отчасти потому, что обычно отказывается предоставлять информацию о том, как программа генерирует результаты оценок, ссылаясь на конкурентные причины. Непредоставление ответчику возможности оценить доказательства против него является нарушением надлежащей правовой процедуры. (Берк предоставляет код своих программ и критикует коммерческие компании вроде Northpointe за то, что они не поступают так же).

Пока суд рассматривал апелляцию Лумиса, интернет-издание ProPublica опубликовало исследование, в котором рассматривались результаты 7000 оценок Compas в одном из округов Флориды за 2013 и 2014 годы. Было установлено, что чернокожие почти в два раза чаще белых получали высокую оценку степени риска и при этом не совершали повторных преступлений, в то время как белые, получившие низкую оценку степени риска, намного чаще совершали повторное преступления. Компания Northpointe поставила эти выводы под сомнение, заявив, что ProPublica ошибочно распределила результаты по категориям и проигнорировала те, что не поддерживали их тезис. В собственном анализе тех же данных компания не нашла признаков расового неравенства.

Несмотря на то, что Верховный суд Висконсина оставил приговор Лумиса в силе, дальнейшее использование таких программ как Compas было поставлено под вопрос. Суд потребовал, чтобы впредь оценки степени риска сопровождались оговорками о непрозрачности их природы и различными предостережениями об их недостатках. Судом также было решено, что такие оценки не могут учитываться в качестве определяющего фактора при вынесении приговора.

Соня Стар, профессор юридического факультета Мичиганского университета и ярый критик системы оценок риска, считает, что случай Лумиса предвещает более громкие судебные разбирательства. Лумис привел веский аргумент против использования демографических данных, утверждая, что Compas присвоил ему высокую оценку степени риска по половому признаку, отражая историческую закономерность, по которой мужчин сажают в тюрьму чаще, чем женщин. Но приводя этот довод, он не сказал о том, что Compas нарушает положения о равной защите 14-й конституционной поправки, что позволило суду обойти основной вопрос.

Лумис также не упомянул о том, что оценки степени риска дискриминируют бедных людей. «Кажется, этот момент беспокоит судей, так как каждый признак бедности служит в качестве дополнительного фактора риска, — утверждает Стар, — все эти проблемы определенно будут подняты в ходе будущих судебных разбирательств».

Чиновники штата Пенсильвания, который в течение последних шести лет постепенно готовился к внедрению системы оценок степени риска при вынесении судебных приговоров, проявляют особую осторожность с такими подводными камнями. Опыт штата показывает, насколько сложно создать алгоритм, который бы не противоречил основам правопорядка. Для того, чтобы придумать политически приемлемый инструмент для оценки степени риска, власти Пенсильвании создали комиссию по вынесению приговоров, которая быстро отказалась от коммерческих продуктов, таких как Compas, ссылаясь на их дороговизну и закрытый код. Сейчас комиссия разрабатывает свою собственную систему.

Комиссия единогласно отказалась учитывать данные о расовой принадлежности, но все остальные факторы стали предметом дискуссий. Изначально власти штата хотели включить данные о местоположении, которые, по их мнению, могли бы быть статистически полезными, но Ассоциация адвокатов по уголовным делам утверждала, что эти данные заменят информацию о расовой принадлежности, учитывая расовую сегрегацию, характерную для рынка недвижимости. В конечном итоге комиссия отказалась от использования данных о местоположении. Кроме того, под вопросом остается использование информации об арестах вместо информации об обвинениях, так как в районах, которые патрулируются полицейскими жестче, происходит больше задержаний.

Берк считает, что отказ от использования этих данных ослабляет способность алгоритмов делать верные прогнозы. По его мнению, все переменные завязаны на информации о расовой принадлежности и гендере, из-за чего невозможно составить абсолютно нейтральный прогноз.

Стар говорит, что этот довод не учитывает различия стандартов в области научных исследований и правовой системы. Для социологии полезно рассчитывать вероятность, с которой члены определенной группы совершат определенные поступки. Но это не значит, что будущее конкретного человека должно зависеть от статистического анализа преступности по населению страны, особенно если набор используемых данных отражает десятилетия расового и социально-экономического неравенства.

В конце этой весны Берк отправился в Норвегию для встречи с группой исследователей Университета Осло. Местное правительство собирает огромное количество информации о гражданах страны и объединяет ее в единый идентификационный файл, который представляет собой отличный набор входных данных.

Профессор университета Торбьерн Скадэмар, организовавший встречу с Берком, исследует возможности использования машинного обучения для составления долгосрочных прогнозов. Норвегия отстает от США в области использования прогнозной аналитики в системе уголовного правосудия.

Берг хочет научиться предсказывать уже с момента рождения человека вероятность, с которой тот совершит преступление к моменту своего совершеннолетия, основываясь на биографических данных его родителей и таких факторах, как окружающая среда. Осуществить этот замысел в США практически невозможно, так как большая часть персональных данных человека хранится в разных ведомствах, что накладывает множество ограничений. Он не уверен, что это возможно в Норвегии, а также он признает, что еще не полностью продумал, где можно будет найти лучшее применение подобной информации.


Как бы там ни было, это может стать важнейшей работой Берка за всю его карьеру, которая доводит все политические вопросы и вопросы этики до их логического завершения. Даже в кинофильме «Особое мнение» власти заглядывали в будущее лишь на несколько часов, а не лет. Скадамэр, который в этом вопросе новичок, говорит, что не боится допустить ошибку: по его словам, они обсуждают их сейчас, чтобы избежать подобного в будущем. «Это сложные вопросы», — говорит он, обдумывая то, что этот проект может плохо кончиться. «Выражать их ясно — полезно».

Оригинал — статья на bloomberg.com.

Артем Салютин

Подписывайтесь на нас в Telegram: https://telegram.me/reporteropen