Наш курс — о критических исследованиях данных. Но не меньше вопросов вызывает тема алгоритмов, алгоритмизации процессов, искусственного интеллекта: того, что использует данные и создаёт что-то на их основе.

В каком контексте они возникают вместе? Начнём с двух базовых.

• Алгоритмы основываются на данных
  
• Алгоритмы позволяют производить данные
  

Строго говоря, связи, конечно, устроены куда сложнее. Чтобы увидеть эту сложность, можно посмотреть на красивую схему с аннотациями, которую сделали вместе Кейт Кроуфорд и Владан Йолер (а побродив по ней, вы можете критически осмыслить собственное отношение к визуализациям и продолжить читать текст).

Но, как вы помните, данные — это то, что появляется в специфическом отношении к тому, что мы видим вокруг. Когда мы предполагаем, что мир/природа «даны», а наука и технологии могут помочь это «данное» понять.
В свою очередь, алгоритмы помогают проводить познание и оформлять процессы сбора данных и их использования.
(Кстати, если вам хочется узнать об этом подробнее, можно послушать замечательную лекцию Лорен Дастон о том, как оформилось то понимание рациональности, которое мы сегодня имеем в виду, говоря об алгоритмах).

Но наша цель — понять политические и этические свойства алгоритмов, хотя и с учётом их истории.

Итак, стартовая проблема тут — политическая, она связана с тем, что возникает дисбаланс власти и знания. Знания при этом представляются огромными, имеющими практический интерес, высокую цену и ценность. И достаточно влиятельные и централизованные.
Но это общие понятия, а реализуются они в конкретных противоречиях. Чтобы это сделать, мы остановимся на двух проблемных точках: предиктивности и (не)прозрачности.

/ предиктивность

Уже классический случай с сетью американских магазинов Target описан в этой статье New York Times (кстати, она очень интересна тем, что там речь идёт вовсе не только о количественных данных, а также здорово показано то, как работают вместе анализ данных, антропология, видеоэтнография и интервью).

Суть истории в том, что сеть магазинов решила разработать механизм, позволяющий определить, какие покупки делают беременные женщины на самых ранних сроках. А потом — привлечь их внимание к товарам для новорождённых и детей, тем самым делая их лояльными покупателями с высоким спросом (детям нужно немало вещей) на несколько лет вперёд. И вот, изучив разные способы взаимодействия людей с покупками, аналитики смогли сделать такую модель. Её эффективность была доказана не только ростом продаж, но и реакцией потребителей.

Что вызывает тут удивление и возмущение людей? Что-то знает о происходящем в их жизни, раньше чем их близкие и порой — даже они сами.

Похожие вопросы возникали и к проектам скандально известной Cambridge Analytica. Подробный и толковый разбор этой истории есть в этой статье Гардиан. И можно посмотреть короткое видео, где это объясняется:

Скандал с выборами Трампа и брекзитом заставил и пользователей, и регулирующие органы обратить внимание на то, что Фейсбук и другие компании продают данные своих пользователей, чтобы они использовались для самой разной рекламы.

Конечно, если мы приводим пример Cambridge Analytica, всегда есть сомнения: что если дело не в самих алгоритмах, а в том, что они используются для какой-то конкретной цели? Это аргумент о том, что сам инструмент вроде бы нейтрален.

Но это не так. Чтобы разобраться с этим контраргументом, мы советуем вам статью Kate Crawford "Can algorithms be agonistic?" Это статья с серией зарисовок на тему того, как разные случаи использования механизмов голосования, алгоритмов и онлайн-краудсорсинга сталкиваются с проблемами, разобраться с которыми помогает политическая философия
(чтение этой статьи напоминает чтение сказки, где на помощь герою в сложных ситуациях приходят волшебные помощники, но в данном случае они не решают проблему, а показывают её сложность).

В целом, статья Кроуфорд, отчасти метафорично показывает, что работа многих алгоритмов построена на принципе плоскости, общности явлений, которые на деле вовсе не однообразны и не могут сталкиваться в одном поле. Но алгоритмы заставляют их оказываться рядоположенными, и уже поэтому они не нейтральны. Ведь вне оценки алгоритмов какие-то явления могут быть абсолютно разными.

Например, в оценке образовательных результатов и процессов сложно превратить в основание для алгоритма разнообразные явления. Как учитывать одновременно и результаты вроде применения усвоенных методов, и эмоциональное восприятие работы студентов (и, наоборот, преподавателя), и социальные отношения (поддержку или, наоборот, конкуренцию внутри студенческой группы). Если бы пришлось оценивать всю деятельность студента, то нам пришлось бы признать это всё — равными друг другу источниками однообразной информации. Конечно, они взвешиваются в формулах, но при этом становятся сопоставимыми и взаимодополняющими (а в каких-то случаях — взаимозаменимыми).
Так проявляется политическое свойство алгоритма — уравнивать то, что может быть разным для самих участников взаимодействия.

Итак, у предиктивности есть несколько причин быть объектом этого курса:

• Эпистемологическая сомнительность (она часто устроена как астрология: работает и предсказывает, значит, верна, но сути ещё мы не понимаем).
  
  
• Этическая сомнительность (есть противоречие: в качестве данных и объекта исследования зачастую выбираются именно те аспекты жизни, которыми люди и вовсе не хотели бы делиться; самое секретное оказывается раскрыто и доступно третьим лицам)
  
  
• Политическая сложность (потому что выбор того, что изучать — это новая, не вполне понятная, но очень привлекательная форма власти)
  
  
• Социальные перемены неясного свойства (потому что очень большая часть алгоритмов непрозрачна, порой даже для самих создателей, а значит непонятно, что могут другие участники социальной жизни ждать от мира, где есть алгоритмы)
  
  

Подробнее об этом и не только вы можете прочитать в статье Mittelstadt, Allo, Taddeo, Wachter, Floridi (2016)

/ прозрачность

Вторая большая тема в связи с алгоритмами — это вопрос о прозрачности. Обычно под прозрачностью имеется в виду доступ и возможность наблюдать за тем, а) что становится источниками данных, б) каким образом и какие действия фильтруются, где данные не вполне точны или какие источники исключаются, в) какие модели и правила ложатся в основу проектов и алгоритмов по использованию этих данных, г) кто и почему принимает решения об изменении этих моделей, и так далее.

Из этого происходит и понимание того, что прозрачность — не только идеал. Хотя, конечно, стоит иметь в виду, что есть некоторая идеальная прозрачность, которую, вроде как, и требуют зачастую активисты, говоря о необходимых условиях для работы алгоритмов. Но на деле прозрачность — это тоже политическое явление, и не всегда однозначное. В той же статье исследователи выделяют 10 ограничений прозрачности:

Исследователи завершают статью тем, что прозрачность — это не очень подходящий инструмент для регулирования. Они критикуют само понимание алгоритма как простой совокупности кода и данных, ведь эта сборка (или ассамбляж) оказывается сложнее: "institutionally situated code, practices, and norms with the power to create, sustain, and signify relationships among people and data through minimally observable, semiautonomous action". В статье есть ещё несколько интересных предложений о том, как нужно обустроить управление алгоритмами: не только рассматривая их «изнутри», но пытаясь понять насквозь, и не путать знание и понимание.

/ этические проблемы

Подробнее мы поговорим об этике на занятии, обсуждая текст Алексея Гринбаума.

Чтобы понять, как устроены обычно в critical data studies вопросы к алгоритмам, можно обратиться к обзору этических проблем есть в уже упомянутой статье Mittelstadt и коллег (2016). Вот краткая схема:

Обратите внимание: то, на что мы обращаем внимание как пользователи (часто в фокусе пользовательского внимания уже несправедливые выводы) — это только одна из проблем.

И получается, они тесно связаны с интеллектуальной историей и современным отношением к алгоритмам. Подробный текст-манифест об этом (в том числе о проблеме путаницы между causation и correlation) можно почитать в этом проекте, а в качестве тизера — изящная схема оттуда, ну и название Нооскоп тоже вдохновляет:

Что касается этической стороны алгоритмов, то можете почитать список «ужасного ИИ»: проектов, где использование данных и алгоритмов приводит к несправедливости, угентению, росту неравенства и так далее. Боты, распространяющие фейковые новости, распознавание и ущемление национальных меньшинств, дискриминация, разные виды социальных кредитов (и некоторые средства, которые борются со всем вышеописаанным).

Ну, а чтобы закончить тильду на чуть более оптимистичной ноте, вот вам отличный тренажёр для того, чтобы думать об алгоритмах критично и с благими намерениями.