Структуры и базы данных

Алгоритмы: механизация процессов, построенных на данных. Алгоритмы среди нас.

\вернуться на главную\

\интро

Наш курс — о критических исследованиях данных. Но не меньше вопросов вызывает тема алгоритмов, алгоритмизации процессов, искусственного интеллекта: того, что использует данные и создаёт что-то на их основе.

В каком контексте они возникают вместе? Начнём с двух базовых.
  • Алгоритмы основываются на данных
  • Алгоритмы позволяют производить данные
Строго говоря, связи, конечно, устроены куда сложнее. Чтобы увидеть эту сложность, можно посмотреть на красивую схему с аннотациями, которую сделали вместе Кейт Кроуфорд и Владан Йолер (а побродив по ней, вы можете критически осмыслить собственное отношение к визуализациям и продолжить читать текст).

Но, как вы помните, данные — это то, что появляется в специфическом отношении к тому, что мы видим вокруг. Когда мы предполагаем, что мир/природа «даны», а наука и технологии могут помочь это «данное» понять.
В свою очередь, алгоритмы помогают проводить познание и оформлять процессы сбора данных и их использования.
Чтобы узнать об этом подробнее, можно послушать замечательную лекцию Лорен Дастон о том, как оформилось то понимание рациональности, которое мы сегодня имеем в виду, говоря об алгоритмах.

Но наша цель — понять политические и этические свойства алгоритмов, хотя и с учётом их истории.

Задание
Послушайте, пожалуйста, лекцию Лорейн Дастон. Запишите сюда основные тезисы.

Я предлагаю вам сделать коллективный конспект, дополняя друг друга. Но можете написать и индивидуальные.

И конечно, стоит написать, какие из её тезисов вам непонятны/интересны/близки, что хочется обсудить.

Групповая работа с занятия 28.02:
  1. Конспект лекции
  2. Конспект статьи
  3. Конспект интервью

  • Первая группа слушала и конспектировала видео;
  • Вторая группа читала статью и делала её конспект;
  • Третья группа читала интервью и конспектировала.
Для пользователей и граждан проблемы связи алгоритмов и данных часто сводятся к тому, что:
а) о нас известно много
б) непонятно кому
в) неясно, с помощью чего это зафиксировано, где хранится
г) важные решения принимаются, исходя из этих знаний
д) эти решения влияют на нашу жизнь.

при этом:
! алгоритмы представляются как нечто нейтральное и объективное
! кто такие «мы» -- непонятно
Итак, стартовая проблема тут — политическая, она связана с тем, что возникает дисбаланс власти и знания. Знания при этом представляются как нечто огромное, централизованное и имеющее практическую ценность, а также цену.
Но это общие понятия, а реализуются они в конкретных противоречиях. Чтобы это сделать, мы остановимся на двух проблемных точках: предиктивности и (не)прозрачности.
/ предиктивность

Уже классический случай с сетью американских магазинов Target описан в этой статье New York Times (кстати, она очень интересна тем, что там речь идёт вовсе не только о количественных данных, а также здорово показано то, как работают вместе анализ данных, антропология, видеоэтнография и интервью).

Суть истории в том, что сеть магазинов решила разработать механизм, позволяющий определить, какие покупки делают беременные женщины на самых ранних сроках. А потом — привлечь их внимание к товарам для новорождённых и детей, тем самым делая их лояльными покупателями с высоким спросом (детям нужно немало вещей) на несколько лет вперёд. И вот, изучив разные способы взаимодействия людей с покупками, аналитики смогли сделать такую модель. Её эффективность была доказана не только ростом продаж, но и реакцией потребителей.

About a year after Pole created his pregnancy-prediction model, a man walked into a Target outside Minneapolis and demanded to see the manager. He was clutching coupons that had been sent to his daughter, and he was angry, according to an employee who participated in the conversation.

"My daughter got this in the mail!" he said. "She's still in high school, and you're sending her coupons for baby clothes and cribs? Are you trying to encourage her to get pregnant?"

The manager didn't have any idea what the man was talking about. He looked at the mailer. Sure enough, it was addressed to the man's daughter and contained advertisements for maternity clothing, nursery furniture and pictures of smiling infants. The manager apologized and then called a few days later to apologize again.

On the phone, though, the father was somewhat abashed. "I had a talk with my daughter," he said. "It turns out there's been some activities in my house I haven't been completely aware of. She's due in August. I owe you an apology."

Что вызывает тут удивление и возмущение людей? Что-то знает о происходящем в их жизни, раньше чем их близкие и порой — даже они сами.

Похожие вопросы возникали и к проектам скандально известной Cambridge Analytica. Подробный и толковый разбор этой истории есть в этой статье Гардиан. И можно посмотреть короткое видео, где это объясняется:
Скандал с выборами Трампа и брекзитом заставил и пользователей, и регулирующие органы обратить внимание на то, что Фейсбук и другие компании продают данные своих пользователей, чтобы они использовались для самой разной рекламы.

Конечно, если мы приводим пример Cambridge Analytica, всегда есть сомнения: что если дело не в самих алгоритмах, а в том, что они используются для какой-то конкретной цели? Это аргумент о том, что сам инструмент вроде бы нейтрален.

Но это не так. Чтобы разобраться с этим контраргументом, мы советуем вам статью Kate Crawford "Can algorithms be agonistic?". Это статья с серией зарисовок на тему того, как разные случаи использования механизмов голосования, алгоритмов и онлайн-краудсорсинга сталкиваются с проблемами, разобраться с которыми помогает политическая философия
(чтение этой статьи напоминает чтение сказки, где на помощь герою в сложных ситуациях приходят волшебные помощники, но в данном случае они не решают проблему, а показывают её сложность).

В целом, статья Кроуфорд, отчасти метафорично показывает, что работа многих алгоритмов построена на принципе плоскости, общности явлений, которые на деле вовсе не однообразны и не могут сталкиваться в одном поле. Но алгоритмы заставляют их оказываться рядоположенными, и уже поэтому они не нейтральны. Ведь вне оценки алгоритмов какие-то явления могут быть абсолютно разными.

Например, в оценке образовательных результатов и процессов сложно превратить в основание для алгоритма разнообразные явления. Как учитывать одновременно и результаты вроде применения усвоенных методов, и эмоциональное восприятие работы студентов (и, наоборот, преподавателя), и социальные отношения (поддержку или, наоборот, конкуренцию внутри студенческой группы). Если бы пришлось оценивать всю деятельность студента, то нам пришлось бы признать это всё — равными друг другу источниками однообразной информации. Конечно, они взвешиваются в формулах, но при этом становятся сопоставимыми и взаимодополняющими (а в каких-то случаях — взаимозаменимыми).

Так проявляется политическое свойство алгоритма — уравнивать то, что может быть разным для самих участников взаимодействия.

Итак, у предиктивности есть несколько причин быть проблемой этого курса:

  • Эпистемологическая сомнительность (она часто устроена как астрология: работает и предсказывает, значит, верна, но сути ещё мы не понимаем).

  • Этическая сомнительность (есть противоречие: в качестве данных и объекта исследования зачастую выбираются именно те аспекты жизни, которыми люди и вовсе не хотели бы делиться; самое секретное оказывается раскрыто и доступно третьим лицам.

  • Политическая сложность (потому что выбор того, что изучать — это новая, не вполне понятная, но очень привлекательная форма власти)

  • Социальные перемены неясного свойства (потому что очень большая часть алгоритмов непрозрачна, порой даже для самих создателей, а значит непонятно, что могут другие участники социальной жизни ждать от мира, где есть алгоритмы)

Подробнее об этом и не только вы можете прочитать в статье Mittelstadt, Allo, Taddeo, Wachter, Floridi (2016)
/ прозрачность

Вторая большая тема в связи с алгоритмами — это вопрос о прозрачности. Обычно под прозрачностью имеется в виду доступ и возможность наблюдать за тем,
а) что становится источниками данных
б) каким образом и какие действия фильтруются, где данные не вполне точны или какие источники исключаются
в) какие модели и правила ложатся в основу проектов и алгоритмов по использованию этих данных
г) кто и почему принимает решения об изменении этих моделей, и так далее.

Из этого происходит и понимание того, что прозрачность — не только идеал. Хотя, конечно, стоит иметь в виду, что есть некоторая идеальная прозрачность, которую, вроде как, и требуют зачастую активисты, говоря о необходимых условиях для работы алгоритмов.

Но на деле прозрачность — это тоже политическое явление, и не всегда однозначное.

В той же статье исследователи выделяют 10 ограничений прозрачности:

1) Transparency can be disconnected from power
  • иногда сама по себе прозрачность ничего не даёт, если она не связана с возможностью изменить что-то благодаря новой известной информации. а значит — с властью действовать с информацией, а не только добывать её.
2) Transparency can be harmful
  • уязвимым группам от прозрачности может быть больше вреда чем пользы, например, в российском контексте можно подумать о тех, кто живёт без прописки или о мигрантах.
3) Transparency can intentionally occlude
  • прозрачность может быть скорее преградой, чем давать возможности, например, когда компания публикует 500-страничный отчёт, и чтобы понять что-то одно важное, вам приходится пробираться через сотни ненужных сведений.
4) Transparency can create false binaries
  • здесь имеется в виду то, что оппозиция прозрачность/закрытость — неверная, ведь зачастую намного важнее не закрывать и не открывать информацию полностью, а создавать уместные условия её представлений, как было, например, в случае Сноудена.
5) Transparency can invoke neoliberal models of agency
  • выпуская информацию на свободный рынок мы провоцируем именно развитие рыночного отношения: как будто есть только отдельные индивиды и организации в равной и постоянной конкуренции.
6) Transparency does not necessarily build trust
  • тут исследователи приводят абсолютно неожиданный пример с Леонардо да Винчи, который писал, что "I do not publish nor divulge these, by reason of the evil nature of men, who would use them for assassinations at the bottom of the sea".
7) Transparency entails professional boundary work
  • не все способны прочитать даже вполне «прозрачные» материалы, и образованные профессионалы всё равно получат привилегии по сравнению с обычными людьми.
8) Transparency can privilege seeing over understanding
  • очень важное свойство: очевидность будет казаться достаточной, и оттого будто не требуется понимание, как устроено явление или процесс; будто не нужно вникать в алгоритм, если он прозрачен.
9) Transparency has technical limitations
  • ведь даже инженеры, создающие алгоритмы, иногда не вполне понимают, где и какая информация находится.
10) Transparency has temporal limitations
  • системы и способы сбора данных очень сильно меняются, и данные 2011 года, например, могут быть совершенно непонятны в контексте 2025.

Исследователи завершают статью тем, что прозрачность — это не очень подходящий инструмент для регулирования. Они критикуют само понимание алгоритма как простой совокупности кода и данных, ведь эта сборка (или ассамбляж) оказывается сложнее:

"institutionally situated code, practices, and norms with the power to create, sustain, and signify relationships among people and data through minimally observable, semiautonomous action".

В статье есть ещё несколько интересных предложений о том, как нужно обустроить управление алгоритмами: не только рассматривая их «изнутри», но пытаясь понять насквозь, и не путать знание и понимание.
Вопросы:
Давайте попробуем подумать о данных и алгоритмах вместе. Важно, что связаны и опасения вокруг данных, и то, как устроено их производство. Вспомните разговоры об объективности, которые у нас были на занятиях.

Напишите, пожалуйста, как вы ощущаете себя по отношению к данным и алгоритмам:
- когда работаете с материалами курса
- когда учитесь в рамках ваших специальностей
- когда занимаетесь работой
- когда живёте как просто гражданин/человек.
Есть ли для вас разница в понимании данных и алгоритмов в разных этих ролях? В каких случаях алгоритмы и данные для вас играют одну роль, а в каких -- нет?

Напишите, пожалуйста, ответы здесь. Вы можете оставить их анонимно.
/ этические проблемы

Подробнее мы поговорим об этике на занятии, обсуждая текст Алексея Гринбаума.

Чтобы понять, как устроены обычно в critical data studies вопросы к алгоритмам, можно обратиться к обзору этических проблем есть в уже упомянутой статье Mittelstadt и коллег (2016). Вот краткая схема:

Обратите внимание: то, на что мы обращаем внимание как пользователи (часто в фокусе пользовательского внимания уже несправедливые выводы) — это только одна из проблем.

И получается, они тесно связаны с интеллектуальной историей и современным отношением к алгоритмам. Подробный текст-манифест об этом (в том числе о проблеме путаницы между causation и correlation) можно почитать в этом проекте, а в качестве тизера — изящная схема оттуда, ну и название Нооскоп тоже вдохновляет:

Что касается этической стороны алгоритмов, то можете почитать список «ужасного ИИ»: проектов, где использование данных и алгоритмов приводит к несправедливости, угентению, росту неравенства и так далее. Боты, распространяющие фейковые новости, распознавание и ущемление национальных меньшинств, дискриминация, разные виды социальных кредитов (и некоторые средства, которые борются со всем вышеописаанным).

Ну, а чтобы закончить тильду на чуть более оптимистичной ноте, вот вам отличный тренажёр для того, чтобы думать об алгоритмах критично и с благими намерениями.

Литература
Ananny, M., & Crawford, K. (2018). Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. new media & society, 20(3), 973-989.

Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2), 2053951716679679.

Ziewitz, Malte. 2015. "Governing Algorithms: Myth, Mess, and Methods." Science, Technology & Human Values.

Beer, D. (2009). Power through the algorithm? Participatory web cultures and the technological unconscious. New Media & Society, 11(6), 985-1002.

Gillespie, Tarleton. (2014). "The relevance of algorithms." Pp. 167-194 in T. Gillespie, P. Gillespie, T., Boczkowski, P. J., & Foot, K. A. (Eds.). (2014). Media technologies: Essays on communication, materiality, and society. MIT Press.

Cheney-Lippold, J. (2016). Jus Algoritmi: How the national security agency remade citizenship. International Journal of Communication, 10, 22.
Made on
Tilda