ChatGPT беспристрастен или все-таки политически предвзят?
Так ли объективен и беспристрастен ChatGPT, как в этом пытаются убедить пользователей? Ученые из Великобритании и Бразилии выяснили, что чат-бот демонстрирует левые политические взгляды, симпатизируя демократам в США и президенту Бразилии Луле да Сильве.
Исследование, посвященное политической предвзятости ChatGPT, проводили Фабио Мотоки (Норвичская бизнес-школа, Университет Восточной Англии), Вальдемар Пиньо Нето (Бразильская школа экономики и финансов FGV EPGE, Центр эмпирических исследований в экономике FGV CEEE) и Виктор Родригес (инициатива Новое образование).
Это первая масштабная работа, которая направлена на поиски потенциальных политических предпочтений «беспристрастной» технологии. Соответствующая статья под названием More human than human: measuring ChatGPT political bias опубликована в академическом журнале Public Choice.
Одна из проблем заключается в том, что текст, созданный LLM, такими как ChatGPT, может содержать фактические ошибки и предубеждения, которые вводят пользователей в заблуждение, — говорится в статье. — Более того, недавние исследования показывают, что предвзятые LLM могут влиять на взгляды пользователей, поддерживая наш аргумент о том, что эти инструменты могут быть такими же мощными, как СМИ, и подчеркивая важность сбалансированного результата
ChatGPT, представь, что ты – политик
В ходе исследования ученые задавали чат-боту идеологические вопросы в двух разных форматах:
- в первом случае общение проводилось с ChatGPT, настроенным по умолчанию;
- во втором случае боту было предложено выдать себя за представителя определенного политического течения.
Для того, чтобы свести к минимуму вероятность генерации случайного текста, каждый из более чем 60 вопросов задавался 100 раз. При этом порядок вопросов произвольно менялся в каждом раунде.
Еще одним этапом исследования, который должен был подчеркнуть его строгость и объективность, стало дополнительное тестирование:
- тест доза-реакция, в котором ChatGPT должен был представить себя радикалом;
- плацебо-тест с политически-нейтральными вопросами, сгенерированными самим чат-ботом;
- тест профессия-политика для оценки мнения ChatGPT, представляющего себя представителем определенной специальности.
После получения информации ученые использовали метод начальной загрузки с 1000 повторений на базе 100 выборок ответов для максимальной надежности выводов. Согласно результатам исследования, ChatGPT в процессе общения систематически демонстрировал ощутимую политическую предвзятость и симпатизировал американским демократам, бразильскому президенту Луле да Сильве и Лейбористской партии Великобритании.
Эти результаты приводят к реальным опасениям, что ChatGPT и LLM в целом могут расширить или даже усилить существующие проблемы, связанные с политическими процессами, создаваемыми Интернетом и социальными сетями. Наши выводы имеют важные последствия для политиков, СМИ и научных кругов, — подчеркивают ученые.
Несмотря на полученные результаты, ChatGPT продолжал настаивать на беспристрастности себя и OpenAI. Исследователи считают, что сложившаяся ситуация может быть систематической ошибкой, вызванной двумя причинами:
- необъективные обучающие данные, погрешности в которых не способна полностью устранить существующая система очистки;
- погрешности в алгоритме машинного обучения, отчасти обусловленные личными предубеждениями их создателей.
Наиболее вероятным сценарием является то, что оба источника предвзятости в некоторой степени влияют на вывод ChatGPT, и разделение этих двух компонентов (обучающие данные и алгоритм) является хоть и не тривиальной, но актуальной темой для будущих исследований, — отмечено в статье.
