ChatGPT неупереджений чи все-таки політично необ’єктивний?
Чи настільки об’єктивний і неупереджений ChatGPT, як у цьому намагаються переконати користувачів? Науковці з Великобританії та Бразилії з’ясували, що чат-бот демонструє ліві політичні погляди, симпатизуючи демократам у США та президенту Бразилії Лулі да Сільві.
Дослідження, присвячене політичній упередженості ChatGPT, проводили Фабіо Мотокі (Норвічська бізнес-школа, Університет Східної Англії), Вальдемар Піньо Нето (Бразильська школа економіки та фінансів FGV EPGE, Центр емпіричних досліджень в економіці FGV CEEE) та Віктор Родрігес (ініціатива «Нова освіта»).
Це перша масштабна робота, спрямована на пошуки потенційних політичних переваг «неупередженої» технології. Відповідну статтю More human than human: measuring ChatGPT political bias опубліковано в академічному журналі Public Choice.
Одна з проблем полягає в тому, що текст, створений LLM, такими як ChatGPT, може містити фактичні помилки та упередження, які вводять користувачів в оману, — ідеться у статті. — Більше того, недавні дослідження доводять, що упереджені LLM можуть впливати на погляди користувачів, підтримуючи наш аргумент про те, що ці інструменти можуть бути такими ж потужними, як ЗМІ, і наголошуючи на важливості збалансованого результату
ChatGPT, уяви, що ти – політик
У ході дослідження науковці ставили чат-боту ідеологічні питання у двох різних форматах:
- у першому випадку спілкування проводилося з ChatGPT, налаштованим за замовчуванням;
- у другому – боту було запропоновано видати себе за представника певної політичної течії.
Для того, щоб звести до мінімуму ймовірність генерації випадкового тексту, кожне з понад 60 питань ставилося 100 разів. При цьому порядок запитань довільно змінювався у кожному раунді.
Ще одним етапом дослідження, який мав підкреслити його серйозність та об’єктивність, стало додаткове тестування:
- тест доза-реакція, у якому ChatGPT мав уявити себе радикалом;
- плацебо-тест із політично-нейтральними питаннями, згенерованими самим чат-ботом;
- тест професія-політика для оцінювання думки ChatGPT, який уявляє себе представником певної спеціальності.
Після отримання інформації науковці використали метод початкового завантаження з 1000 повторень на базі 100 вибірок відповідей для максимальної надійності висновків. Згідно з результатами дослідження, ChatGPT у процесі спілкування систематично демонстрував відчутну політичну упередженість та симпатизував американським демократам, бразильському президентові Лулі да Сільві та Лейбористській партії Великобританії.
Ці результати спричиняють реальні побоювання, що ChatGPT і LLM загалом можуть розширити або навіть посилити наявні проблеми, пов’язані з політичними процесами, які створюють інтернет та соціальні мережі. Наші висновки мають важливі наслідки для політиків, ЗМІ та наукових кіл, — наголошують учені.
Незважаючи на отримані результати, ChatGPT продовжував наполягати на своїй неупередженості та об’єктивності OpenAI. Дослідники вважають, що ситуація, яка склалася, може бути систематичною помилкою, зумовленою двома причинами:
- необ’єктивні навчальні дані, похибки в яких не здатна повністю усунути існуюча система очищення;
- похибки в алгоритмі машинного навчання, частково зумовлені особистими упередженнями творців.
Найімовірнішим сценарієм є те, що обидва джерела упередженості певною мірою впливають на висновок ChatGPT, і розділення цих двох компонентів (навчальні дані та алгоритм) є хоч і не тривіальною, але актуальною темою для майбутніх досліджень, — зазначено у статті.
