Нове дослідження OpenAI: боротьба з галюцинаціями в ChatGPT
OpenAI планує зменшити кількість логічних помилок ChatGPT, які часто називають галюцинаціями. Такі «глюки» генерують неточні або повністю фіктивні дані.
Вони можуть виявлятися у різноманітних формах: спотворені факти, вигадані люди, події чи цілі історії. Під час використання ChatGPT це особливо помітно, оскільки він доступний для величезної кількості людей, які генерують масу ненавмисних галюцинацій. І хоча розробники відкрито попереджають про ризики надання неточної інформації, більшість не звертає на це уваги.
Приклади галюцинацій ChatGPT
1. У квітні 2023 року ChatGPT звинуватив відомого професора Джонатана Терлі у сексуальному насильстві на підставі вигаданої статті The Washington Post. Це сталося у процесі дослідження, присвяченого сексуальним домаганням у закладах вищої освіти, а спроби зредагувати цей матеріал виявилися марними: штучний інтелект почав посилатися на судовий процес, що триває.
2. Відомий адвокат Стівен Шварц використав ChatGPT для підготовки до виступу в суді (травень 2023), проігнорувавши перевірку даних. Внаслідок чого суд відхилив надані матеріали, оскільки більшість вибраних кейсів виявилася вигаданою або помилково відкоригованою.
3. У червні 2023 року ChatGPT прочитав матеріали кримінальної справи, надані журналістом Фредом Рілом, і помилково звинуватив радіоведучого телекомпанії Марка Волтерса у фінансових злочинах. Проте чоловік вирішив скористатися резонансною ситуацією і подав судовий позов проти OpenAI.
Варто відразу зазначити, що багато юристів налаштовані вкрай песимістично щодо таких випадків, оскільки досить важко визначити джерело оригінальної інформації та довести провину компанії з огляду на всі попередження. Тому замість бездумних спроб заробити на порожньому місці людям треба уважніше використовувати нові технології, поки OpenAI шукає рішення для зменшення масштабів проблеми.
Дослідження OpenAI
Компанія справді вважає галюцинації ChatGPT серйозною проблемою й тестує різні варіанти, щоб підвищити точність генерації. Для цього розробники провели дослідження щодо впровадження у систему двох моделей винагороди: контроль процесу (нагорода надається за кожен правильний крок) та контроль результату (тільки за фінальну відповідь).
Ми оцінюємо наші моделі винагороди, що базуються на контролі процесу чи результату, за допомогою задач із набору математичних тестів. Ми створюємо безліч рішень для кожної проблеми, а потім обираємо те, яке отримало найвищий рейтинг за кожною моделлю винагороди© офіційна заява OpenAI.
Фінальні результати продемонстрували певні перспективи: контроль за процесом забезпечив високу точність (78,2%), оскільки модель фактично навчається на проміжних відповідях, схвалених людиною. Розробники зазначили ефективність та узгодженість методу, але поки що тільки для математичних задач. А щоб поліпшити дослідження, компанія опублікувала набір даних та запросила просунутих користувачів взяти участь у тестуванні.
