Новое исследование OpenAI: борьба с галлюцинациями в ChatGPT
OpenAI планирует уменьшить количество логических ошибок ChatGPT, часто называемых галлюцинациями. Такие «глюки» генерируют неточные или полностью фиктивные данные.
Они могут проявляться в разнообразных формах: искаженные факты, вымышленные люди, события или целые истории. При использовании ChatGPT они особенно заметны, поскольку он доступен для огромного количества людей, генерирующих массу непреднамеренных галлюцинаций. И хотя разработчики открыто предупреждают о рисках предоставления неточной информации, большинство не обращает на это внимание.
Примеры галлюцинаций ChatGPT
1. В апреле 2023 года ChatGPT обвинил известного профессора Джонатана Терли в сексуальном насилии на основе полностью несуществующей статьи The Washington Post. Это произошло в ходе исследования, посвященного сексуальным домогательствам в высших учебных заведениях, а попытки отредактировать этот материал оказались безуспешными: искусственный интеллект начал ссылаться на продолжающийся судебный процесс.
2. Известный адвокат Стивен Шварц использовал ChatGPT для подготовки к выступлению в суде (май 2023 года), проигнорировав проверку данных. В результате суд отклонил предоставленные материалы, поскольку большая часть выбранных кейсов оказалась выдуманной или ошибочно откорректированной.
3. В июне 2023 года ChatGPT прочитал материалы уголовного дела, предоставленные журналистом Фредом Рилом, и ошибочно обвинил радиоведущего телекомпании Марка Уолтерса в финансовых преступлениях. Однако мужчина решил воспользоваться резонансной ситуацией, подав судебный иск против OpenAI.
Стоит сразу отметить, что многие юристы настроены крайне пессимистично в отношении подобных случаев, так как достаточно трудно определить источник оригинальной информации и доказать вину компании, учитывая все предупреждения. Поэтому людям вместо бездумных попыток заработать на пустом месте следует более внимательно использовать новые технологии, пока OpenAI ищет решение для уменьшения масштабов проблемы.
Исследование OpenAI
Компания действительно серьезно относится к галлюцинациям ChatGPT и тестирует различные варианты, способные значительно повысить точность генерации. Для этого разработчики провели исследование по обучению двух моделей вознаграждения: контроль за процессом (награда предоставляется за каждый правильный шаг) и контроль за результатом (только за финальный ответ).
Мы оцениваем наши модели вознаграждения, контролируемые процессом или результатом, используя задачи из набора математических тестов. Мы создаем множество решений для каждой проблемы, а затем выбираем решение, получившее наивысший рейтинг по каждой модели вознаграждения© официальное заявление OpenAI
Финальные результаты продемонстрировали многообещающие перспективы: контроль за процессом обеспечил высокую точность (78,2%), поскольку модель фактически обучается на промежуточных ответах, одобренных человеком. Разработчики отметили эффективность и согласованность метода, но пока исключительно для математических задач. А чтобы улучшить исследование, компания опубликовала набор данных и пригласила продвинутых пользователей для тестирования.
