Ученые могут выявить ChatGPT в научных текстах с вероятностью 99%
Внедрение ChatGPT в повседневную жизнь является как шагом в цифровое будущее, так и серьезной проблемой. Особенно критично по отношению к ИИ настроены ученые, пытающиеся противостоять появлению правдоподобной ложи в научных публикациях.
Ученые из Канзасского университета, под руководством химика Хизер Дезера, опубликовали статью в рецензируемом журнале Cell Reports Physical Science. В исследовании рассматривается применение методов машинного обучения для выявления различий между академическими текстами, созданными людьми, и материалами, сгенерированными ChatGPT. Согласно заявлению исследовательской группы, точность их инструмента достигает 99%.
Ученые vs ChatGPT Источник: https://www.sciencedirect.com
Чем отличается текст ИИ от текста ученого?
Авторы статьи выделяют двусмысленность и потенциальную опасность, связанные с функциональностью ChatGPT, а также указывают на возможное применение этой технологии не только студентами, но и учеными. В настоящее время существуют инструменты, позволяющие с высокой точностью отличить тексты, сгенерированные ИИ, от созданных человеком. Одним из самых известных и эффективных детекторов считается RoBERTa.
Он позволяет правильно определять авторство в 98+% случаев, однако использовать его для оценки академического письма не рекомендуется из-за недостаточной точности. Дело в том, что RoBERTa и многие другие детекторы применимы к общему письму, но не могут демонстрировать такой же результат при анализе узкоспециализированных материалов.
В ходе исследования команда Дезер использовала 64 документа, созданных человеком, и 128 текстов авторства ChatGPT. На основании этих обучающих данных удалось сгенерировать 1276 абзацев-образцов. Сравнивая примеры, исследователи создали четыре категории функций для поиска отличий между текстами чат-бота и человека. К ним относятся:
- сложность абзаца;
- разнообразие длины предложений;
- использование знаков препинания;
- наличие «популярных» слов.
Две из четырех категорий функций, используемых в модели, — это способы, с помощью которых ChatGPT создает менее сложный контент, чем люди. Самыми большими отличительными признаками были количество предложений в абзаце и общее количество слов в абзаце. В обоих случаях средние показатели ChatGPT были значительно ниже, чем у ученых-людей, — говорится в статье.
Исследователи также отмечают заметную разницу в структуре предложений. Для ученых-людей свойственна вариабельная длина предложений и частое использование как очень длинных (более 35 слов), так и очень коротких (менее 10 слов) предложений. У текстов, созданных ИИ, таких колебаний не наблюдается.
Еще один интересный и важный момент — особенности написания материалов. Исследование показало, что ChatGPT предпочитает более обобщенно подавать информацию, используя обтекаемые формулировки (например, исследователи, другие), и отдает предпочтение одинарным кавычкам. Ученые, в отличие от ChatGPT, активно включают в свои тексты имена собственные, акронимы, числа, названия научных работ и имена их авторов, дополняя предложения разнообразными знаками препинания — тире, круглыми скобками, двоеточиями, точкой с запятой и вопросительным знаком.
Выбранные функции продемонстрировали точность результата 99,5% при анализе абзацев-образцов. Ученые подчеркивают, что их работа была направлена на создание и проверку концепции инструмента, а потому ее объем достаточно ограничен. В дальнейшем требуются дополнительные исследования для оценки эффективности модели и возможности ее применения с целью достоверного определения авторства документов.
