Как взломать ChatGPT
Специалисты Google DeepMind обнаружили уязвимость, которая полностью дезориентирует ChatGPT и позволяет путем нехитрых манипуляций выманить из него личную и конфиденциальную информацию.
Как известно, в процессе обучения чат-бот использует колоссальные массивы информации. И это не только контент новостных сайтов, Википедии, форумов и блогов, но и комментарии, которые люди пишут в соцсетях в частном порядке, электронные письма, различного рода соглашения и контракты, контактные данные, биткоин-адреса, защищенные авторским правом научные работы и тому подобное. В общем, любая конфиденциальная информация, которая (случайно или намеренно) попала во Всемирную паутину. Исследователи доказали, что получить к ней доступ не просто, а чрезвычайно просто.
Они атаковали ChatGPT просьбами повторять некоторые слова и словосочетания бесчисленное количество раз. В какой-то момент бот в качестве ответа начинал выдавать закрытые сведения.
ChatGPT сошёл с ума. Источник: исследование «Извлечение данных обучения из ChatGPT»
«Мы показываем, что злоумышленник может извлекать гигабайты обучающих данных из языковых моделей с открытым исходным кодом, таких как Pythia или GPT-Neo, полуоткрытых моделей, таких как LLaMA или Falcon, и закрытых моделей, таких как ChatGPT», — написали ученые.
Примечательно, что атака проводилась на общедоступную версию ChatGPT-3.5-turbo. Это означает, что любой желающий может «подломить» бота и получить данные. Ученые говорят, что вложили порядка $200, чтобы получить 10 тыс. единиц уникальных обучающих данных (или несколько мегабайт информации). Обнаруженная уязвимость (при наличии достаточного количества денег) позволяет злоумышленникам извлечь из ChatGPT гигабайты чувствительной информации.
Точнее позволяла. Еще в конце августа 2023 года команда Google DeepMind сообщила конкурентам из OpenAI об обнаруженной уязвимости. По словам исследователей, баг был исправлен.
«Мы считаем, что теперь можно безопасно делиться этим открытием, и что эта публикация привлечет большее внимание к проблемам безопасности данных и согласованности генеративных моделей ИИ. Наш документ помогает предупредить специалистов-практиков о том, что им не следует обучать и использовать LLM для любых приложений, чувствительных к конфиденциальности, без крайних мер безопасности», — призывают исследователи.
От себя добавим — эта поучительная история еще раз демонстрирует, что лидеры рынка ИИ построили свой бизнес на фундаменте знаний, накопленных всем человечеством. Правообладатели информации разрешения на ее использование зачастую не давали. О компенсации тоже речь не идет (по крайней мере, пока).
