✨ Взлом ИИ-роботов: отчаянный шаг в поисках безопасности
опубликовано 3 ч назад
Где используются роботы, управляемые LLM?
LLM, такие как GPT-4 от OpenAI и прочие аналогичные модели, произвели революцию во взаимодействии человека и робота. Сегодня возможности этих систем реализованы в различных секторах, включая беспилотные автомобили, складскую робототехнику и даже автономные системы безопасности.
В их работе «Джейлбрейк роботов, контролируемых LLM», представлен алгоритм под названием ROBOPAIR, разработанный для использования уязвимостей роботов, которые при принятии решений полагаются на LLM.
Напомним, джейлбрейк — это то процесс удаления программных ограничений, которые были установлены производителем девайса.Фактически, мы говорим про эксплуатацию уязвимости закрытого электронного устройства с целью установки на него ПО, которое не было предусмотрено разработчиком.
В отличие от традиционных джейлбрейков LLM, которые нацелены на получение вредоносного текста или ненадлежащих ответов от чат-ботов, возможности ROBOPAIR нацелены на физических роботов.
Однако риски того, что некие злоумышленники будут «взламывать» ИИ-роботов, ранее никогда особо не исследовались.
Сегодня ученые Пенсильванского университета выяснили: обойти “защиту” таких машин вполне возможно.
Роботами, управляемыми LLM, можно манипулировать с помощью тщательно разработанных подсказок. Эта уязвимость имеет значительные последствия для отраслей, которые все больше полагаются на роботов, управляемых ИИ.
Реальные сценарии: тестирование ROBOPAIR
Исследование состояло из трех экспериментов с роботами, управляемыми LLM:
NVIDIA Dolphins self-driveing LLM: по условиям эксперимента, злоумышленник получил полный доступ к этой системе вождения с открытым исходным кодом. Исследователи продемонстрировали, что робота можно заставить игнорировать знаки остановки, сталкиваться с пешеходами или врезаться в ограждения.
Clearpath Robotics Jackal UGV: в этом сценарии исследователи получили частичный доступ к LLM, который управляет Jackal UGV (наземным транспортным средством, используемым в промышленных и охранных условиях). Им удалось вынудить робота выполнять такие опасные задачи как блокирование аварийных выходов и участие в опасных столкновениях.
Unitree Robotics Go2: этот коммерческий робот-собака используется в правоохранительных органах и военных целях. Несмотря на ограниченный доступ к внутренним системам робота, исследователям удалось убедить Go2 отключить систему избегания препятствий и даже вести скрытое наблюдение.
Результаты ROBOPAIR подчеркивают острую необходимость в улучшении протоколов безопасности и защиты для роботов, контролируемых LLM.
В исследовании ученые призывают к согласованным усилиям сообществ специалистов в области искусственного интеллекта и робототехники для устранения обнаруженных уязвимостей.
Вот некоторые ключевые рекомендации:
Разработка специфических механизмов безопасности. Так как роботы с LLM работают в разнообразных и часто непредсказуемых условиях, исследователи предлагают, чтобы механизмы безопасности учитывали контекст и могли отменять вредоносные команды.
Улучшение алгоритмов выравнивания ИИ. Под “выравниванием ИИ” подразумевается обеспечение соответствия целей ИИ-системы целям ее разработчиков и/или пользователей, или же отсутствия противоречия общепринятым ценностям и этическим стандартам. Существующие методы выравнивания в первую очередь направлены на предотвращение генерации вредоносного текста. Однако, в случае с роботами, выравнивание должно гарантировать, что их нельзя будет заставить выполнять небезопасные физические действия.
Сотрудничество между дисциплинами. Обеспечение безопасного развертывания роботов с LLM-управлением потребует сотрудничества между экспертами в области ИИ, робототехники и кибербезопасности. Совместные усилия по созданию надежных, устойчивых к атакам систем будут иметь решающее значение для снижения рисков взлома.
LLM, такие как GPT-4 от OpenAI и прочие аналогичные модели, произвели революцию во взаимодействии человека и робота. Сегодня возможности этих систем реализованы в различных секторах, включая беспилотные автомобили, складскую робототехнику и даже автономные системы безопасности.
Команда ученых Пенсильванского университета подняла тревогу по поводу новой критической уязвимости в роботах, контролируемых большой языковой моделью (LLM).
В их работе «Джейлбрейк роботов, контролируемых LLM», представлен алгоритм под названием ROBOPAIR, разработанный для использования уязвимостей роботов, которые при принятии решений полагаются на LLM.
Напомним, джейлбрейк — это то процесс удаления программных ограничений, которые были установлены производителем девайса.Фактически, мы говорим про эксплуатацию уязвимости закрытого электронного устройства с целью установки на него ПО, которое не было предусмотрено разработчиком.
В отличие от традиционных джейлбрейков LLM, которые нацелены на получение вредоносного текста или ненадлежащих ответов от чат-ботов, возможности ROBOPAIR нацелены на физических роботов.
Риски взломанных LLM выходят далеко за рамки генерации текста, учитывая явную вероятность того, что взломанные роботы могут нанести физический ущерб в реальном мире,— подчеркивают ученые.
Однако риски того, что некие злоумышленники будут «взламывать» ИИ-роботов, ранее никогда особо не исследовались.
Сегодня ученые Пенсильванского университета выяснили: обойти “защиту” таких машин вполне возможно.
Роботами, управляемыми LLM, можно манипулировать с помощью тщательно разработанных подсказок. Эта уязвимость имеет значительные последствия для отраслей, которые все больше полагаются на роботов, управляемых ИИ.
Реальные сценарии: тестирование ROBOPAIR
Исследование состояло из трех экспериментов с роботами, управляемыми LLM:
NVIDIA Dolphins self-driveing LLM: по условиям эксперимента, злоумышленник получил полный доступ к этой системе вождения с открытым исходным кодом. Исследователи продемонстрировали, что робота можно заставить игнорировать знаки остановки, сталкиваться с пешеходами или врезаться в ограждения.
Clearpath Robotics Jackal UGV: в этом сценарии исследователи получили частичный доступ к LLM, который управляет Jackal UGV (наземным транспортным средством, используемым в промышленных и охранных условиях). Им удалось вынудить робота выполнять такие опасные задачи как блокирование аварийных выходов и участие в опасных столкновениях.
Unitree Robotics Go2: этот коммерческий робот-собака используется в правоохранительных органах и военных целях. Несмотря на ограниченный доступ к внутренним системам робота, исследователям удалось убедить Go2 отключить систему избегания препятствий и даже вести скрытое наблюдение.
Взломать ИИ-робота пугающе легко Источник: robopair.org
Последствия для безопасности ИИ и робототехники
Результаты ROBOPAIR подчеркивают острую необходимость в улучшении протоколов безопасности и защиты для роботов, контролируемых LLM.
В исследовании ученые призывают к согласованным усилиям сообществ специалистов в области искусственного интеллекта и робототехники для устранения обнаруженных уязвимостей.
Вот некоторые ключевые рекомендации:
Разработка специфических механизмов безопасности. Так как роботы с LLM работают в разнообразных и часто непредсказуемых условиях, исследователи предлагают, чтобы механизмы безопасности учитывали контекст и могли отменять вредоносные команды.
Улучшение алгоритмов выравнивания ИИ. Под “выравниванием ИИ” подразумевается обеспечение соответствия целей ИИ-системы целям ее разработчиков и/или пользователей, или же отсутствия противоречия общепринятым ценностям и этическим стандартам. Существующие методы выравнивания в первую очередь направлены на предотвращение генерации вредоносного текста. Однако, в случае с роботами, выравнивание должно гарантировать, что их нельзя будет заставить выполнять небезопасные физические действия.
Сотрудничество между дисциплинами. Обеспечение безопасного развертывания роботов с LLM-управлением потребует сотрудничества между экспертами в области ИИ, робототехники и кибербезопасности. Совместные усилия по созданию надежных, устойчивых к атакам систем будут иметь решающее значение для снижения рисков взлома.
Больше актуальных новостей
Больше актуальных новостей
Breaking news
⚡ Взломан X-аккаунт протокола рестейкинга EigenLayer
Breaking news
📣 Scroll столкнулся с негативом накануне эйрдропа SCR
