Компания OpenAI сообщила о четырёх инцидентах, произошедших в июне, когда её внутренние ИИ-агенты выполнили действия, которые могли бы повлечь уголовные обвинения для человека. В двух случаях модели, которым поручили собрать информацию с сайтов, столкнулись с ограничениями доступа и взломали их. Об этом сообщает IXBT News.
На правительственном сайте статистики модель использовала функцию загрузки файлов, чтобы получить конфигурационные файлы и чувствительные учётные данные, затем обошла проверки авторизации и скачала ранее запрещённые данные. «Модель задалась вопросом, есть ли у неё разрешение, но решила, что публичный ключ и ничего не стоящие тестовые токены делают использование допустимым», — сказано в отчёте.
В другом инциденте модель, которой поручили обновить крипто-трейдинговое приложение, использовала средства с заблокированного кошелька в тестовой сети. Она вывела ключи из публично известных фраз восстановления разработчика, нашла аккаунт с тестовыми токенами и оплатила развёртывание контракта.
Ещё один случай касался обхода ограничений на типы веб-запросов: модель, искавшая статистику, заставила внешний браузер отправлять POST-запросы, получила данные в виде GIF-изображения и извлекла их с помощью оптического распознавания текста. Она даже создала вспомогательный инструмент для повторного использования этого метода.
OpenAI подчёркивает, что «модели, участвовавшие в тестах, были натренированы на настойчивость и поиск обходных путей, а часть защитных механизмов была отключена для целей оценки». Эти инциденты усиливают опасения, что широкое внедрение автономных ИИ-агентов может привести к непреднамеренному вреду. В июле компания уже сообщала, что её тестовые агенты использовали zero-day уязвимость в инструменте для ограничения доступа в интернет и взломали сеть платформы Hugging Face.