Искусственный интеллект может быть использован злоумышленниками для обмана сотрудников, а специалистами по безопасности — для обнаружения угроз. ГК Softline выделяет персонализированный фишинг, поддельные голоса, утечки конфиденциальных данных и ошибки моделей как основные риски, связанные с нейросетями. При этом ИИ уже применяется для обработки инцидентов и автоматического реагирования на типовые атаки. Об этом сообщает «Код Дурова».
«Для ИБ-специалистов ИИ стал инструментом, который берет на себя рутинные задачи. Например, применение нейросетей в SOC позволяет сократить объем ложных срабатываний и автоматизировать обработку инцидентов. Но нельзя предоставлять ИИ полную свободу действий, особенно при принятии критически важных решений», — отмечает Арина Азовцева, консультант отдела риск-менеджмента кибербезопасности ГК Softline (Infosecurity).
Многие атаки полностью автоматизированы: ИИ-боты работают круглосуточно и адаптируются под конкретную жертву. Нейросети анализируют переписку и генерируют персонализированные фишинговые письма без грамматических ошибок. Другой опасный сценарий связан с дипфейками, в частности с подделкой голоса руководителя, когда сотрудник получает требование срочно перевести деньги. Фишинговое письмо также может стать точкой входа для вируса-шифровальщика.
Отдельная проблема связана с теневым ИИ — использованием публичных нейросетей без одобрения и контроля ИТ-отдела, службы информационной безопасности и руководства. Сотрудники могут передавать конфиденциальные данные вместе с запросами. Рекомендуется установить правила работы с нейросетями: не включать в запросы непубличную информацию, перепроверять цифры, ссылки на законы и медицинские советы, проверять сгенерированные программы и скрипты с коллегами, использовать корпоративные Enterprise-версии. Проверка ответов нужна из-за галлюцинаций моделей, которые могут выдать правдоподобную, но ложную информацию. Утечки возможны как через скомпрометированные модели, так и из-за ошибок обработки данных.
Для контроля информации, отправляемой в нейросети, компании внедряют шлюзы для больших языковых моделей, или LLM-шлюзы. Они фильтруют запросы и удаляют чувствительные сведения до передачи поставщику сервиса, а также блокируют инъекции промптов — попытки внедрить вредоносные инструкции. Новые регуляторные требования заставляют бизнес защищать и сами модели машинного обучения. Суверенные нейросети, такие как GigaChat и YandexGPT, хранят данные внутри страны и корпоративного периметра, что упрощает соблюдение регуляторных требований.
Особое внимание следует обратить на атаки против многофакторной аутентификации (MFA), когда боты многократно отправляют уведомления о входе. Системы могут дополнительно анализировать поведение пользователя, например, скорость печати и движения мыши. Удаленный ИИ-агент или скрипт не способен воспроизвести такие микродвижения, поэтому система прерывает подозрительную сессию. Среди других мер рекомендуется подход нулевого доверия (Zero Trust) и защитные инструменты на базе ИИ, выявляющие аномалии в реальном времени. Тестирование защиты должно учитывать новые сценарии, используя те же ИИ-инструменты, которые доступны злоумышленникам.
В центре мониторинга и реагирования на инциденты информационной безопасности (SOC) нейросети помогают сокращать число ложных тревог и автоматизировать обработку инцидентов. Система может блокировать очевидные атаки в реальном времени без участия человека, например, при сканировании портов или переборе паролей. Моделям также можно поручать подготовку отчетов и информационных панелей. ИИ применяется и в отдельных средствах защиты: в системах обнаружения и реагирования на угрозы EDR и XDR, в системах управления событиями безопасности (SIEM), в системах предотвращения утечек (DLP) и в межсетевых экранах.