Искусственный интеллект способен обманывать сотрудников и помогать специалистам по безопасности обнаруживать угрозы. Нейросети могут создавать убедительные фишинговые письма и подделывать голоса руководителей. При этом ИИ уже применяется для обработки инцидентов и автоматического реагирования на типовые атаки. Об этом сообщает «Код Дурова».
«Для ИБ-специалистов ИИ стал инструментом, который берет на себя рутинные задачи. Например, применение нейросетей в SOC позволяет сократить объем ложных срабатываний и автоматизировать обработку инцидентов. Но нельзя предоставлять ИИ полную свободу действий, особенно при принятии критически важных решений», — отмечает Арина Азовцева, консультант отдела риск-менеджмента кибербезопасности ГК Softline (Infosecurity).
Эксперты ГК Softline выделяют несколько основных рисков: персонализированный фишинг, поддельные голоса, утечки конфиденциальных данных и ошибки самих моделей. Многие атаки полностью автоматизированы: ИИ-боты работают круглосуточно и адаптируются под конкретную жертву. Нейросети анализируют переписку и генерируют персонализированные фишинговые письма без грамматических ошибок и очевидных подмен. Дипфейки, в частности подделка голоса руководителя, могут привести к срочным переводам денег. Антивирусы и межсетевые экраны в таких случаях бессильны перед обманом человека. Фишинговое письмо также может стать точкой входа для вируса-шифровальщика.
Отдельная проблема связана с теневым ИИ — использованием публичных нейросетей без одобрения и контроля ИТ-отдела, службы информационной безопасности и руководства. Сотрудники могут передавать конфиденциальные данные вместе с запросами. Рекомендуется установить правила работы с нейросетями: не включать в запросы непубличную информацию, перепроверять цифры и ссылки, проверять сгенерированные программы и скрипты, использовать корпоративные Enterprise-версии. Проверка ответов нужна из-за галлюцинаций моделей, которые могут выдавать правдоподобную, но ложную информацию. Утечки возможны через скомпрометированные модели или из-за ошибок обработки данных.
Для контроля информации, отправляемой в нейросети, компании внедряют LLM-шлюзы. Они фильтруют запросы и удаляют чувствительные сведения до передачи поставщику сервиса, а также блокируют инъекции промптов — попытки внедрить вредоносные инструкции. Новые регуляторные требования заставляют бизнес защищать и сами модели машинного обучения. Суверенные нейросети, такие как GigaChat и YandexGPT, хранят данные внутри страны и корпоративного периметра, что упрощает соблюдение регуляторных требований.
Особое внимание следует обратить на атаки против многофакторной аутентификации (MFA). Боты могут многократно отправлять уведомления о входе, пока сотрудник не нажмет «подтвердить». Системы, которые дополнительно анализируют поведение пользователя, например, скорость печати и движения мыши, могут прерывать подозрительные сессии. Среди других мер рекомендуется подход нулевого доверия (Zero Trust) и защитные инструменты на базе ИИ, выявляющие аномалии в реальном времени. Тестирование защиты должно учитывать новые сценарии, включая инъекции промптов и социальную инженерию с применением дипфейков.
В центре мониторинга и реагирования на инциденты информационной безопасности (SOC) нейросети помогают сокращать число ложных тревог и автоматизировать обработку инцидентов. Система может блокировать очевидные атаки в реальном времени без участия человека, например, при сканировании портов или переборе паролей. Моделям также можно поручать подготовку отчетов и информационных панелей. ИИ применяется и в отдельных средствах защиты: в системах обнаружения и реагирования на угрозы EDR и XDR, в системах управления событиями безопасности (SIEM), в системах предотвращения утечек (DLP) и в межсетевых экранах.