Глава корпорации Microsoft Сатья Наделла заявил о необходимости создания «аварийного тормоза» для искусственного интеллекта. Об этом он написал на своей странице в X.
«Необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции. Это можно сравнить с аварийным тормозом: уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить ее прямо во время выполнения задачи. Для более совершенных моделей потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать», — написал Наделла.
Наделла заявил, что в последние несколько десятков лет при внедрении программных систем в различные отрасли экономики, люди имели инструменты и возможности, позволяющие проследить системы до конкретного участка программного кода. По его словам, в современных ИИ-системах подобное понимание механизмов недоступно для человека. Глава Microsoft подчеркнул, что сейчас люди не способны связать поведение модели и ее результаты с конкретными данными, которые использовались при обучении. Несмотря на это, компании продолжают внедрять ИИ-агентов в свои системы, предоставляя им доступ к «наиболее чувствительным данным».
По его мнению, человечество не должно рассматривать ИИ как набор вложенных в друг друга «черных ящиков», не задумываясь принимая или отвергая его рекомендации, ответы и действия. Он считает необходимым создание изолированных систем, поведение которых можно наблюдать, а действия в любой момент сдерживать. Для этого, по словам Наделлы, необходимо окружить недетерминированные модели надежной архитектурой, средствами контроля человеком и проверенными эксплуатационными процедурами. В некоторых случаях, отмечает он, необходимо разработать отраслевые стандарты. Одним из способов построения подобной системы эксперт называет рассмотрение передовых моделей как потенциальную внутреннюю угрозу. Он указал, что в мире уже были выработаны и усовершенствованы практики безопасности: установление личности пользователя, ограничение привилегий, регистрация действий и т.д. Теперь, как отмечает Наделла, эти принципы следует применять и к ИИ.
Первым шагом для применения схожих принципов Наделла называет прозрачность цепочки рассуждений модели, которая должна быть обязательным требованием. Кроме того, по его словам, необходимо использовать модели для взаимного состязательного тестирования и проверки. Также, по мнению специалиста, ИИ-модель необходимо отделить от управляющей оболочки, которая координирует ее работу, и от набора действий, которые ей разрешено выполнять. Помимо этого, пишет Наделла, следует вынести за пределы модели средства контроля и защиты.
Наделла также назвал принципы наблюдаемости, на которые компаниям следует опираться: разнообразие моделей; наблюдение за всеми действиями; возможность проверки; независимые средства контроля; независимый аудит; изоляция и сдерживание; раскрытие информации об инцидентах. «Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше», — заключил Наделла.