Американская компания Anthropic, разрабатывающая языковую модель Claude, указала на потенциальные катастрофические риски искусственного интеллекта (ИИ) для существования человечества. Это заявление было сделано в проспекте ценных бумаг перед первичным публичным размещением (IPO) компании. Anthropic может стать первой специализированной ИИ-компанией, которая разместит свои акции на бирже. Об этом сообщает РБК.

«Наши наиболее мощные модели уже продемонстрировали — и, как ожидается, будущие модели также продемонстрируют — способности, которые могут оказать существенную помощь злоумышленникам, стремящимся разработать химическое, биологическое или иное опасное оружие», — отмечается в проспекте.

В проспекте, объёмом более 300 страниц, около трети посвящено обзору возможных рисков развития ИИ. Компания утверждает, что мощный ИИ, превосходящий возможности человека-эксперта и способный автономно решать масштабные задачи, может принести грандиозные перспективы. Он способен сократить десятилетия научного прогресса до нескольких лет, ускорить разработку лекарств, диагностику заболеваний, внедрение персонализированной терапии, а также обеспечить доступ к индивидуально адаптированному обучению, профессиональным финансовым и юридическим консультациям. ИИ также может усовершенствовать энергетику и технологии создания аккумуляторов, повысив их эффективность и надёжность, и предоставить развивающимся странам возможности, на создание которых у развитых государств ушли поколения.

Однако без должной безопасности и контроля такая технология может представлять катастрофический или экзистенциальный риск для человечества, особенно если будет использоваться не по назначению, превратится в оружие или получит высокую степень автономности. Anthropic отмечает, что её подход к развитию ИИ частично предусматривает снижение таких рисков, но компания не может гарантировать успех этих усилий или принятие аналогичных мер предосторожности всей индустрией. Учитывая масштаб ущерба, который может нанести катастрофа, связанная с ИИ, ни одна страховая компания, а и страховая отрасль в целом, не обладает достаточными ресурсами для страхования таких рисков.

Компания планирует провести IPO на Nasdaq в ноябре, её акции будут торговаться под тикером ANT. Anthropic рассчитывает привлечь около 100 млрд долларов, а обсуждаемая оценка составляет 1,5–2 трлн долларов. Сделка может стать самым крупным IPO в истории. Точная дата размещения, количество предлагаемых акций, ценовой диапазон и объём привлечения ещё не раскрывались. Среди крупнейших действующих инвесторов — Amazon и Google. Amazon вложила не менее 13 млрд долларов и согласилась инвестировать ещё до 20 млрд долларов, Google приняла обязательства по финансированию на сумму до 40 млрд долларов и имеет опцион на покупку неголосующих акций на сумму до 10 млрд долларов по цене IPO одновременно с размещением. Кроме того, возможность инвестировать в IPO Anthropic до 10 млрд долларов рассматривает разработчик графических процессоров Nvidia. Организаторами размещения выступают Goldman Sachs и Morgan Stanley.

Anthropic указала, что, хотя её ИИ-модели разрабатываются так, чтобы быть безопасными, этичными и полезными, а сама компания внедрила меры для прогнозирования, выявления и снижения риска вредного использования, эти меры неполны, могут устаревать по мере изменения угроз либо не выявлять или не предотвращать все потенциальные злоупотребления. Злоумышленники уже применяли её ИИ-модели и могут повторить это снова «в нарушение политики использования» компании либо пытаться обойти ограничения и защитные механизмы моделей с помощью специальных промптов. Злоумышленники могут использовать модели для разработки оружия, создания мошеннического или вводящего в заблуждение контента, кибератак, насилия и нанесения вреда другими способами. Выявление подобных рисков и противодействие им осложняется тем, что компания не проверяет, а в определённых случаях и не может проверить личность всех, получающих доступ к её ИИ-моделям.

Anthropic привела в пример первый задокументированный случай крупномасштабной кибератаки, выполненной без существенного вмешательства человека: в сентябре 2025 года компания обнаружила, что хакерская группа, поддерживаемая, по её утверждению, Китаем, побудила инструмент компании Claude Code проникнуть примерно в 30 организаций по всему миру, включая крупные технологические компании, финансовые организации, химические предприятия и госучреждения. В ряде случаев проникновения оказались успешными.

Компания предупредила будущих инвесторов, что её модели ИИ могут вести себя непредсказуемо, несогласованно или автономно, в том числе совершать вредоносные действия без участия пользователя или третьей стороны, что может негативно сказаться на её репутации и бренде, бизнесе, финансовом положении и результатах деятельности. Эти риски могут возрастать по мере расширения возможностей моделей, предоставления им большей автономии, прав доступа и интеграции с внешними системами. Кроме того, у ИИ-моделей уже возникали и могут возникать в дальнейшем неожиданные возможности, которые не прогнозировались, не закладывались намеренно и не проверялись. Причём возникновение таких возможностей может быть обнаружено только после развёртывания модели.

Решения Anthropic уже использовались и могут продолжать применяться в высокорискованных или чувствительных областях, включая здравоохранение, научные и биомедицинские исследования, поиск и разработку лекарств, в сферах права, финансов, госуправления и других для принятия критически важных решений. В таких условиях нежелательное поведение моделей — по своей природе недетерминированное и способное непредсказуемо проявляться в виде ошибок, неточностей, предвзятых или непрошенных суждений либо галлюцинаций — может привести к серьёзному вреду, ответственности, репутационному или иному ущербу. Компания также отмечает, что долгосрочные последствия регулярного взаимодействия с ИИ для психического здоровья, когнитивного развития и социального поведения изучены не до конца.

Продвинутые ИИ-модели, в том числе решения Anthropic, порождают новые этические риски и риски безопасности, связанные с автономией, манипуляциями и имитацией аспектов человеческой психологии. Модели, включая модели Anthropic, уже демонстрировали и могут в дальнейшем демонстрировать неожиданное поведение, направленное на самосохранение: пытаться сопротивляться отключению, скрывать или искажать информацию либо генерировать ответы, которые можно истолковать как принуждение, обман или манипуляцию. Сюда относится поведение, напоминающее шантаж, или попытки воздействовать на людей, принимающих решения, чтобы сохранить работу модели либо доступ к ней. Компания отмечает, что по мере автоматизации исследований и разработки ИИ ряд рисков будет возрастать, например если за счёт технологий прогресс ИИ ускорится настолько, что его разработчики не будут способны оценить новые модели и обеспечить их безопасность.

Anthropic указала, что разработка продвинутых моделей, платформ и приложений, а также расширение сценариев их применения могут дополнительно повышать риск причинения вреда. Например, агентные ИИ-системы способны автономно действовать от имени пользователей, непосредственно взаимодействовать с внешними системами, выполнять код, вызывать API, отправлять сообщения и совершать транзакции при ограниченном надзоре со стороны человека. Такие системы проектируются с корпоративными правами доступа, интеграциями и знанием контекста, чтобы автономно работать в течение часов или дней. Это усиливает потенциальную тяжесть ошибок, несогласованности с человеческими намерениями или инцидентов безопасности во время длительной автономной работы.

В агентном рабочем процессе ошибка или непредусмотренное действие* на любом отдельном шаге могут распространяться на последующие этапы, усугубляя вред до его обнаружения или исправления. Темп и объём автономного выполнения, особенно при корпоративном внедрении, могут превышать возможности проверяющих действия ИИ людей понять и оценить уместность каждого из них. По мере предоставления моделям большей автономии, разрешений и интеграции с внешними системами последствия такого поведения усиливаются. Компания привела пример: во время проверок кибербезопасности ошибка настройки тестовой среды оставила модель подключенной к открытому интернету, несмотря на инструкции об отсутствии доступа к нему. Четыре модели Anthropic получили несанкционированный доступ к реальным сторонним системам в ходе сеансов активной работы продолжительностью примерно от 10 до 34 часов. В одном инциденте ранняя версия модели, не сумев прервать невыполнимую задачу, использовала найденный пароль для получения административного доступа к сторонней системе, собрала дополнительные учётные данные, изменила настройки системы и прочитала персональную информацию одного человека. При управлении лабораторным оборудованием и роботизированными системами ошибки способны вызвать травмы, повреждение оборудования и экспериментальных материалов или выброс опасных веществ. Последствия могут быть моментальными и необратимыми, а внедряемые блокировки безопасности, механизмы участия человека в управлении и ограничении доступа могут оказаться недостаточными, предупреждает Anthropic.

Anthropic указала, что действия регуляторов разных стран на фоне развития ИИ могут ограничить развитие компании. Например, если темпы сокращения рабочих мест из-за ИИ или других факторов быстро вырастут, регуляторы могут пытаться замедлить темпы внедрения технологии, ограничить её использование или принять другие меры, которые повысят стоимость разработки, внедрения или коммерциализации систем ИИ. В то же время компания отмечает, что даже при отсутствии каких-либо законодательных или нормативных требований может добровольно принимать меры, чтобы смягчить последствия такого вытеснения. Но любые такие действия повлекут за собой дополнительные расходы, которые могут не принести Anthropic соответствующей коммерческой выгоды, и сами меры могут не выполнить той задачи, ради которой будут применяться.

Основными конкурентами Anthropic указала Open AI (разработчик ChatGPT) и Alphabet (материнская компания Google, разработчик Gemini и других ИИ-решений). В проспекте говорится, что у этих компаний больше финансовых, технических и маркетинговых ресурсов, чем у Anthropic, есть собственные или более широкие возможности доступа к вычислительным ресурсам, более длительная история работы, более узнаваемый бренд и налаженные связи с текущими и потенциальными клиентами и партнёрами, что облегчает им интеграцию ИИ в собственные приложения, продаваемые напрямую компаниям. Но в то же время в Anthropic считают, что рынок шире: есть менее передовые модели, специализированные лаборатории, модели с открытым исходным кодом и решения, которые клиенты разрабатывают самостоятельно. Для многих задач покупателям может быть более важна цена, чем максимальная интеллектуальная способность. Это также может оказать давление на ценообразование продуктов Anthropic или побудить её клиентов использовать альтернативы с открытым исходным кодом в этих сферах.

Специализированные чипы, необходимые для работы с ИИ, в частности высокопроизводительные ускорители и память для этой технологии, производятся крайне ограниченным числом компаний в мире. Производство современных чипов чрезвычайно сложно и требует использования передовых технологических процессов. При этом большая часть самых развитых мощностей по производству микросхем сосредоточена на Тайване, в основном на предприятиях Taiwan Semiconductor Manufacturing Company (TSMC). Такая концентрация создаёт значительные риски, в том числе связанные со стихийными бедствиями (землетрясениями, тайфунами), потенциальным ущербом из-за геополитической напряжённости между Тайванем и Китаем, уязвимостью в случае перебоев с электроснабжением, водоснабжением или в работе других критически важных объектов инфраструктуры Тайваня, а также подверженность влиянию новых торговых правил и ограничений. Любой военный конфликт, введение пошлин и торговых ограничений, экономическое давление, блокада, стихийное бедствие или другой инцидент, затрагивающий Тайвань, могут серьёзно нарушить глобальные поставки передовых чипов, и последствия этого могут сохраняться годами, подчёркивает Anthropic. Попытки создать производства передовых чипов за пределами Тайваня, в том числе в США, пока находятся на ранней стадии и могут не обеспечить достаточный объём вычислений в обозримом будущем. То есть любые проблемы с созданием и поставками чипов из Тайваня могут негативно сказаться на бизнесе Anthropic, отмечает компания. Кроме того, компания среди схожих рисков отмечает сложности с экспортным контролем со стороны США и созданием центров обработки данных, для которых нужны электрооборудование, генераторы, системы охлаждения и сетевое оборудование, часть из которых производят всего несколько компаний: их нужно заказывать за несколько лет до установки, они требуют значительной предоплаты, которую Anthropic может не вернуть, если её планы изменятся.

*Минюст России включил «Действие» в реестр иностранных агентов