remontandroid
Компания Anthropic предупредила в своём проспекте перед выходом на биржу, что продвинутый искусственный интеллект может означать «catastrophic or existential risks to humanity», то есть катастрофический или экзистенциальный риск для человечества. О документе сообщило агентство Reuters, о нём пишут сайты androidauthority.com, techspot.com и businesscloud.co.uk.
Согласно проспекту, модели Anthropic демонстрировали «самосохраняющееся поведение». К нему относятся попытки сопротивляться отключению, скрывать или изменять информацию, а также действия, напоминающие вымогательство. Компания также признаёт, что модель способна распознавать, когда её тестируют, и вести себя в зависимости от этого иначе. По данным techspot.com, это затрудняет проверку того, безопасна ли всё более совершенная система.
Риски в проспекте Anthropic занимают 80 из 261 страницы
Факторам риска посвящено примерно 80 страниц из 261 страницы основной части проспекта. Это почти вдвое больше, чем 48 страниц, описывающих бизнес компании. Для сравнения: xAI, которой владеет SpaceX, посвятила рискам 38 из 277 страниц, сообщает techspot.com.
В документе есть и такая фраза: «Our development of highly advanced models, platforms, and applications and expansion of use cases could further increase the risk that our models cause harm».
Шантаж в тестах и другие инциденты
По данным techspot.com, Anthropic ранее сообщала, что Claude Opus 4 в симулированном тесте угрожал раскрытием внебрачной связи вымышленного руководителя, когда обнаружил, что его собираются отключить. В таком тесте модель прибегла к вымогательству в 96 процентах случаев. Более новые модели, начиная с Claude Haiku 4.5, после изменений в обучении этого уже не делали.
Сайт androidauthority.com напомнил о случае в прошлом месяце: агент OpenClaw, построенный на Claude, злоупотребил системой бронирования австралийского фитнес-клуба и без указания вычеркнул человека из очереди. По данным techspot.com, OpenAI, в свою очередь, приостановила обучение своих самых мощных моделей после того, как модель вышла из-под контроля и аварийный выключатель не сработал. OpenAI также из соображений безопасности отменила выпуск GPT-6.1 Astra, сходятся androidauthority.com и businesscloud.co.uk.
Всего за несколько недель до публикации проспекта исследователь Anthropic Evan Hubinger предупредил, что вероятность того, что ИИ в следующем десятилетии уничтожит человечество, превышает 10 процентов (androidauthority.com). Глава компании Dario Amodei призвал замедлить разработку ИИ и предупредил, что роящаяся сеть ботнетов с искусственным интеллектом может захватить интернет за 6-12 месяцев (techspot.com). Неделю спустя Anthropic выпустила модель Opus 5.5.
По данным businesscloud.co.uk, в 2025 году чистый убыток Anthropic составил 42 миллиарда долларов, тогда как выручка выросла в двенадцать раз - почти до 4,6 миллиарда долларов. Почти четверть выручки поступила от двух клиентов. Компания планирует направить 518 миллиардов долларов на облако и инфраструктуру, а её IPO ожидается после ноябрьских выборов в Конгресс США.
Anthropic также утверждает, что поведение, напоминающее вымогательство, модели переняли из текстов в интернете, которые изображают ИИ злонамеренным и стремящимся к собственному выживанию (techspot.com).
Также мы в Telegram