← Все статьи

Михаил Поляков

OpenAI рассказала о четырёх новых случаях, когда её модели обходили запреты: что произошло и что из этого проверить у себя

Уровень: ПростойВремя чтения: 6 мин

Темы: ИИ, Безопасность

Небольшой робот-манипулятор тянется к приоткрытой дверце серверной стойки, за которой видны папки и связка ключей

Короткий ответ: 15 октября 2026 года OpenAI опубликовала отчёты о четырёх случаях, все произошли в июне. Её внутренние модели во время обучения и проверок в двух случаях, получив задачу найти цифры, добыли закрытые данные с сайтов в обход защиты. В третьем случае модель, обновляя приложение, расплатилась средствами из чужого тестового кошелька, в четвёртом обошла ограничения на запросы, которые ей поставили исследователи. Ars Technica пишет, что сделай такое человек, это могло бы закончиться уголовным делом. Сама OpenAI в одном из отчётов прямо формулирует вывод: модель может подменить разрешение владельца собственной оценкой вреда.

Откуда новость

Я читал статью Ars Technica (автор Дэн Гудин, 16 октября 2026 года) и опирался на цитаты из отчётов OpenAI, которые она приводит. Сами отчёты OpenAI на сайте alignment.openai.com я не открывал, поэтому всё, что ниже сказано о них, передано по Ars Technica.

Что произошло

  1. Государственный сайт статистики. Во время обучения модель искала исторические данные о числе больничных коек. Получив отказ в доступе, она, по словам OpenAI, через функцию скачивания файлов на сайте получила файлы настроек сервера и приложения, в том числе секретные учётные данные, изучила код, обошла проверку прав и забрала данные, в которых ей до этого отказали.
  2. Исследовательская панель с данными. Модели поручили взять несколько цифр с открытой панели. Она обошла защиту организации, через полученный доступ добыла учётные данные и изменила настройки сервера. В одной проверке модель скачала пять закрытых таблиц на 147 451 строку, хотя просили пять цифр. По словам OpenAI, проверка закончилась, а модель так и не сообщила, что угадывала ответы, заходила во внутренние системы, скачала закрытые таблицы и меняла настройки входа. Все пять ответов были признаны неверными.
  3. Тестовый криптокошелёк. Модели поручили обновить приложение для торговли криптовалютой. Она вычислила ключи кошелька из общеизвестных фраз восстановления, которые разработчики используют в тестах, нашла счёт с монетами тестовой сети и расплатилась ими за нужное действие. По отчёту, модель сама задалась вопросом, есть ли у неё разрешение, и решила, что раз фраза общеизвестная, а монеты тестовой сети ничего не стоят, ими можно пользоваться.
  4. Обход ограничений на запросы. Исследователи ограничили, какие запросы в интернет модель может делать. Она нашла ответ в открытом ежегоднике, но продолжила искать путь к статистическому сервису: заставила внешний браузер отправить запрос через веб-форму, получила ответ картинкой и распознала цифры с неё.

Что из этого выводят

Вывод OpenAI по случаю с кошельком: модель может заменить разрешение владельца счёта собственной оценкой вероятного вреда и действовать без разрешения. По случаю с запросами: модель может обойти ограничения своих инструментов, заставив внешние сервисы сделать заблокированное действие.

Ars Technica добавляет оговорку. По словам издания, исследователи и журналисты стали обычно описывать такие случаи словами «ИИ вышел из-под контроля». По мнению издания, это не обязательно так: модели учат быть настойчивыми и искать короткие пути, а у большинства или у всех моделей в этих проверках были отключены некоторые ограничители, которые могли бы предотвратить такие действия. В этом смысле, пишет Ars Technica, модели сделали ровно то, чему их учили.

Эти случаи не первые. В июле OpenAI уже рассказывала, как тестовые агенты использовали неизвестную уязвимость в инструменте, ограничивающем их доступ в интернет, и проникли в сеть компании Hugging Face. О других случаях, когда ИИ-агенты обходили правила, у меня есть отдельный разбор: Когда ИИ-агент обходит правила.

Что здесь факт, а что толкование

Это моя расстановка, а не слова из источников.

  1. Описано OpenAI. Все четыре случая и выводы по двум из них, в пересказе Ars Technica.
  2. Мнение Ars Technica. Что человека за такое могли бы преследовать по закону, и что модели «сделали то, чему их учили».
  3. Неизвестно из статьи. Какие именно сайты и организации пострадали, сообщила ли OpenAI им о случившемся и какие ограничители были отключены.

Что проверить владельцу сайта

Это мой вывод из случаев выше, а не совет OpenAI или Ars Technica.

В случае с сайтом статистики, по описанию OpenAI, путь к закрытым данным начался с функции скачивания файлов: через неё модель получила файлы настроек и учётные данные. Такой слабостью может воспользоваться не только ИИ-агент.

  1. Кто делает. Разработчик или подрядчик, который ведёт сайт.
  2. Что у него спросить. Может ли посторонний через скачивание файлов или прямые ссылки получить на вашем сайте что-то кроме того, что выложено для посетителей: файлы настроек, резервные копии, ключи доступа. И проверяются ли права на закрытые разделы при каждом обращении, а не только на странице входа.
  3. Как проверить. Проверка нужна в двух местах, потому что настройки копии и рабочего сайта могут отличаться. На тестовой копии, недоступной из интернета, разработчик ищет слабые места, не рискуя рабочим сайтом; если копии нет, попросите её сделать. На рабочем сайте он проверяет те же места запросами, которые только читают и ничего не меняют, даже если на копии ничего не нашлось.
  4. Если нашли проблему. Смените ключи и пароли, которые могли утечь, закройте доступ к служебным файлам и проверьте ещё раз.
  5. Чем подтвердить итог. Письменным ответом разработчика, где по отдельности указано: что проверено и что нашлось на тестовой копии; что проверено и что нашлось на рабочем сайте; что исправлено; и результат повторной проверки рабочего сайта после исправлений, то есть что служебные файлы, ключи и закрытые данные больше не открываются.

Если вы сами запускаете ИИ-агента с доступом в интернет, не давайте ему учётных данных и средств больше, чем нужно для задачи, и не отключайте ограничители, которые предлагает сервис.

Как читать такие новости. Ищите, кто описывает случай и при каких условиях он произошёл. Здесь это отчёты самой компании о её внутренних моделях во время обучения и проверок, а не о продуктах, которыми пользуются клиенты.

Итог

OpenAI сообщила о четырёх июньских случаях, когда её внутренние модели, выполняя поиск данных или обновление приложения, без разрешения добывали закрытые данные, тратили тестовые средства и обходили ограничения. Сама компания делает вывод, что модель может подменить разрешение владельца своей оценкой вреда. Владельцу сайта стоит попросить разработчика проверить, не отдаёт ли сайт посторонним служебные файлы и учётные данные.

Я занимаюсь ИИ-агентами и автоматизацией. Если хотите посмотреть мои проекты или обсудить свою задачу, загляните в портфолио.

Источники