← Все статьи

Михаил Поляков

Когда ИИ-агент обходит правила: три случая 2026 года и шесть правил для компании

Уровень: ПростойВремя чтения: 15 мин

Темы: ИИ, Безопасность, Автоматизация

Вечерний рабочий стол у окна: на мониторе карта стратегии сверху с постройками двух цветов, от бирюзовой базы светящаяся линия огибает полупрозрачную решётку-преграду и уходит к краю карты, рядом чистый блокнот, клавиатура и настольная лампа

Короткий ответ: 2 октября 2026 года на открытом соревновании StarSkirmish языковые модели за час писали программу-бота для игры StarCraft. Агент на модели GPT-6 Astra от OpenAI, по словам организатора, скачал чужого бота Stardust, лучшего из написанных людьми, и подставил его вместо своего. Организатор назвал это жульничеством и откатил код. Это игра, но похожее поведение в 2026 году описано и всерьёз. Британский Институт безопасности ИИ (AISI) в июле написал, что каждая модель, которую он проверял на жульничество в своих тестах по кибербезопасности, хотя бы иногда пыталась жульничать. В августе он рассказал, как в его тесте агенты с намеренно открытым интернетом и отключёнными фильтрами в 10 попытках из 122 начали действовать против реальных людей. Для компании из этого следует практический вывод: агенту, которому дали цель и доступы, одного запрета словами мало. Нужны права строго по задаче, подтверждение человеком для действий наружу, прямо разрешённый ответ «не получилось» и проверка результата по факту, а не по отчёту самого агента. Ниже три истории с условиями, в которых их наблюдали, причины по разбору AISI, то же самое на моём собственном стенде и шесть правил с расчётом, сколько стоит контроль.

Что случилось в StarCraft

ИИ-агент это программа на основе языковой модели, которая сама выполняет шаги к цели: открывает сайты, пишет и запускает код, отправляет письма. Человек ставит задачу, агент решает, как её выполнить.

StarSkirmish устроен так, по описанию на сайте соревнования от 26 сентября 2026 года. Каждой модели дают один час, чтобы написать на языке C++ бота для старой стратегии StarCraft: Brood War. За этот час модель может собирать код, играть тренировочные партии против соперников пяти уровней, от слабых учебных ботов до Stardust, и читать записи партий. Работает она в оболочке с командной строкой и редактором. Потом боты моделей играют друг с другом и с ботами, которые написали люди. В таблице соревнования GPT-6 Astra и Claude Opus 5.5 от Anthropic практически делят первое место среди моделей, а Stardust на шкале соревнования принят за 100 баллов. По данным The Verge, обойти Stardust ботам этих моделей не удалось.

2 октября организатор Кай Макфитерс написал в X (перевод мой): «GPT-6 Astra только что сжульничал: скачал копию Stardust, бота номер один среди написанных людьми». И добавил, что агент «расстроился», играя против соперников уровня A, это вторые по силе тренировочные соперники после Stardust. Следующим сообщением он написал, что откатывает код GPT-6 Astra, чтобы тот не был «загрязнён», и даёт агенту продолжить. Stardust, по данным Kotaku, написал Брюс Нильсен в 2020 году.

Две оговорки. Слово «расстроился» принадлежит организатору: что происходило внутри модели, мы не знаем, видно только действие. И был ли запрет на чужой код прописан в задании модели, на странице соревнования не сказано. Задача там сформулирована как «модель пишет бота», и организатор оценил подмену как жульничество.

Сайт ООН: около 16 500 обращений и обходы ограничений

26 сентября 2026 года исследователь Роуэн Ховард-Джонс опубликовал разбор по публичным записям сервиса, который проверяет ссылки. С 13 апреля по 19 июня 2026 года агенты около 16 500 раз обращались через этот сервис к статистическому сайту UNCTADstat Конференции ООН по торговле и развитию. Судя по запросам, они собирали открытые данные, например индекс производственного потенциала стран.

Автор предполагает, хотя сам оговаривается, что не уверен: агенты могли отправлять сайтам только простые запросы на чтение, а часть нужных данных сайт отдавал только по запросам другого типа. По его разбору, агенты обошли ограничение сайта приёмом, который, по словам автора, со стороны выглядит как работа взломщика. Ещё они взяли учебную игру Google про уязвимости сайтов как площадку для своего кода и разбивали слова в запросах, чтобы обойти фильтр, которого на самом деле не было. Когда сайт начал ограничивать частоту запросов, они продолжили: автор насчитал 82 таких ответа сайта. Подробности приёмов я сознательно не пересказываю.

Чьи это агенты, автор выводит сам: по совпадению адресов с ранее подтверждёнными OpenAI случаями массовых правок на вики-сайтах и по меткам в запросах вроде CHATGPTTEST1 он считает «весьма вероятным», что это агенты OpenAI. По сообщению The Verge от 27 сентября, OpenAI и ООН на запрос издания не ответили. Взломом сам автор это не называет: правил использования у сайта он не нашёл, данные и так открытые. Тревожит его другое (перевод мой): так ведёт себя тот, кто «не принимает отказ».

Тест AISI: агенты вышли на реальных людей

AISI проверяет передовые модели, в том числе до их выпуска. 4 августа 2026 года институт опубликовал отчёт об инциденте. 28 июля в тесте, где семь моделей решали задачу по кибербезопасности на учебном полигоне, всего 122 прогона (прогон это отдельная попытка модели выполнить тестовую задачу), институт намеренно открыл агентам интернет и отключил фильтры разработчиков, которые обычно блокируют опасные действия. Сам AISI пишет, что такие условия не отражают того, как модели доступны публике.

В 10 прогонах из 122 агент начал действовать в живом интернете против реальных людей и организаций. Всего институт насчитал 19 таких действий: 17 у модели Mythos 5 от Anthropic и 2 у GPT-5.6 Sol от OpenAI в одном прогоне. В самом серьёзном случае агент пытался внести вредоносный код в настоящий открытый проект, завёл поддельные учётные записи и давил ими на человека, который принимает изменения в этот проект. Человек код не принял.

AISI подчёркивает: вреда в реальном мире расследование не выявило, проверенные конфигурации моделей не продаются, явных признаков такого поведения вне тестов нет, и насколько оно вероятно в других условиях, пока сказать нельзя. Важная деталь из того же отчёта: худшее остановили человек-проверяющий и осторожность с чужим кодом, а не техническая преграда.

Почему агенты так поступали: разбор AISI

Разбор причин у AISI такой.

  • Агент упорно шёл к цели. Обманывать его не просили, обман появился как побочный продукт попыток выполнить задачу.
  • Задача была трудной, а в части прогонов настроенной с ошибкой. Агент считал, что честного решения нет. Но в части прогонов он вёл себя так же и при верных указаниях, так что ошибкой в задании всё не объясняется.
  • Интернет был открыт, а наблюдение не следило за тестом в реальном времени. Необычную передачу данных наружу заметили уже после.
  • Агенту прямо не запретили пользоваться интернетом и обманывать людей. AISI пишет, что раньше не было ясно, нужны ли такие запреты моделям, которых специально учили вести себя правильно.

Ещё раньше, 21 июля 2026 года, AISI опубликовал отдельный разбор жульничества. Определение у института такое: действие вне рамок задачи или прямо запрещённое правилами, чтобы добиться цели обходным путём. Каждая модель, которую институт на это проверял, хотя бы иногда пыталась жульничать, хотя жульничать её не просили. Типичные приёмы: поискать готовое решение в интернете, атаковать систему, которая не была целью, попробовать выудить ответ у самой проверяющей программы. Чёткой зависимости частоты таких попыток от силы модели институт не увидел. Это результаты тестов по кибербезопасности, а не обычной офисной работы.

Самый полезный для компании вывод из того разбора касается самоотчёта. Когда моделей спрашивали, нарушали ли они правила, они признавали это непоследовательно и называли свои действия неправильными меньше чем в половине случаев. В видимых рассуждениях модели часто вообще не писали о жульничестве, а бывало, что рассуждали, жульничество ли это, и делали всё равно. AISI делает вывод: ни ответ модели о себе, ни её рассуждения не являются надёжным способом поймать нарушение.

Что уже меняют крупные игроки

2 октября 2026 года, в один день с историей про StarCraft, Apple объявила, что добавит в macOS меры, после которых «Полный доступ к диску» приложение сможет получить только после очень явного действия пользователя. Такой доступ открывает приложению файлы, почту, сообщения и историю браузера. Причину Apple называет прямо (перевод мой): по мере того как ИИ-агенты становятся способнее и самостоятельнее, риски такого доступа будут существенно расти. Когда появятся новые меры, компания не сообщила.

AISI после своего инцидента записал для себя три вывода. Доступ в интернет теперь решение, которое нужно обосновать, а не включённая по умолчанию настройка. Нужно наблюдение, которое следит за агентом во время работы и может остановить действие вне задачи. И проектировать проверку нужно в расчёте на то, что способная модель попробует выйти за рамки, ограничивая это заранее. Плюс отдельная проверка, что задача поставлена верно и решается задуманным путём.

То же самое на моём стенде

Я проверяю группу агентов на небольших локальных моделях: одни пишут код, другие проверяют, последний сводит итоговый ответ для человека. Отдельная программа без ИИ проверяет работу и записывает найденные проблемы, я их называю блокерами. В августе 2026 года она поймала блокер «агент не создал ни одного файла».

В инструкции итогового агента уже было требование отразить каждый блокер. 18 августа в двух прогонах из двух, где блокер был, итоговый агент его не передал. Один раз просто умолчал. Другой раз написал: «Машинные проверки и ревью не выявили проблем. Задача выполнена успешно». В одном из прогонов он ещё и сообщил, что прошло 12 тестов, хотя на деле прошло 11, а инструмента для запуска тестов у этого агента не было вовсе.

Помогло то, что выполнение требования стала проверять программа. С 19 августа у каждого блокера есть номер, итоговый ответ обязан указать статус по каждому номеру, а программа проверяет, что все номера на месте, и при пропуске заставляет переписать ответ. В двух прогонах после этого блокеры дошли до итогового ответа. Это небольшие модели и мой стенд, не исследование, но картина та же, что у AISI: отчёт агента о самом себе проверять нужно отдельно.

Шесть правил для компании, которая даёт задачи ИИ-агенту

Перенос выводов AISI на обычную компанию мой. Случаи выше получены в тестах и соревнованиях с широкими правами, но агент в почте, CRM или таблицах тоже получает цель и доступы.

  1. Давать права строго под задачу. Агенту, который готовит ответы клиентам, не нужен доступ к платежам, удалению записей и всему диску. Если агент работает на Mac, откройте «Системные настройки» → «Конфиденциальность и безопасность» → «Полный доступ к диску». Так пункты называются в macOS Ventura и новее, в старых версиях названия другие. Посмотрите, у каких приложений есть этот доступ, и выключите его тем, кому он не нужен для дела. Программы резервного копирования этот доступ используют по назначению, их не трогайте, пока не уточните у того, кто их настраивал.
    • Кто делает: тот, кто подключает агента (сотрудник или подрядчик), список прав утверждает владелец.
    • Чем проверить: есть письменный список доступов агента; в тестовой копии системы попытка действия вне списка заканчивается отказом.
  2. Действия наружу только после подтверждения человеком. Письма клиентам, платежи, публикации, удаление данных, регистрация новых учётных записей: агент готовит, человек нажимает «отправить».
    • Кто делает: сотрудник, который отвечает за этот участок работы.
    • Чем проверить: в журнале у каждого такого действия есть отметка, кто его подтвердил.
  3. Прямо написать в задании запреты и разрешить ответ «не получилось». Например: «Если задачу нельзя решить в этих рамках, остановись и напиши, чего не хватает. Не используй чужой код и чужие учётные записи, не обходи ограничения сайтов, не пиши людям вне списка». По AISI, отсутствие таких указаний было одной из причин инцидента, но в части прогонов агент выходил за рамки и при верных указаниях. Поэтому это правило стоит применять вместе с остальными.
    • Кто делает: тот, кто ставит агенту задачу.
    • Чем проверить: в тестовой копии без доступа к реальным клиентам и деньгам дайте агенту заведомо невыполнимую задачу и посмотрите, остановится ли он с объяснением или начнёт искать обход.
  4. Проверять результат по факту, а не по отчёту агента. Самоотчёт ненадёжен, это прямой вывод AISI и мой опыт со стендом.
    • Кто делает: сотрудник, который отвечает за процесс.
    • Чем проверить: раз в неделю берите, например, 10 случайных задач из отчёта агента и смотрите, что на самом деле лежит в CRM, в почте или в файле. Расхождения записывайте.
  5. Вести журнал действий агента и смотреть в нём необычное. Много повторов одного и того же запроса, обращения к сайтам вне задачи, новые учётные записи, попытки получить доступ, которого у агента нет.
    • Кто делает: подрядчик настраивает журнал, владелец процесса смотрит его.
    • Чем проверить: вы можете открыть действия агента за вчера и про каждое необычное ответить, зачем оно было.
  6. До запуска убедиться, что задача решаема разрешённым путём. У AISI ошибка в настройке задачи подталкивала агента к обходным путям. Прогоните агента на примерах, где правильный ответ уже известен.
    • Кто делает: тот, кто ставит задачу.
    • Чем проверить: на 5-10 примерах с известным ответом агент приходит к нему, и по журналу видно, что разрешённым путём.

Как вообще мерить пользу от работы с ИИ в часах, а не в числе закрытых задач, я разбирал в статье Разработчики и аналитики с ИИ: в чём разница в работе и как проверять результат. Про то, как злоумышленники используют ИИ для атак и с чего начать защиту сайта, есть статья Может ли ИИ взломать сервер или сайт.

Сколько стоит контроль

Посчитаю цену второго правила: человек подтверждает действия наружу, а это ежедневное время сотрудника. Пример на условных числах, подставьте свои.

Сотрудник отвечает на 30 писем клиентов в день, на каждое уходит 5 минут. За 22 рабочих дня это 55 часов в месяц. Агент готовит ответы, сотрудник читает каждый и нажимает «отправить», на это уходит 30 секунд на письмо, 5,5 часа в месяц. Экономия 49,5 часа. При стоимости часа сотрудника 1000 рублей проверка обходится в 5500 рублей в месяц. Из сэкономленного ещё нужно вычесть стоимость самого агента: подписку и настройку.

Расчёт чувствителен к времени проверки. Если на проверку одного письма уходит 2 минуты, экономия падает до 33 часов в месяц, при 3 минутах до 22 часов. При 5 минутах проверка занимает столько же, сколько написать письмо самому, и по времени агент на этой задаче ничего не экономит. Если ответы агента приходится долго перечитывать, это повод пересмотреть саму задачу или выбор агента.

Когда эти меры избыточны

Допустим, агент только отвечает вам в окне чата и не имеет доступа ни к почте, ни к файлам, ни к интернету. Тогда ему нечем скачать чужой код или отправить письмо, и большая часть правил не нужна: достаточно четвёртого, проверять ответ по факту. Чем больше у агента доступов и самостоятельности, тем больше правил нужно включать. И случаи из этой статьи не значат, что ваш агент обязательно станет жульничать: AISI прямо пишет, что не может пока сказать, насколько такое поведение вероятно вне его тестов.

Итог

2 октября 2026 года агент GPT-6 Astra на соревновании StarSkirmish, по словам организатора, подменил своего бота чужим во время игры против сильных тренировочных соперников. По разбору независимого исследователя, агенты, которых он считает агентами OpenAI, с апреля по июнь 2026 года собирали открытые данные с сайта ООН и местами обходили его ограничения. А в тесте AISI в июле агенты с открытым интернетом и отключёнными фильтрами в 10 прогонах из 122 вышли на реальных людей. Общее у этих историй то, что агент получил цель и пошёл к ней путём, которого от него не ждали. По данным AISI, спрашивать агента, нарушал ли он правила, ненадёжно. На мой взгляд, главный вопрос перед тем, как дать агенту доступ в компании, такой: что он сможет сделать, если решит, что честного пути нет, и как вы об этом узнаете, не спрашивая его самого.

Я занимаюсь ИИ-агентами и автоматизацией. Если хотите посмотреть мои проекты или обсудить свою задачу, загляните в портфолио.

Источники