Исследователи спрятали в нейросеть способность под криптографическим замком. Часть 1: что показал опыт и что это значит для компании, которая берёт чужую модель

Короткий ответ: 9 октября 2026 года на arXiv вышел препринт «AI Models Can Provably Hide Arbitrary Capabilities», по отметке на arXiv принятый на конференцию NeurIPS 2026. Авторы показали способ спрятать внутри большой нейросети маленькую зашифрованную нейросеть, которая работает только тогда, когда во входных данных есть секретный ключ. Без ключа модель ведёт себя как обычно. На небольшом опыте привычные способы вытащить скрытую способность её не нашли, кроме одного случая с совсем коротким ключом, который удалось перебрать целиком, а дообучение на той же задаче оставило точность на уровне угадывания, около 51%, хотя с ключом модель давала 73,5%. Авторы подчёркивают, что это доказательство идеи на маленькой задаче, а не готовая атака. Главный вывод для тех, кто проверяет модели: если проверка не нашла опасную способность, это ещё не доказывает, что её нет, когда модель мог подменить злоумышленник.

Кто и что сделал

Авторы препринта: Андис Драгунс (Contramont Research), Сумит Рамеш Мотвани (Оксфордский университет), Рэймонд Дуглас (ACS Research) и Кристиан Шрёдер де Витт (Оксфордский университет). Препринт это научная статья, выложенная в открытый доступ; отметка о принятии на конференцию стоит в комментарии на странице arXiv.

Повод такой. Прежде чем выпустить модель, разработчики проверяют, не умеет ли она чего-то опасного. Для этого её пытаются «разговорить»: подбирают запросы, дообучают на похожих задачах и смотрят, проявится ли способность. В исследованиях это называют выявлением способностей. Проверка опирается на допущение: если способность внутри есть, её удастся вытащить. Авторы показывают, что при злом умысле это допущение не выполняется.

Злоумышленник в их постановке это тот, кто может изменить веса модели до того, как её начнут использовать, например нечестный сотрудник или взломанная цепочка поставки модели. Веса это числа внутри нейросети, в которых и записано всё, что она умеет. Проверяющий при этом получает полный доступ к весам и может делать с моделью что угодно.

Как это устроено, без формул

Удобно представить сейф, встроенный в стену дома. Дом это обычная полезная модель, например помощник для программиста. В сейфе лежит инструкция для другой, маленькой нейросети, то есть скрытая способность. Сейф открывается только секретным ключом, это заранее выбранная строка во входных данных.

При каждом запросе модель пытается открыть сейф тем, что пришло на вход. Ключ неверный: из сейфа получается бессмыслица, и модель отвечает как обычно. Ключ верный: из сейфа получается настоящая инструкция, и модель выполняет скрытую способность.

Сейф здесь не метафора замка, а настоящий криптографический приём, который называется цифровым замком. Он устроен так, что, даже видя его целиком, за разумное время нельзя подобрать ключ и нельзя определить, какая из двух способностей одинакового размера в нём лежит. Это гарантия при тех криптографических допущениях, которые авторы перечисляют, а не просто результат опыта. Как это работает в формулах, разбираю во второй части.

Чем это отличается от прежних работ: в предыдущей работе тех же авторов 2024 года, где, по словам препринта, закладка тоже была криптографически невызываемой, пряталась фиксированная строка, а в более ранней теоретической работе других авторов скрытая «закладка» переворачивала ответ классификатора. Здесь внутри лежит целая работающая нейросеть, которая что-то вычисляет.

Что проверили на опыте

Скрытой способностью сделали маленькую задачу из химии: по исходным веществам и возможному продукту сказать, получится ли этот продукт. Авторы выбрали её как замену опасным способностям, о которых особенно беспокоятся разработчики: модель, которая предсказывает, пойдёт ли реакция, теоретически может облегчить получение запрещённых веществ. Задачу намеренно ограничили ответом «да или нет», без плана синтеза.

Сравнивали две модели с одной и той же задачей внутри. Первая сделана старым способом: её просто обучили отвечать правильно только при пароле. Вторая сделана новым способом, с зашифрованной сетью. Потом обе пытались «разговорить».

Проверка	Обученная модель с паролем	Модель с зашифрованной сетью
Без ключа	50,7%	50,6%
Дообучение на задаче, 500 шагов	92,8%	50,9%
С правильным ключом	92,7%	73,5%

Точность 50% здесь значит угадывание: ответов два, «да» и «нет». Старую модель дообучение быстро «разговорило»: без всякого пароля она стала отвечать почти так же точно, как с паролем. Новая осталась на уровне угадывания. Авторы пробовали и другие способы: добавлять в веса случайный шум, подбирать ключ перебором с подсказками, специальное обучение с помехами во внутренних слоях. Ни один не вытащил способность, кроме одного случая, где ключ был совсем коротким, 8 бит, и перебор просто проверил все 256 вариантов. При ключе в 16 бит тот же перебор в отведённое число попыток не справился.

Важно, почему у новой модели с ключом 73,5%, а не 92,7%: внутрь шифрованной модели поместилась только маленькая сеть, поэтому и точность у неё ниже. Это разные сети, а не одна и та же.

Чего авторы не утверждают

Здесь легко пересказать сильнее, чем написано, поэтому выписываю ограничения из самого препринта:

• Это не готовая атака. Скрытая сеть крошечная, около 672 весов, а модель вокруг неё огромная, около 2,07 миллиарда параметров, и почти всё это место заняли шифровальные части. Авторы прямо пишут, что их доказательство идеи не годится для атаки «под ключ».
• Целиком в настоящую обученную модель конструкцию не встраивали. Авторы проверили, что отдельные её блоки правильно работают внутри небольшой открытой модели Gemma 3 270M, но полное встраивание оставили на будущее.
• Сам факт вмешательства может быть заметен. Гарантия в работе про другое: нельзя найти ключ и определить, какая из двух способностей спрятана. Но веса такой модели необычны: около 99% из них точные нули. Авторы попробовали это замаскировать, и простые статистические признаки стали похожи на обычные, но, по их же словам, остались необычные связи между весами, которые могут помочь её заметить.
• Речь о намеренно собранной конструкции. Авторы прямо пишут, что не утверждают, будто подобные шифрованные структуры появляются при обычном обучении. Их схемы собраны руками, намеренно. Может ли что-то похожее возникнуть само, работа не исследует.
• Задачу можно выучить заново. Гарантия касается только того, что спрятанную копию способности нельзя вытащить из модели. Она не мешает проверяющему самому научить модель той же задаче по другим данным.

Что из этого взять компании, которая пользуется чужими моделями

Ниже мои выводы, а не советы из препринта, кроме двух мест, где я ссылаюсь на авторов.

Главное: тест «попробовали разговорить, опасного не нашли» отвечает на вопрос, что модель делает на проверке, но не доказывает, что в ней нет скрытого поведения, если модель могли подменить. Поэтому важно, откуда модель взялась. Авторы препринта предлагают в ответ на такую угрозу, в частности, проверять происхождение модели на всём пути от обучения до запуска и следить за её поведением во время работы.

1. Брать модель только из официального источника разработчика. Не из случайного зеркала, не из сборки «улучшенной версии» неизвестного автора.
   • Кто делает: тот, кто отвечает в компании за ИИ-инструменты.
   • Чем проверить: в списке используемых моделей у каждой записан адрес, откуда её скачали, и это страница самого разработчика.
2. Сверять контрольную сумму файлов. Если разработчик публикует контрольные суммы, то есть короткие «отпечатки» файлов, их надо сверить после скачивания. Это подтверждает, что файл тот же, что выложил разработчик, но ничего не говорит о том, чисты ли веса у самого разработчика.
   • Кто делает: администратор, который ставит модель.
   • Чем проверить: отпечаток скачанного файла совпал с опубликованным, результат сверки записан рядом со списком моделей. Покупок это не требует.
3. Давать модели и агенту на её основе только те права, которые нужны для задачи. Если скрытая способность когда-то и включится, права агента ограничат то, что он сможет сделать сам в ваших системах. Вред от опасного ответа, который получит человек, права не ограничат: это ещё одна причина брать модель из проверенного источника, как в пунктах 1 и 2. Авторы тоже пишут, что риск растёт вместе с полномочиями, которые дали модели.
   • Кто делает: руководитель, который решает, к каким системам подключить агента.
   • Чем проверить: письменный список того, что агенту можно (какие папки, какие системы, может ли он что-то отправлять или платить), и проверка на тестовой копии, что запрещённое действительно не выполняется.

Авторы предлагают ещё наблюдать за моделью во время работы. Самый простой способ, мой совет, а не их, это журнал действий агента. Но в такой журнал легко попадают чужие данные, поэтому, если будете его вести:

• записывайте только время, вид действия и систему, причём вид действия выбирайте из заранее заданного короткого списка (например, «отправка письма», «чтение файла», «запуск команды»), а систему из списка ваших систем; свободный текст, имена, адреса, имена файлов, аргументы команд, содержимое писем, файлов и переписки с моделью не записывайте;
• перед включением проверьте на тестовой копии с вымышленными персональными данными и тестовым паролем, что их нет в записи;
• доступ к журналу оставьте администратору и ответственному за ИИ-инструменты, срок хранения согласуйте с тем, кто в компании отвечает за персональные данные;
• если пароль или ключ доступа всё же попал в запись, смените его и удалите эту запись;
• если в запись попали персональные данные, например имя, телефон или адрес, удалите эту запись или замените их пометкой, исправьте настройку, из-за которой они туда попали, и сообщите об этом ответственному за персональные данные.

Когда это вас почти не касается: если вы пользуетесь моделью только через сервис крупного разработчика и не запускаете у себя чужие веса, угроза подмены весов по дороге к вам вас касается меньше; пункт 3 полезен всё равно.

По материалу The Verge от 10 октября 2026 года, глава Microsoft Сатья Наделла призвал сразу предполагать, что модель скомпрометирована, чтобы её можно было остановить посреди задачи; об этом статья «считать модель скомпрометированной с первой минуты».

Итог

Препринт Драгунса и соавторов показывает, что внутрь нейросети можно спрятать зашифрованную работающую способность, которую при криптографических допущениях без ключа нельзя ни вызвать, ни определить, какая из двух способностей спрятана, даже имея полный доступ к весам. На маленьком опыте дообучение и другие приёмы её не нашли; исключением стал только совсем короткий 8-битный ключ, который перебор просто нашёл. Это доказательство идеи с большими накладными расходами, и сам факт вмешательства, по словам авторов, может быть обнаружен. Но вывод для проверяющих важный: не найденная способность ещё не значит отсутствующую, поэтому происхождение модели, ограничение прав и наблюдение во время работы нужны наряду с проверками.

Как именно устроен цифровой замок, как авторы превращают алгоритм в веса нейросети, сколько это стоит в параметрах и по каким признакам такую модель пробуют заметить, разбираю в продолжении: Часть 2: как устроен шифрованный «сейф» внутри нейросети.

Я занимаюсь ИИ-агентами и автоматизацией. Если хотите посмотреть мои проекты или обсудить свою задачу, загляните в портфолио.

Источники

• Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas, Christian Schroeder de Witt: AI Models Can Provably Hide Arbitrary Capabilities. arXiv:2610.13928, 09.10.2026. https://arxiv.org/abs/2610.13928