← Все статьи

Михаил Поляков

Десять минут с ИИ, и люди чаще пропускают трудные задачи. Часть 1: что показали эксперименты на 1222 участниках

Уровень: ПростойВремя чтения: 8 мин

Темы: ИИ, Образование, Наука

Пустой лист бумаги с карандашом и наполовину собранная деревянная головоломка на столе, рядом гаснет маленький светящийся шар, несколько деталей отодвинуты в сторону

Короткий ответ: в трёх экспериментах с 1222 участниками из США исследователи из Беркли, Карнеги-Меллон, MIT, Оксфорда и UCLA дали одной группе людей ИИ-помощника, а другой нет, а потом без предупреждения убрали помощника. После примерно десяти минут с ИИ люди решали следующие задачи хуже, чем те, кто с самого начала работал сам, и в двух экспериментах из трёх статистически значимо чаще пропускали задачу. Во втором эксперименте бравшие у ИИ готовые ответы решали хуже и контрольной группы, и тех, кто брал подсказки. Те, кто брал подсказки, отличались от работавших без ИИ меньше, но эта часть анализа причину не доказывает. Сохраняется ли эффект через час, день или месяц, исследование не знает. Ниже, что именно сделали, какие получились цифры и что из этого взять себе.

Кто и что проверял

Статья называется «AI Assistance Reduces Persistence and Hurts Independent Performance», что можно перевести как «Помощь ИИ снижает настойчивость и ухудшает самостоятельную работу». Авторы: Грейс Лю, Брайан Кристиан, Цветомира Думбалска, Михил Баккер и Рачит Дубей. По новости Беркли от 9 октября 2026 года, работу представили на конференции COLM, а в самом тексте статьи стоит пометка о том, что она принята на эту конференцию.

Брайан Кристиан, научный сотрудник Центра совместимого с человеком ИИ в Беркли, известен книгой «The Alignment Problem» 2020 года. По словам новости, он каждый день пишет в блокнот: это помогает ему заглушить подозрение, что от слишком долгой работы с ИИ он может растерять собственную научную хватку.

Как устроен эксперимент

Все три эксперимента устроены похоже. Беру первый как пример.

  • Участники. 354 человека из США, набранных через платформу онлайн-исследований Prolific. Их случайно разделили на две группы.
  • Задачи. 15 задач на дроби разной сложности. За неверный ответ не штрафовали, и оплата не зависела от числа решённых.
  • Группа с ИИ. Первые 12 задач рядом была панель с помощником на модели GPT-5. Помощнику заранее дали каждую задачу и её решение, так что можно было просто спросить «ответ?». Потом помощника убрали без предупреждения и дали ещё 3 задачи.
  • Контрольная группа. Решала те же 15 задач сама.
  • Кнопка «пропустить». Она была у всех. Раз за ошибку не штрафовали, авторы выбрали долю пропущенных задач показателем настойчивости и мотивации. Пытался ли человек решить задачу до того, как нажал кнопку, эксперимент не показывает.

Главное сравнение идёт по трём последним задачам, одинаковым для обеих групп: их обе группы решали уже без помощи.

Что получилось

Эксперимент Участников Задачи Средняя доля верных решений на трёх последних задачах: с ИИ против без ИИ Средняя доля пропусков на трёх последних задачах: с ИИ против без ИИ
1 354 дроби 57% против 73% 20% против 11%
2 667 дроби, с предварительной проверкой 71% против 77% 10% против 7%, разница статистически не значима
3 201 понимание текста, задания из открытых материалов для подготовки к американскому экзамену SAT 76% против 89% 8% против 1%

По итогам авторов, пока ИИ был рядом, он улучшал результат в моменте. Как только его убирали, группа с ИИ во всех трёх экспериментах решала три последние задачи хуже тех, кто с самого начала работал сам. Число участников в таблице указано до отсева, проценты посчитаны по оставшимся. Во всех экспериментах исключали тех, кто не прошёл проверку внимания. Во втором и третьем ещё и тех, кто не справился с задачами предварительной проверки, до всякого ИИ. В первом отсев по умению шёл по задачам внутри самого эксперимента, и авторы сами называют это возможным искажением: группа с ИИ могла сохранить слабых участников, которые получали верные ответы от помощника. Поэтому второй эксперимент и добавил предварительную проверку.

Во втором эксперименте разница в пропусках оказалась статистически не значимой, то есть такая разница могла получиться и случайно. Авторы пишут, что это, возможно, связано с тем, что люди пользовались ИИ по-разному, и разбирают это отдельно.

Готовые ответы против подсказок

В конце второго эксперимента участников из группы с ИИ спросили, как они им пользовались. Деление ниже держится в основном на их собственных ответах:

  • 61% в основном брали у ИИ готовые ответы;
  • 27% брали подсказки и пояснения;
  • 12% не пользовались вовсе. Это авторы сверили с журналами переписки с помощником.

Дальше разница стала заметнее. На трёх последних задачах средняя доля верных решений была 65% у бравших готовые ответы, 77% в контрольной группе, 76% у бравших подсказки и 89% у тех, кто ИИ не пользовался. Средняя доля пропусков: 13% у бравших ответы, 7% в контрольной группе, 5% у бравших подсказки и 7% у не пользовавшихся ИИ. По статье, бравшие готовые ответы решали статистически значимо хуже каждой из трёх других групп.

Здесь важная оговорка из самой статьи: это сравнение групп, которые сложились сами, по ответу участников, а не по случайному распределению. Поэтому оно не доказывает, что именно готовые ответы вызвали падение. На предварительной проверке, до работы с ИИ, эти группы по результатам статистически значимо не различались, но и это не превращает сравнение в доказательство причины: группы могли отличаться чем-то, что проверка не измеряла.

Чего исследование не знает

Авторы сами перечисляют ограничения.

  • Короткий срок. С ИИ работали около десяти минут. Накапливается ли эффект при ежедневной работе или, наоборот, слабеет, неизвестно.
  • Проверка сразу. Участников проверяли сразу после того, как убрали помощника. Держится ли эффект часы или дни, неизвестно.
  • Предельно услужливый ИИ. Помощник выдавал полный ответ по первой просьбе. Поможет ли ИИ, который ведёт себя как наставник и не даёт готового ответа, открытый вопрос. Данные о подсказках из второго эксперимента авторы называют лишь осторожным доводом в пользу такой проверки.
  • Задачи. Дроби и задания на понимание текста. Кристиан в новости Беркли говорит, что это история «не про дроби и задания SAT», но сами эксперименты проверяли только такие задачи.

Объяснение авторов: ИИ приучает ждать мгновенного ответа и лишает опыта самому справиться с трудностью. Это их гипотеза, а не измеренный факт.

Что из этого взять себе

Это мои выводы, а не данные из статьи.

  1. Учиться с подсказками, а не с ответами. Если задача в том, чтобы научиться, просите у ИИ подсказку или проверку своего решения, а не готовый ответ. Исследование не доказывает, что это защищает, но в его данных бравшие подсказки отличались от работавших без ИИ меньше, чем бравшие ответы.
    • Кто делает: тот, кто учится, будь то сотрудник на новой работе или школьник.
    • Чем проверить: раз в неделю решите похожую задачу совсем без ИИ и запишите, справились ли и сколько времени заняло.
  2. Различать «сделать» и «научиться». Когда задачу нужно просто сделать, а навык не нужен, готовый ответ ИИ это нормальный инструмент. Когда сотрудник должен потом справляться сам, например новичок в первые недели, договоритесь, где он работает без готовых ответов.
    • Кто делает: руководитель новичка.
    • Чем проверить: задача из обычной работы, которую новичок выполняет без ИИ в конце испытательного срока.
  3. Не делать из исследования больших выводов. Оно показало эффект сразу после десяти минут на задачах с дробями и на понимание текста. О том, что будет с навыками через год ежедневной работы с ИИ, оно ничего не говорит.

Как устроены эксперименты глубже, что значат цифры с точки зрения статистики и чем второй эксперимент исправлял первый, разбираю в продолжении: Часть 2: метод, статистика и ограничения.

Когда это вас не касается

Если вы пользуетесь ИИ для задач, которые вам не нужно уметь делать самому, например для черновика письма, который всё равно вычитаете, это исследование почти ничего не меняет. Оно про навык решать задачу без помощи.

Итог

В трёх экспериментах с 1222 участниками после примерно десяти минут с ИИ-помощником люди без него решали задачи хуже тех, кто работал сам, и в двух экспериментах из трёх статистически значимо чаще пропускали задачу. Во втором эксперименте бравшие готовые ответы решали хуже и контрольной группы, и бравших подсказки, но эта часть анализа причину не доказывает: группы по способу пользования сложились сами. Как долго держится эффект и что будет при долгой работе с ИИ, пока неизвестно.

Я занимаюсь ИИ-агентами и автоматизацией. Если хотите посмотреть мои проекты или обсудить свою задачу, загляните в портфолио.

Источники