← Все статьи

Михаил Поляков

Десять минут с ИИ, и люди чаще пропускают трудные задачи. Часть 2: метод, статистика и слабые места исследования

Уровень: СложныйВремя чтения: 16 мин

Темы: ИИ, Наука, Образование

Две стеклянные чаши с камешками разного количества, латунные весы между ними, лупа и стопка пустых карточек на деревянном столе

Это вторая часть. Простой пересказ исследования, его главные цифры и выводы для работы и учёбы в первой части. Здесь разбираю, на чём эти цифры держатся.

Короткий ответ: в каждом из трёх экспериментов людей случайно делили на группу с ИИ-помощником и контрольную, а потом сравнивали две доли на трёх последних задачах: долю верных решений и долю пропусков. Сравнение делали t-критерием, силу разницы мерили величиной d Коэна с 95-процентным доверительным интервалом. Разница в доле верных решений значима во всех трёх экспериментах, по величине от 0,19 до 0,42 стандартного отклонения. Разница в пропусках значима в первом и третьем, а во втором, самом большом и лучше всего защищённом от искажений, нет. По моей оценке, второй эксперимент мог надёжно заметить разницу в пропусках примерно от 0,23 стандартного отклонения, а наблюдалась 0,10, так что незначимость не доказывает отсутствие эффекта. Деление участников по тому, как они пользовались ИИ, держится на их собственных ответах и причину не доказывает, а часть попарных сравнений в нём не прошла бы строгую поправку на число сравнений.

Три эксперимента рядом

Все цифры ниже из статьи «AI Assistance Reduces Persistence and Hurts Independent Performance» (arXiv:2604.04721, версия 5 от 3 октября 2026 года). Участники во всех трёх экспериментах из США, набраны через платформу онлайн-исследований Prolific.

Эксперимент 1 Эксперимент 2 Эксперимент 3
Задачи дроби дроби понимание текста, задания из открытых материалов для подготовки к SAT
Набрано: с ИИ / контроль 191 / 163 349 / 318 104 / 97
Оплата и длительность 2,60 доллара, около 13 минут 3,40 доллара, около 15 минут 3,40 доллара, около 13 минут
Предварительная проверка до ИИ нет 3 задачи на дроби в одно действие 1 простой вопрос
Задач с помощником 12 11 5
Задач в конце без помощи 3 3 3
Что было в боковой панели у контрольной группы ничего решения задач предварительной проверки, уже показанные раньше общие советы, как решать тесты
Осталось после отсева: с ИИ / контроль 185 / 122 308 / 277 85 / 83

Помощником везде была модель GPT-5, которой заранее дали каждую задачу и её решение. За неверный ответ не штрафовали, оплата от числа решённых не зависела. После неверного ответа на экране показывали правильное решение, в обеих группах. Кнопка «пропустить» была у всех. В третьем эксперименте пропуском считали ещё и ответ, данный быстрее чем за 5 секунд: по словам авторов, за это время текст невозможно прочитать.

Что именно считали

Для каждого участника авторы брали три последние задачи, одинаковые в обеих группах и решённые уже без помощи, и считали две доли: долю верно решённых и долю пропущенных. Из этого следует деталь, о которой в статье отдельно не говорится: у каждого человека доля может быть только одной из четырёх величин, 0, 1/3, 2/3 или 1. Средние по группе, например 0,57, получаются усреднением этих ступенек по сотням людей.

Дальше группы сравнивали t-критерием для двух независимых выборок. Его идея: разница средних делится на то, насколько эта разница могла бы скакать от случайности.

t = (x̄₁ − x̄₂) / (sₚ · √(1/n₁ + 1/n₂)), где sₚ = √(((n₁ − 1)·s₁² + (n₂ − 1)·s₂²) / (n₁ + n₂ − 2))

Словами: x̄₁ и x̄₂ это средние доли в двух группах, s₁ и s₂ стандартные отклонения (насколько сильно люди внутри группы отличаются друг от друга), n₁ и n₂ размеры групп, а sₚ их общий разброс. Чем больше людей, тем меньше знаменатель и тем увереннее можно отличить настоящую разницу от случайной. В скобках у t авторы пишут число степеней свободы, и оно везде равно n₁ + n₂ − 2: в первом эксперименте 185 + 122 − 2 = 305. Это соответствует обычному t-критерию Стьюдента с общим разбросом; какой именно вариант критерия использован, в тексте не названо, это мой вывод из чисел.

Величина p отвечает на вопрос: если бы на самом деле разницы между группами не было, как часто случайность давала бы разницу не меньше наблюдаемой. Порог в статье обычный, 0,05.

Но p не говорит, велика ли разница. Для этого авторы приводят d Коэна:

d = (x̄₁ − x̄₂) / sₚ

Словами: на сколько стандартных отклонений одна группа в среднем отстоит от другой. Проверю на первом эксперименте по числам из статьи. Доля верных решений 0,57 при отклонении 0,41 у группы с ИИ и 0,73 при отклонении 0,34 в контроле. Общий разброс:

sₚ = √((184 · 0,41² + 121 · 0,34²) / 305) ≈ 0,38

Тогда d ≈ (0,57 − 0,73) / 0,38 ≈ −0,42, ровно как в статье. А t = d / √(1/185 + 1/122) ≈ −3,6 против −3,64 в статье: небольшое расхождение даёт округление средних до двух знаков.

95-процентный доверительный интервал для d строится по правилу, которое в 95% повторений такого эксперимента даёт интервал, накрывающий настоящую величину эффекта. Проще: это диапазон значений эффекта, с которыми согласуются данные. Про один конкретный интервал нельзя сказать, что настоящая величина лежит в нём с вероятностью 95%. Приближённая формула стандартной ошибки:

SE(d) ≈ √((n₁ + n₂) / (n₁ · n₂) + d² / (2 · (n₁ + n₂)))

Для первого эксперимента SE ≈ 0,118, и интервал d ± 1,96 · SE даёт примерно от −0,65 до −0,19. В статье от −0,66 до −0,19, так что числа сходятся с точностью до округления. Если интервал не пересекает ноль, разница, как правило, значима на уровне 0,05.

Результаты с полной статистикой

Доли, средние по группе, в скобках стандартное отклонение.

Эксперимент и показатель С ИИ Контроль t p d [95% интервал]
1, верные решения 0,57 (0,41) 0,73 (0,34) −3,64 < 0,001 −0,42 [−0,66; −0,19]
1, пропуски 0,20 (0,36) 0,11 (0,29) 2,16 0,031 0,25 [0,02; 0,48]
2, верные решения 0,71 (0,36) 0,77 (0,32) −2,33 0,020 −0,19 [−0,36; −0,03]
2, пропуски 0,10 (0,26) 0,07 (0,23) 1,18 0,239 0,10 [−0,07; 0,26]
3, верные решения 0,76 (0,34) 0,89 (0,25) −2,72 0,007 −0,42 [−0,73; −0,11]
3, пропуски 0,08 (0,21) 0,01 (0,08) 2,69 0,008 0,42 [0,11; 0,72]

Два наблюдения. Первое: эффект во втором эксперименте по доле верных решений вдвое меньше, чем в первом (−0,19 против −0,42), хотя задачи те же. Второе: интервалы широкие. В третьем эксперименте данные по пропускам согласуются и с эффектом 0,11, и с эффектом 0,72, то есть плохо отличают слабый эффект от сильного.

Зачем понадобился второй эксперимент

В первом эксперименте отсев шёл по задачам внутри эксперимента: исключали тех, кто решил меньше 3 из 12 задач обучения. Авторы сами называют это возможным искажением. Слабый участник из группы с ИИ мог получить верные ответы от помощника и остаться в выборке, а такой же слабый участник из контроля вылетал. По числам из таблицы выше группа с ИИ потеряла 6 человек из 191, а контрольная 41 из 163, это мой подсчёт, около 3% против 25%. Авторы пишут, что разный отсев мог раздуть разрыв.

Второй эксперимент исправлял это двумя изменениями:

  1. Предварительная проверка до всякого ИИ. Три задачи в одно действие, исключали тех, кто не решил ни одной. Отсев стал почти одинаковым: 11,7% в группе с ИИ и 12,9% в контроле.
  2. Одинаковая смена интерфейса. В первом эксперименте у группы с ИИ панель с помощником пропадала перед тестом, а у контроля ничего не менялось. Во втором контроль тоже видел боковую панель, с уже показанными решениями задач предварительной проверки, и она тоже пропадала перед тестом. Так внезапное исчезновение панели перестало отличать одну группу от другой.

Именно в этом, лучше защищённом эксперименте эффект по верным решениям уменьшился до −0,19, а по пропускам стал незначимым. Авторы объясняют незначимость тем, что люди пользовались ИИ по-разному.

Почему 0,10 могло не дать значимости

Есть и простое статистическое объяснение, это мой расчёт. Стандартная ошибка d во втором эксперименте при 308 и 277 участниках:

SE ≈ √(1/308 + 1/277) ≈ 0,083

Чтобы заметить эффект с вероятностью 80% при двустороннем пороге 0,05, нужен эффект примерно в (1,96 + 0,84) · SE ≈ 0,23 стандартного отклонения. Здесь 1,96 соответствует порогу 0,05, а 0,84 нужной вероятности обнаружения 80%. Наблюдалось 0,10, вдвое меньше. Значит, эффект размера 0,10 такая выборка надёжно поймать не могла, и незначимость здесь не доказывает, что эффекта нет. Но и вывода «эффект мал» данные не дают: интервал от −0,07 до 0,26 согласуется и с отсутствием эффекта, и с эффектом размера первого эксперимента (0,25).

Разбор по способу пользования ИИ

В конце второго эксперимента участников из группы с ИИ спросили, как они пользовались помощником. Группы: готовые ответы (189 человек), подсказки и пояснения (82), не пользовались (37). Тех, кто сказал, что не пользовался, сверили с журналами переписки: 83,8% из них не написали помощнику ни разу, 94,1% написали меньше трёх раз.

Сначала авторы применили однофакторный дисперсионный анализ (ANOVA) к четырём группам: три по способу пользования плюс контроль. Он проверяет, различаются ли средние хотя бы у какой-то пары групп. Статистика F сравнивает разброс между группами с разбросом внутри групп:

F = (разброс средних между группами / (k − 1)) / (разброс внутри групп / (N − k))

Здесь k = 4 группы, N = 585 участников, отсюда степени свободы (3, 581). Величина η² показывает, какую долю всего разброса объясняет принадлежность к группе.

Что сравнивали F(3, 581) p η²
Верные решения на предварительной проверке 1,21 0,306 0,006
Пропуски на предварительной проверке 0,56 0,639 0,003
Верные решения на тесте 7,89 < 0,001 0,039
Пропуски на тесте 2,80 0,039 0,014

До ИИ анализ не нашёл статистически значимых различий между группами по этим двум показателям, после работы с ИИ нашёл. Отсутствие значимых различий не доказывает, что группы были равны: оно лишь значит, что разницу этим анализом обнаружить не удалось. И даже значимая разница по верным решениям объясняет 3,9% разброса: остальное приходится на различия между людьми внутри групп.

Потом шли попарные t-тесты. Бравшие готовые ответы (доля верных 0,65) против контроля (0,77): p < 0,001, d = −0,36. Против бравших подсказки (0,76): p = 0,031, d = −0,29. Против не пользовавшихся (0,89): p < 0,001, d = −0,66. По пропускам бравшие ответы (0,13) против контроля (0,07): p = 0,033, d = 0,20; против бравших подсказки (0,05): p = 0,019, d = −0,31 (знак d в статье зависит от порядка сравнения).

Это пять попарных сравнений по итогам теста. Поправку на множественные сравнения раздел не упоминает. Чем больше сравнений, тем выше шанс получить хотя бы одно «значимое» случайно. Простейшая и консервативная поправка, Бонферрони, делит порог на число сравнений: 0,05 / 5 = 0,01. С таким порогом прошли бы сравнения с p < 0,001, а сравнения с p = 0,031, 0,033 и 0,019 нет. Это мой пересчёт, а не вывод авторов. Ещё ближе к порогу анализ изменения от предварительной проверки к тесту: рост доли пропусков у бравших ответы против контроля дал p = 0,051, против бравших подсказки p = 0,047. Авторы сами называют первое значение пограничным.

И главное ограничение этого раздела, которое авторы прямо пишут: данные сравнительные, группы сложились сами, поэтому выводы не обязательно причинные. Например, человек, который устал или потерял интерес, мог и брать у ИИ ответы, и потом пропускать задачи. Тогда оба факта объясняет усталость, а не ИИ. То, что на предварительной проверке значимых различий не нашли, сопоставимость групп не подтверждает: три задачи в одно действие измеряют далеко не всё, а группы могли различаться и тем, что вообще не измеряли.

Проверка на отсев

В приложении C.4 авторы проверили, не держатся ли результаты на правилах отсева.

  • Эксперимент 2, только сильные участники. Оставили тех, кто решил все три задачи предварительной проверки: 143 в группе с ИИ и 140 в контроле. Разрыв в доле верных решений сохранился, 0,78 против 0,85 (p = 0,03). Пропуски 0,07 против 0,05, незначимо (p = 0,47).
  • Эксперимент 3, уравненные группы. Из группы с ИИ убрали двух участников с худшим результатом теста, чтобы стало по 83 человека. Верные решения 0,78 против 0,89 (p = 0,018), пропуски 0,06 против 0,01 (p = 0,019).

Убирать худших из группы с ИИ значит работать против своей гипотезы, так что эффект, переживший такую проверку, выглядит убедительнее. Но это две отдельные проверки, а не систематический анализ всех возможных правил отсева.

Почему, по мнению авторов, падает настойчивость

Авторы предлагают два механизма, оба как гипотезы, которые эксперимент не измерял.

  1. Сдвиг точки отсчёта. Когда ИИ решает задачу за секунды, меняется представление о том, сколько задача должна занимать. Самостоятельная работа начинает ощущаться тяжелее, чем раньше. Авторы сравнивают это с гедонической адаптацией, привыканием к новому уровню комфорта, и пишут, что механизм сам себя усиливает: каждая переданная ИИ задача делает следующую передачу привлекательнее.
  2. Потеря знания о себе. Без самостоятельной работы человек не узнаёт, на что способен, и хуже оценивает, стоит ли продолжать попытку.

Из этого авторы выводят, что подсказки вместо ответов или ограничение времени работы с ИИ помогут лишь на краях. Настоящее решение, по их мнению, в том, чтобы сами системы ИИ проектировались с оглядкой на долгосрочные навыки человека, а не только на удовлетворённость в моменте.

С чем сравнивать эту работу

По обзору в самой статье, прежние свидетельства потери навыков из-за ИИ были в основном корреляционными, по опросам и интервью, или на маленьких выборках. Из работ, которые авторы относят к рандомизированным контролируемым испытаниям, они называют две. В исследовании Бастани и соавторов 2025 года помощь GPT-4 при отработке математики ухудшила последующие результаты старшеклассников без помощи, а вариант с ИИ-наставником, который ведёт к решению, частично смягчил вред. В работе Баркауи 2025 года после учебного курса с ИИ у студентов наблюдалось устойчивое снижение результатов.

Новое в этой работе, по словам авторов, две вещи: эффект показан на участниках вне учебной обстановки и на двух разных типах задач, и кроме точности измерена готовность продолжать, через долю пропусков.

Слабые места, которые стоит держать в голове

Авторские ограничения: короткое воздействие (в аннотации около 10 минут, во введении сеанс 10-15 минут); проверка сразу после того, как убрали ИИ; помощник, выдающий полный ответ по первой просьбе. К ним я бы добавил то, что видно из метода:

  • Тест из трёх задач. Доля у каждого участника принимает четыре значения, это грубая шкала. Одна случайная ошибка меняет долю человека на треть.
  • Пропуск как мера настойчивости. Он показывает решение не вводить ответ, но не показывает, была ли попытка до нажатия кнопки. В третьем эксперименте в пропуски попали и ответы быстрее 5 секунд, то есть мера там шире, чем в первых двух.
  • Онлайн-участники за небольшую плату. Мотивация человека, который за 2,60 доллара решает дроби, может отличаться от мотивации сотрудника или ученика, для которого результат важен.
  • Одна модель и одна настройка. GPT-5 с заранее известным решением. Как поведут себя люди с ИИ, который ошибается или отвечает медленнее, эксперимент не проверял.
  • Разброс эффекта. По верным решениям d от −0,19 до −0,42 в зависимости от эксперимента, интервалы перекрываются, но точная величина эффекта известна плохо.

Как читать такие исследования

Это мои правила, а не данные из статьи.

  1. Смотреть на d и интервал, а не только на p. Малое p говорит, что такую разницу трудно получить одной случайностью, если настоящей разницы нет. Велика ли разница, оно не говорит.
    • Кто делает: тот, кто принимает решение по исследованию, например руководитель, который выбирает правила работы с ИИ для обучения новичков.
    • Чем проверить: найти в статье размер эффекта и интервал и записать, совместим ли край интервала, ближайший к нулю, с «почти ничего».
  2. Отделять случайное распределение от самоотчёта. Сравнение групп, на которые людей разделили случайно, может говорить о причине. Сравнение групп, сложившихся по ответу участников, только о связи.
    • Кто делает: тот же читатель.
    • Чем проверить: для каждого вывода найти в методе, как сформированы группы.
  3. Проверять отсев. Если группы потеряли разную долю участников, результат может держаться на том, кто остался.
    • Кто делает: тот же читатель.
    • Чем проверить: сравнить, сколько людей набрали и сколько осталось в каждой группе.
  4. Сверять условия исследования со своей задачей. Кто участвовал, какие задачи, сколько длилось, через сколько проверяли. Если ваша ситуация другая, например сотрудники месяцами работают с ИИ над сложными рабочими задачами, исследование не отвечает на ваш вопрос напрямую.
    • Кто делает: тот, кто переносит вывод на свою команду или класс.
    • Чем проверить: выписать четыре условия исследования рядом с условиями своей задачи и отметить, совпадает ли каждое.
    • Если не совпадает: считать вывод гипотезой. Один из способов проверить её у себя: заранее разделить людей по жребию на тех, кто учится с готовыми ответами, и тех, кто учится с подсказками, а потом сравнить результат одних и тех же контрольных задач без ИИ. В исследовании по жребию распределяли только доступ к ИИ, а способ пользования люди выбирали сами; жребий по способу пользования это уже мой совет. Сравнение групп, которые выбрали способ сами, причину не покажет.

Итог

Главный результат исследования выдерживает разбор: во всех трёх рандомизированных экспериментах группа с ИИ после его исчезновения решала хуже, а авторы проверили два искажения, которые сами назвали: разный отсев и разную смену интерфейса. Слабее вывод про пропуски: во втором, лучше всего защищённом эксперименте он незначим, а по моей оценке выборка не могла надёжно заметить эффект размера 0,10, так что это не доказательство отсутствия эффекта. Разделение на «бравших ответы» и «бравших подсказки» интересно, но держится на самоотчёте и на нескольких сравнениях с p около 0,02 и 0,03, без поправки на их число. Ответ на главный вопрос, что будет после месяцев работы с ИИ, требует длительных экспериментов, о которых пишут и сами авторы.

Я занимаюсь ИИ-агентами и автоматизацией. Если хотите посмотреть мои проекты или обсудить свою задачу, загляните в портфолио.

Источники