Новий сортувальний капелюх
Детектори ШІ-письма продають як інструменти академічної доброчесності. Насправді це класифікаційна інфраструктура, яку встановлюють у школах і університетах просто зараз - і теорія інфраструктури передбачає, що її найглибші збої не виправлятимуться самі, а накопичуватимуться в міру того, як система вкорінюється.
Джейк Лоуренс · Незалежний дослідник · Есей · STS / Критична освіта
Випадки
Першокурсник Оріон Ньюбі, який має задокументовані особливості навчання, працює з університетськими репетиторами в Університеті Адельфі. Детектор Turnitin позначає його роботу як згенеровану ШІ. Наслідок: нуль за завдання і обов'язковий курс перенавчання. Щоб скасувати рішення, родина витратила шестизначну суму на судові витрати у федеральному суді (справа Newby v. Adelphi University, 2025).
Це не поодинокий збій. Подібні випадки задокументовано в Єлі, Мічиганському університеті та по всій країні. Питання, яке ставить есей, не в тому, чи точний конкретний детектор. Питання в тому, що це за система, яку безшумно встановлюють поверх освіти, і чому її помилки спрямовані саме туди, куди спрямовані.
Теза
Розмову про детектори ШІ вели так, ніби це проблема точності технології: достатньо кращої моделі - і помилки зникнуть. Це хибна рамка. Детектори - не споживчий продукт, який оцінюють поштучно. Це класифікаційна інфраструктура, яку системно вбудовують в інституційні процеси.
А інфраструктура поводиться інакше, ніж продукт. Її аналізують не через питання «чи точна вона», а через інфраструктурні питання Бовкера і Стар: у що вона вбудована, на чому збудована, скільки коштує її змінити і коли вона стає видимою. Саме ці питання показують те, чого питання про точність побачити не може.
Чому це інфраструктура
Інфраструктура стає невидимою і майже непереборною, щойно вкорінюється в інституційні процеси. Turnitin інтегровано в понад 16 000 закладів. Університет Пердью публічно визнав, що не може вимкнути функцію виявлення ШІ. Поверх детектора вибудовуються робочі процеси, політики, бази даних доти, доки прибрати фундамент означає знести будівлю.
Це і є визначальна риса інфраструктури за Стар: вона тримається не тому, що оптимальна, а тому, що ціна заміни в кожен момент перевищує вигоду. Детектор не мусить бути добрим, щоб лишатися. Йому достатньо бути вбудованим.
Проблема межі
Детектор видає неперервний бал імовірності (від 0 до 100%), а інституції потрібна бінарна категорія: списав чи ні. Тож хтось мусить провести поріг. Turnitin виявив вищий рівень хибних спрацювань, коли позначено менш ніж 20% тексту, і відреагував тим, що для балів від 1 до 19% почав показувати зірочку замість числа. Це сховало проблему, а не виправило її.
Розрив між рекламованим і пережитим рівнем помилок промовистий: менше 1% хибних спрацювань на рівні документа проти близько 4% на рівні речення. Інфраструктура приховує саме ті збої, з якими стикається людина по той бік звіту.
Ефект петлі
Студенти, знаючи, що їх скануватимуть, змінюють своє письмо, щоб не «спрацював» детектор: пишуть менш ясно, менш стисло, менш точно. Детектори штрафують саме ті мовні рішення, які оптимізують мовні моделі, тож кращий текст починає здаватися «машинним». Викладачі у відповідь замінюють домашні есеї рукописними іспитами.
Понад 150 інструментів-«гуманізаторів» беруть зі студентів до 50 доларів на місяць за переписування власних робіт і збирають десятки мільйонів відвідувань щомісяця (близько 33,9 млн за один місяць). Філософ Ієн Гекінг назвав це ефектом петлі: класифіковані люди реагують на класифікацію. Система виробляє те саме списування, яке мала запобігти.
Нерівний удар
Дослідники зі Стенфорда перевірили сім детекторів на есеях TOEFL: 61,3% робіт тих, для кого англійська не рідна, хибно позначено як ШІ, проти 3,2% робіт студентів-носіїв (Liang et al., 2023). Інші дані показують 20% хибних спрацювань для темношкірих студентів проти 7% для білих (Weber-Wulff et al., 2023).
Студенти з аутизмом, СДУГ і структурованими патернами письма також стикаються з підвищеним ризиком. Детектори помиляються не випадково. Вони помиляються вздовж історичних ліній освітньої нерівності - і кожне хибне спрацювання лягає у постійний запис студента.
Категорія неспроможна
Детектор припускає бінарність: текст або людський, або згенерований ШІ. Але ця бінарність застаріла. Студенти використовують ШІ, щоб робити мозковий штурм, складати план, редагувати - або щоб цілком уникнути роботи. Детектор не відрізняє навчання від уникання. Він карає за те, «як звучить» текст, а не за те, «як людина навчилася».
Компанія це знає. Унизу кожного звіту Turnitin стоїть застереження: модель виявлення може помилятися, тож її не слід використовувати як єдину підставу для санкцій проти студента. Навколо детектора вже виросла друга інфраструктура - гайди з перенавчання, протоколи апеляцій, професійний розвиток, - а сам детектор тим часом розширюється. Застереження не обмежує систему. Воно є її частиною.
Три пропозиції
Перша: демографічна прозорість. Якщо інструмент не може звітувати про рівень хибних спрацювань у розрізі раси, мовного походження і нейровідмінності, його не можна впроваджувати там, де хибне спрацювання має наслідки. Друга: пункти про припинення (sunset clauses). Кожен договір має передбачати переоцінку за фіксованим графіком (два роки, а не безстроково), щоб інституція мусила свідомо обирати продовження, а не отримувала його за замовчуванням.
Третя: процедурна підлога. Абсолютна заборона використовувати бал детектора як єдину підставу для проваджень з академічної доброчесності - те, що документація самого Turnitin уже забороняє. Поверніться до Оріона Ньюбі. Його результат скасували, але лише тому, що його родина змогла дозволити собі федеральний суд. Наступного студента машина відсортує завтра вранці, перш ніж хтось дочитає застереження.
У кожної системи класифікації є проєктувальник, у кожного порогу - політика, у кожної успадкованої бази - історія. Новий сортувальний капелюх сортує не випадково. Зрозуміти, що це за машина, а не лише сперечатися про її точність, - ось аналітичне завдання, яке відкриває цей есей.
Випадки та їхні документи, симулятор порогу на восьми студентах, повний розбір ефекту петлі, інтерактивні дані про нерівний удар, поради до дії за ролями (студент, викладач, адміністратор) і повний реєстр з 13 джерел доступні в англомовній версії.
Відкрити інтерактивну версію (англійською) →