Комп'ютеризо́ване адапти́вне тестува́ння (КАТ, ) — це вид комп'ютерного тестування, яке адаптується до рівня кваліфікації іспитника. Через це його також називають індивідуа́льно пристосо́вуваним тестува́нням (). Іншими словами, це вид здійснюваного за допомогою комп'ютера тестування, в якому наступне завдання або набір завдань, призначувані іспитникові, залежить від правильності відповідей на попередні завдання.
Опис
КАТ послідовно обирає питання з метою максимізації точності іспиту на основі того, що відомо про іспитника з попередніх питань. З погляду іспитника, складність іспиту ніби пристосовується до його рівня кваліфікації. Наприклад, якщо іспитник добре впорується із завданням середньої складності, йому буде запропоновано складніше питання. Або, якщо він відповідав погано, йому буде запропоновано простіше питання. У порівнянні зі статичними тестами, з якими стикався майже кожен, із незмінним набором завдань, які надають усім іспитникам, комп'ютерно-адаптивні тести вимагають менше тестових завдань для досягнення однаково точних результатів.
Основний метод комп'ютерно-адаптивного тестування — це ітеративний алгоритм із наступними кроками: Пошук оптимального завдання в банку доступних завдань на основі поточної оцінки кваліфікації іспитника Обране завдання надається іспитникові, який відтак відповідає на нього правильно або неправильно Оцінка кваліфікації уточнюється, на основі всіх попередніх відповідей Кроки 1–3 повторюються, доки не буде виконано критерій завершення
Про іспитника до надання першого завдання не відомо нічого, тому алгоритм зазвичай починається з вибору завдання середньої або середньо-легкої складності як першого.
В результаті адаптивного надавання різні іспитники отримують доволі різні тести. Хоча іспитникам зазвичай надаються різні тести, оцінки їхньої кваліфікації порівнянні між собою (тобто так, ніби вони отримували однаковий тест, як це прийнято у тестах, розроблених за класичною теорією тестування). Психометрична технологія, яка дозволяє обчислювати справедливі результати для різних наборів завдань, — теорія відгуку завдання (ТВЗ, ). Вона також є пріоритетною методологією для вибору оптимальних завдань, які зазвичай обираються на основі інформації, а не виключно складності.
Суміжну методологію, звану багатоетапним тестуванням () або комп'ютерно-адаптивним послідовним тестуванням (), використовують у . Багатоетапне тестування обходить або зменшує деякі недоліки КАТ, описані нижче.Див. або для отримання додаткової інформації про багатоетапне тестування.
Приклади
КАТ існує з 1970-х років, і наразі є багато , що використовують цю методику. Тест для допуску до магістерських програм з менеджменту () Тест MAP від для допомоги вчителям у встановлюванні особистих навчальних потреб учнів, відстежування набування навичок, та вимірювання академічного росту з часом Тест SAT для вступу до коледжів (починаючи з 2023 року за межами США та з 2024 року в США) Ліцензійний медсестринський іспит при Національній Раді США () Тестування на профпридатність до військової спеціальності Збройних сил США ()
Крім того, перелік чинних іспитів КАТ знаходиться на сайті Міжнародної асоціації комп'ютеризованого адаптивного тестування, де також доступні переліки поточних дослідницьких програм з КАТ і майже повна бібліографія всіх опублікованих досліджень у цій галузі.
Переваги
Адаптивні тести можуть забезпечувати рівномірно точні результати для більшості тестованих. На противагу, стандартні незмінні тести майже завжди забезпечують найкращу точність для тестованих середньої кваліфікації, й усе гіршу точність для іспитників з усе ближчими до країв оцінками тесту.
Адаптивний тест зазвичай можливо скоротити на 50 %, все ще зберігши вищий рівень прецизійності, ніж у незмінної версії. Це перетворюється на заощадження часу для тестованого. Тестовані не марнують час на виконання занадто складних чи елементарно легких завдань. Крім того, від цього заощадження часу отримує вигоду й тестувальна організація, оскільки витрати на перебування іспитника на тестуванні значно знижуються. Проте, оскільки розробка КАТ вимагає набагато більших витрат, ніж для стандартного тесту незмінного вигляду, для фінансової окупності програми КАТ потрібна велика сукупність іспитників.
Великі цільові сукупності зазвичай зустрічаються в наукових та дослідницьких галузях. У цих відношеннях КАТ можна використовувати для вловлювання ранніх ознак порушень та захворювань. За останні 10 років використання КАТ у цих галузях значно зросло. Колись його в медичних закладах та лабораторіях не сприймали, але зараз КАТ у рамках діагностування активно заохочується.
Як і будь-який комп'ютерний тест, адаптивні тести можуть показувати результати негайно після тестування.
Адаптивне тестування, залежно від алгоритму вибору завдань, може знижувати виставляння () деяких завдань, оскільки іспитники зазвичай отримують різні набори завдань, замість видавання всій сукупності єдиного набору. Проте воно може збільшувати виставляння інших завдань (зокрема, завдань середньої чи середньо-легкої складності, пропонованих більшості іспитників на початку тесту).
Недоліки
Першою проблемою, з якою стикаються в КАТ, є калібрування банку завдань. Щоби змоделювати характеристики завдань (наприклад, щоби обирати оптимальні завдання), усі завдання тесту мусять бути попередньо надані значній вибірці, й відтак проаналізовані. Для досягнення цього нові завдання мусить бути домішано до чинних завдань іспиту (відповіді записуються, але не роблять внеску до підсумкових оцінок тестованих), що називають «пілотним тестуванням», «попереднім тестуванням» або «посівом» (). Це створює логістичні, етичні та безпекові проблеми. Наприклад, неможливо запустити робочий адаптивний тест із абсолютно новими, невипробуваними завданнями; усі завдання повинні бути попередньо протестовані на достатньо великій вибірці для отримання стабільних статистик завдань. Цій вибірці може бути потрібно мати до 1 000 іспитників. Кожна програма мусить вирішити, який відсоток тесту може бути прийнятно складати з неоцінених пілотних завдань.
Хоч адаптивні тести й мають алгоритми контролю виставляння () для запобігання надмірному використанню небагатьох завдань, виставляння залежно від кваліфікації часто не контролюється, й може легко наближуватися до 1. Тобто, для людей з однаковою кваліфікацією деякі завдання часто стають дуже поширеними. Це — серйозна безпекова проблема, оскільки групи, які обмінюються завданнями, цілком можуть мати подібний функційний рівень кваліфікації. Насправді, повністю випадковий екзамен є найбезпечнішим (але водночас найменш ефективним).
Перегляд попередніх завдань зазвичай заборонено, оскільки адаптивні тести схильні пропонувати легші завдання після неправильних відповідей. Вважають, що спостережливий тестований може використовувати такі підказки для виявляння й виправляння неправильних відповідей. Або ж тестованих можуть натренувати цілеспрямовано давати більшу кількість неправильних відповідей, що призводитиме до все більшого спрощення тесту. Після того, як адаптивний тест буде «надурено» на побудову максимально простого іспиту, вони можуть потім переглянути ці завдання й відповісти на них правильно, потенційно досягши дуже високої оцінки. Тестовані часто скаржаться на неможливість перегляду попередніх завдань.
Через високу складність розробка КАТ має низку передумов. Для калібрування за теорією відгуку завдання (ТВЗ) необхідні великі вибірки (зазвичай сотні іспитників). Завдання мусять бути оцінюваними в реальному часі, якщо обирати нове завдання необхідно миттєво. Потрібні психометрики з досвідом у калібруванні за ТВЗ та дослідженні симуляцій КАТ для забезпечення документування валідності. Зрештою, мусить бути доступною програмна система, здатна здійснювати справжнє адаптивне тестування на основі ТВЗ.
У КАТ з обмеженням часу іспитникам неможливо точно спланувати час, який вони можуть витратити на кожне завдання, і визначити, чи встигають вони завершити розділ вчасно. Тестовані відтак можуть зазнавати штрафування через те, що витратили забагато часу на складне завдання на початку розділу, через що їм не вистачає часу для завершення завдань, необхідних для точної оцінки їхньої кваліфікації в інших областях, що залишаються невипробуваними до завершення часу. Хоча КАТ без обмеження часу є чудовими інструментами для формувального оцінювання, що спрямовує подальше навчання, КАТ із обмеженням часу не підходять для відповідального підсумкового оцінювання, яке використовують для оцінки придатності до роботи чи навчальних програм.
Складові
Існує п'ять технічних складових побудови КАТ (наступне перейнято з Weiss & Kingsbury, 1984). Цей перелік не містить практичних аспектів, як-от попереднього тестування завдань чи випуску тесту в реальні умови.
Калібрований банк завдань Початкова точка або рівень входу Алгоритм вибору завдань Процедура оцінювання Критерій завершення
Калібрований банк завдань Для роботи КАТ необхідний банк завдань для вибору. Такі завдання можливо створювати традиційним чином (тобто вручну), або за допомогою автоматичного породжування завдань. Цей банк мусить бути відкаліброваним за допомогою психометричної моделі, яка слугує основою для решти чотирьох складових. Зазвичай як психометричну модель використовують теорію відгуку завдання (ТВЗ). Однією з причин популярності теорії відгуку завдання є те, що вона розміщує осіб та завдання на одній шкалі (позначуваній грецькою літерою тета), що корисно з огляду на нюанси вибирання завдань (див. нижче).
Початкова точка У КАТ вибір завдань відбувається на основі успішності іспитника до даного моменту тестування. Проте на початку тестування КАТ очевидно не може зробити жодної конкретної оцінки кваліфікації іспитника, коли ще не було надано жодного завдання. Тож необхідна деяка первинна оцінка кваліфікації іспитника. Якщо доступна якась попередня інформація про іспитника, нею можливо скористатися, але часто КАТ просто виходить з того, що іспитник має середню компетентність — через це першим зазвичай є завдання середнього рівня складності.
Алгоритм вибору завдань Як зазначено вище, теорія відгуку завдання розміщує іспитників та завдання на одній шкалі. Відтак, якщо КАТ має оцінку кваліфікації іспитника, воно може вибрати найвідповідніше цій оцінці завдання. Технічно це робиться шляхом вибору завдання з найбільшою інформацією на той момент. Інформація — це функція параметра розрізнювальності () завдання, а також умовної дисперсії та параметра псевдовідгадуваності (, якщо його використовують).
Процедура оцінювання Після надання завдання КАТ уточнює свою оцінку рівня кваліфікації іспитника. Якщо іспитник відповів на завдання правильно, КАТ, імовірно, оцінить його компетентність трохи вище, і навпаки. Це здійснюється за допомогою функції відгуку завдання з теорії відгуку завдання для отримання функції правдоподібності кваліфікації іспитника. Два методи для цього називають оцінюванням максимальною правдоподібністю, та баєсовим оцінюванням. Останній виходить з апріорного розподілу кваліфікації іспитника й має два поширені оцінювачі: апостеріорне математичне сподівання () та апостеріорний максимум (). Максимальна правдоподібність еквівалентна баєсовій оцінці апостеріорного максимуму за умови рівномірного (f(x)=1) апріорного. Максимальна правдоподібність асимптотично незміщена, але не може надавати оцінку тета для незмішаного вектора відповідей (усі правильні або всі неправильні), в такому випадку може знадобитися тимчасово скористатися баєсовим методом.
Критерій завершення