Перегляд вихідного коду сторінки Комп'ютеризований класифікаційний тест

'''Комп'ютеризо́ваний класифікаці́йний тест''' ('''ККТ''', {{lang-en|computerized classification test, CCT}})&nbsp;— це [[Тест (оцінювання учнів)|система оцінювання успішності]], здійснюваного за допомогою [[комп'ютер]]а з метою [[класифікування]] іспитників. Найпоширенішим ККТ є тест на засвоєння знань, у якому тест класифікує іспитників як «склав» або «провалив», але цей термін також охоплює й тести, які класифікують іспитників у понад дві категорії. Хоча цей термін можна вважати загальним для всіх комп'ютеризованих тестів для класифікування, зазвичай його застосовують до тестів, що проводяться інтерактивно або мають змінну довжину, подібно до [[комп'ютеризоване адаптивне тестування|комп'ютеризованого адаптивного тестування]] (КАТ). Як і КАТ, ККТ змінної довжини може досягати мети тесту (точної класифікації) із залученням меншої кількості завдань порівняно зі звичайним тестом незмінного вигляду.

Для проведення ККТ потрібні кілька складових:

# [[Банк завдань]], відкалібрований за обраною психометричною моделлю, визначеною розробником тесту
# Початкова точка
# [[Алгоритм]] вибору завдань
# Критерій завершення та процедура оцінювання

Початкова точка не є предметом обговорення; дослідження ККТ здебільшого стосуються застосування різних методів для інших трьох складових. ''Примітка:'' Критерій завершення та процедура оцінювання відокремлені в КАТ, але є одним і тим же в ККТ, оскільки тест завершується, коли ухвалено рішення щодо класифікації. Тож для розробки КАТ потрібно визначати п'ять складових.

Вступ до ККТ представлено в Томпсона (2007)<ref>{{cite journal|last=Thompson|first=N. A.|year=2007|title=A Practitioner's Guide for Variable-length Computerized Classification Testing|journal=Practical Assessment Research & Evaluation|language=en|volume=12|issue=1|url=http://pareonline.net/getvn.asp?v=12&n=1|archive-url=https://web.archive.org/web/20071021213959/http://pareonline.net/pdf/v12n1.pdf|archive-date=21 жовтня 2007|url-status=dead}}</ref> та книзі Паршалла, Спрея, Калона та Дейві (2006).<ref>{{cite book|last1=Parshall|first1=C. G.|last2=Spray|first2=J. A.|last3=Kalohn|first3=J. C.|last4=Davey|first4=T.|year=2006|title=Practical considerations in computer-based testing|language=en|location=New York|publisher=Springer}}</ref> Нижче наведено бібліографію опублікованих досліджень з ККТ.

== Як він працює ==
ККТ дуже подібний до КАТ. Завдання надаються іспитникові по одному. Після відповіді іспитника на завдання [[комп'ютер]] оцінює її та визначає, чи вже можливо класифікувати іспитника. Якщо можливо, тест завершується, й іспитника класифіковано. Якщо ні, надається наступне завдання. Цей процес повторюється, доки іспитника не буде класифіковано або не буде досягнуто іншої точки завершення (усі завдання з банку завдань використані або досягнуто максимальної довжини тесту).

== Психометрична модель ==
Для психометричної моделі ККТ доступні два підходи: [[класична теорія тестування]] (КТТ) та [[теорія відгуку завдання]]<ref>{{cite journal|last1=Колгатін|first1=О.Г.|last2=Колгатіна|first2=Л.С.|year=2015|title=Інтерпретація тестових результатів на основі логістичної моделі в табличному процесорі|journal=Теорія та методика навчання математики, фізики, інформатики|lang=uk|location=Кривий Ріг|publisher=[[ДВНЗ КНУ]]|volume=13|issue=2|pages=338-339|doi=10.55056/tmn.v13i2.795}}</ref> (ТВЗ, {{lang-en|item response theory, IRT}}). Класична теорія тестування виходить із моделі станів ({{lang-en|state model}}), оскільки її застосовують шляхом визначення параметрів завдань для вибірки іспитників, для яких визначено, до якої категорії вони належать. Наприклад, може бути відібрано кілька сотень «тих, хто засвоїв» та кілька сотень «тих, хто не засвоїв» для визначення складності й розрізнювальності кожного завдання, але це вимагає здатності легко встановлювати виразну множину людей, що є в кожній групі. ТВЗ, натомість, виходить із моделі рис<ref>{{cite journal|last=Карпенко|first=Є.|last2=Савко|first2=Н.|last3=Лялюк|first3=Ю.|last4=Колісник|first4=Р.|year=2024|title=Емоційний інтелект в організації структури мотивації особистості|journal=Інсайт: психологічні виміри суспільства|language=uk|volume=11|pages=57–76|doi=10.32999/2663-970X/2024-11-4}}</ref> ({{lang-en|trait model}}); знання або здібності, вимірювані тестом, це континуум. Класифікаційні групи потрібно буде більш-менш довільно визначити вздовж цього континууму, як-от використанням прохідного балу для розмежування тих, хто засвоїв, і тих, хто не засвоїв, але визначення параметрів завдань виходить із моделі рис.

Кожна має свої переваги й недоліки. КТТ пропонує більшу умоглядну простоту. Що важливіше, КТТ вимагає менше іспитників у вибірці для калібрування параметрів завдань, які згодом використовуватимуть у розробці ККТ, що робить її корисною для менших програм тестування. Опис ККТ на основі КТТ див. у Фріка (1992).<ref>{{cite journal|last=Frick|first=T.|year=1992|title=Computerized Adaptive Mastery Tests as Expert Systems|journal=Journal of Educational Computing Research|language=en|volume=8|issue=2|pages=187-213|doi=10.2190/J87V-6VWP-52G7-L4XX}}</ref> Проте більшість ККТ використовують ТВЗ. ТВЗ пропонує вищу [[специфічність (тесту)|специфічність]], але найважливішою причиною може бути те, що розробка ККТ (і КАТ) є дорогою, і, таким чином, частіше здійснюється великими програмами тестування зі значними ресурсами. Такі програми, ймовірно, використовуватимуть ТВЗ.

== Початкова точка ==
ККТ мусить мати визначену початкову точку, щоби уможливити певні алгоритми. Якщо як критерій завершення використовують {{li|послідовний критерій відношення ймовірностей||Q2271882}} ({{lang-en|sequential probability ratio test, SPRT}}), він неявно виходить із початкового відношення 1,0 (однакова ймовірність того, що іспитник засвоїв, і що не засвоїв). Якщо ж критерій завершення ґрунтується на підході [[довірчий інтервал|довірчого інтервалу]], необхідно задати початкову точку на тета (<math>{\theta}</math>). Зазвичай це 0,0, центр [[розподіл імовірності|розподілу]], але також можливо випадково обирати значення з певного розподілу, якщо параметри розподілу іспитників відомі. Крім того, можливо використовувати попередню інформацію про конкретного іспитника, наприклад, його результат, отриманий під час попереднього проходження тесту (в разі повторного складання).

== Обирання завдань ==
У ККТ завдання обираються для надання упродовж усього тесту, на відміну від традиційного методу надання незмінного набору завдань усім іспитникам. Хоча зазвичай це роблять на рівні окремих завдань, можливе й обирання груп завдань, відомих як [[тестлет]]и (Луехт і Нанґестер, 1998;<ref>{{cite journal|last1=Luecht|first1=R. M.|last2=Nungester|first2=R. J.|year=1998|title=Some practical examples of computer-adaptive sequential testing|journal=Journal of Educational Measurement|language=en|volume=35|pages=229-249|doi=10.1111/j.1745-3984.1998.tb00537.x}}</ref> Вос і Ґлас, 2000<ref>{{cite book|last1=Vos|first1=H.J.|last2=Glas|first2=C.A.W.|year=2000|chapter=Testlet-based adaptive mastery testing|editor1-last=van der Linden|editor1-first=W.J.|editor2-last=Glas|editor2-first=C.A.W.|title=Computerized Adaptive Testing: Theory and Practice|language=en|doi=10.1007/0-306-47531-6_15}}</ref>).

Методи обирання завдань поділяють на дві категорії: на основі прохідного балу, та на основі оцінки. Методи на основі прохідного балу (відомі також як послідовний вибір) максимізують [[кількості інформації|інформацію]], яку надає завдання на рівні прохідного балу або балів, якщо їх декілька, незалежно від кваліфікації іспитника. Методи на основі оцінки (відомі також як адаптивне обирання) максимізують інформацію на рівні поточної оцінки кваліфікації іспитника, незалежно від місця розташування прохідного балу. Обидва підходи працюють ефективно, але їхня ефективність залежить, зокрема, від критерію завершення. Оскільки {{li|послідовний критерій відношення ймовірностей||Q2271882}} оцінює ймовірності лише поблизу прохідного балу, доречніше обирання завдань на основі прохідного балу. Оскільки критерій завершення на основі [[довірчий інтервал|довірчого інтервалу]] орієнтований на оцінку кваліфікації іспитника, доречніше адаптивне обирання завдань. Це пояснюється тим, що тест завершиться класифікацією, коли довірчий інтервал стане достатньо малим, щоби повністю перебувати вище або нижче прохідного балу (див. нижче). Довірчий інтервал буде меншим, якщо стандартна похибка вимірювання буде меншою, а вона, своєю чергою, буде меншою, якщо на рівні тета іспитника більше інформації.

== Критерій завершення ==
Існує три основні критерії завершення, які зазвичай використовують для ККТ. Методи [[баєсова теорія рішень|баєсової теорії рішень]] пропонують велику гнучкість, надаючи нескінченний вибір структур втрат/корисності та критеріїв оцінювання, але водночас вносять більшу довільність. Підхід [[довірчий інтервал|довірчого інтервалу]] розраховує довірчий інтервал навколо поточної оцінки тета іспитника на кожному етапі тесту та класифікує іспитника, коли цей інтервал повністю потрапляє в область тета, що визначає класифікацію. Цей метод спочатку був відомий як адаптивне тестування на засвоєння {{harv|Kingsbury|Weiss|1983}}, але він не обов'язково вимагає адаптивного обирання завдань і не обмежується ситуацією тестування на засвоєння з бінарною класифікацією. Метод {{li|послідовний критерій відношення ймовірностей|послідовного критерію відношення ймовірностей|Q2271882}} {{harv|Reckase|1983}} визначає задачу класифікування як [[перевірка гіпотез|перевірку гіпотези]] того, що тета іспитника дорівнює заданій точці вище прохідного балу або заданій точці нижче прохідного балу.

== Примітки ==
{{Примітки}}

== Бібліографія дослідження ККТ ==
{{refbegin}}
* {{Cite journal |last=Armitage |first=P. |year=1950 |title=Sequential analysis with more than two alternative hypotheses, and its relation to discriminant function analysis |journal=Journal of the Royal Statistical Society |volume=12 |pages=137–144 |language=en |ref=harv}}
* {{Cite book |last=Braun |first=H. |last2=Bejar |first2=I.I. |last3=Williamson |first3=D.M. |year=2006 |chapter=Rule-based methods for automated scoring: Application in a licensing context |editor-last=Williamson |editor-first=D.M. |editor2-last=Mislevy |editor2-first=R.J. |editor3-last=Bejar |editor3-first=I.I. |title=Automated scoring of complex tasks in computer-based testing |location=Mahwah, NJ |publisher=Erlbaum |language=en |ref=harv}}
* {{Cite journal |last=Dodd |first=B.G. |last2=De Ayala |first2=R.J. |last3=Koch |first3=W.R. |year=1995 |title=Computerized adaptive testing with polytomous items |journal=Applied Psychological Measurement |volume=19 |pages=5-22 |language=en |ref=harv}}
* {{Cite journal |last=Eggen |first=T.J.H.M. |year=1999 |title=Item selection in adaptive testing with the sequential probability ratio test |journal=Applied Psychological Measurement |volume=23 |pages=249–261 |language=en |ref=harv}}
* {{Cite journal |last=Eggen |first=T.J.H.M. |last2=Straetmans |first2=G.J.J.M. |year=2000 |title=Computerized adaptive testing for classifying examinees into three categories |journal=Educational and Psychological Measurement |volume=60 |pages=713–734 |language=en |ref=harv}}
* {{Cite conference |last=Epstein |first=K.I. |last2=Knerr |first2=C.S. |year=1977 |title=Applications of sequential testing procedures to performance testing |conference=1977 Computerized Adaptive Testing Conference |location=Minneapolis, MN |language=en |ref=harv}}
* {{Cite thesis |last=Ferguson |first=R.L. |year=1969 |title=The development, implementation, and evaluation of a computer-assisted branched test for a program of individually prescribed instruction |type=PhD, unpublished |publisher=University of Pittsburgh |language=en |ref=harv}}
* {{Cite journal |last=Frick |first=T.W. |year=1989 |title=Bayesian adaptation during computer-based tests and computer-guided exercises |journal=Journal of Educational Computing Research |volume=5 |pages=89–114 |language=en |ref=harv}}
* {{Cite journal |last=Frick |first=T.W. |year=1990 |title=A comparison of three decisions models for adapting the length of computer-based mastery tests |journal=Journal of Educational Computing Research |volume=6 |pages=479–513 |language=en |ref=harv}}
* {{Cite journal |last=Frick |first=T.W. |year=1992 |title=Computerized adaptive mastery tests as expert systems |journal=Journal of Educational Computing Research |volume=8 |pages=187–213 |language=en |ref=harv}}
* {{Cite report |last=Huang |first=C.-Y. |last2=Kalohn |first2=J.C. |last3=Lin |first3=C.-J. |last4=Spray |first4=J. |year=2000 |title=Estimating Item Parameters from Classical Indices for Item Pool Development with a Computerized Classification Test |type=Research Report 2000–4 |location=Iowa City, IA |publisher=ACT, Inc. |language=en |ref=harv}}
* {{Cite thesis |last=Jacobs-Cassuto |first=M.S. |year=2005 |title=A Comparison of Adaptive Mastery Testing Using Testlets With the 3-Parameter Logistic Model |type=PhD, unpublished |publisher=University of Minnesota, Minneapolis, MN |language=en |ref=harv}}
* {{Cite conference |last=Jiao |first=H. |last2=Lau |first2=A.C. |year=2003 |title=The Effects of Model Misfit in Computerized Classification Test |conference=Annual meeting of the National Council of Educational Measurement |location=Chicago, IL |date=April 2003 |language=en |ref=harv}}
* {{Cite conference |last=Jiao |first=H. |last2=Wang |first2=S. |last3=Lau |first3=C.A. |year=2004 |title=An Investigation of Two Combination Procedures of SPRT for Three-category Classification Decisions in Computerized Classification Test |conference=Annual meeting of the American Educational Research Association |location=San Antonio |date=April 2004 |language=en |ref=harv}}
* {{Cite journal |last=Kalohn |first=J.C. |last2=Spray |first2=J.A. |year=1999 |title=The effect of model misspecification on classification decisions made using a computerized test |journal=Journal of Educational Measurement |volume=36 |pages=47–59 |language=en |ref=harv}}
* {{Cite report |last=Kingsbury |first=G.G. |last2=Weiss |first2=D.J. |year=1979 |title=An adaptive testing strategy for mastery decisions |type=Research report 79–05 |location=Minneapolis |publisher=University of Minnesota, Psychometric Methods Laboratory |language=en |ref=harv}}
* {{Cite book |last=Kingsbury |first=G.G. |last2=Weiss |first2=D.J. |year=1983 |chapter=A comparison of IRT-based adaptive mastery testing and a sequential mastery testing procedure |editor-link=Девід Дж. Вайс |editor-first=D.J. |editor-last=Weiss |title=New horizons in testing: Latent trait theory and computerized adaptive testing |pages=237–254 |location=New York |publisher=Academic Press |language=en |ref=harv}}
* {{Cite thesis |last=Lau |first=C.A. |year=1996 |title=Robustness of a unidimensional computerized testing mastery procedure with multidimensional testing data |type=PhD, unpublished |publisher=University of Iowa, Iowa City IA |language=en |ref=harv}}
* {{Cite conference |last=Lau |first=C.A. |last2=Wang |first2=T. |year=1998 |title=Comparing and combining dichotomous and polytomous items with SPRT procedure in computerized classification testing |conference=Annual meeting of the American Educational Research Association |location=San Diego |language=en |ref=harv}}
* {{Cite conference |last=Lau |first=C.A. |last2=Wang |first2=T. |year=1999 |title=Computerized classification testing under practical constraints with a polytomous model |conference=Annual meeting of the American Educational Research Association |location=Montreal, Canada |language=en |ref=harv}}
* {{Cite conference |last=Lau |first=C.A. |last2=Wang |first2=T. |year=2000 |title=A new item selection procedure for mixed item type in computerized classification testing |conference=Annual meeting of the American Educational Research Association |location=New Orleans, Louisiana |language=en |ref=harv}}
* {{Cite journal |last=Lewis |first=C. |last2=Sheehan |first2=K. |year=1990 |title=Using Bayesian decision theory to design a computerized mastery test |journal=Applied Psychological Measurement |volume=14 |pages=367–386 |language=en |ref=harv}}
* {{Cite report |last=Lin |first=C.-J. |last2=Spray |first2=J.A. |year=2000 |title=Effects of item-selection criteria on classification testing with the sequential probability ratio test |type=Research Report 2000–8 |location=Iowa City, IA |publisher=ACT, Inc. |language=en |ref=harv}}
* {{Cite journal |last=Linn |first=R.L. |last2=Rock |first2=D.A. |last3=Cleary |first3=T.A. |year=1972 |title=Sequential testing for dichotomous decisions |journal=Educational & Psychological Measurement |volume=32 |pages=85–95 |language=en |ref=harv}}
* {{Cite journal |last=Luecht |first=R.M. |year=1996 |title=Multidimensional Computerized Adaptive Testing in a Certification or Licensure Context |journal=Applied Psychological Measurement |volume=20 |pages=389–404 |language=en |ref=harv}}
* {{Cite book |authorlink=Марк Рекейс |last=Reckase |first=M.D. |year=1983 |chapter=A procedure for decision making using tailored testing |editor-first=D.J. |editor-last=Weiss |title=New horizons in testing: Latent trait theory and computerized adaptive testing |pages=237–254 |location=New York |publisher=Academic Press |language=en |ref=harv}}
* {{Cite conference |last=Rudner |first=L.M. |year=2002 |title=An examination of decision-theory adaptive testing procedures |conference=Annual meeting of the American Educational Research Association |date=1–5 April 2002 |location=New Orleans, LA |language=en |ref=harv}}
* {{Cite journal |last=Sheehan |first=K. |last2=Lewis |first2=C. |year=1992 |title=Computerized mastery testing with nonequivalent testlets |journal=Applied Psychological Measurement |volume=16 |pages=65–76 |language=en |ref=harv}}
* {{Cite report |last=Spray |first=J.A. |year=1993 |title=Multiple-category classification using a sequential probability ratio test |type=Research Report 93–7 |location=Iowa City, Iowa |publisher=ACT, Inc. |language=en |ref=harv}}
* {{Cite report |last=Spray |first=J.A. |last2=Abdel-fattah |first2=A.A. |last3=Huang |first3=C. |last4=Lau |first4=C.A. |year=1997 |title=Unidimensional approximations for a computerized test when the item pool and latent space are multidimensional |type=Research Report 97–5 |location=Iowa City, Iowa |publisher=ACT, Inc. |language=en |ref=harv}}
* {{Cite report |last=Spray |first=J.A. |last2=Reckase |first2=M.D. |year=1987 |title=The effect of item parameter estimation error on decisions made using the sequential probability ratio test |type=Research Report 87–17 |location=Iowa City, IA |publisher=ACT, Inc. |language=en |ref=harv}}
* {{Cite conference |last=Spray |first=J.A. |last2=Reckase |first2=M.D. |year=1994 |title=The selection of test items for decision making with a computerized adaptive test |conference=Annual Meeting of the National Council for Measurement in Education |location=New Orleans, LA |date=5–7 April 1994 |language=en |ref=harv}}
* {{Cite journal |last=Spray |first=J.A. |last2=Reckase |first2=M.D. |year=1996 |title=Comparison of SPRT and sequential Bayes procedures for classifying examinees into two categories using a computerized test |journal=Journal of Educational & Behavioral Statistics |volume=21 |pages=405–414 |language=en |ref=harv}}
* {{Cite journal |last=Thompson |first=N.A. |year=2006 |title=Variable-length computerized classification testing with item response theory |journal=CLEAR Exam Review |volume=17 |issue=2 |language=en |ref=harv}}
* {{Cite journal |last=Vos |first=H.J. |year=1998 |title=Optimal sequential rules for computer-based instruction |journal=Journal of Educational Computing Research |volume=19 |pages=133–154 |language=en |ref=harv}}
* {{Cite journal |last=Vos |first=H.J. |year=1999 |title=Applications of Bayesian decision theory to sequential mastery testing |journal=Journal of Educational and Behavioral Statistics |volume=24 |pages=271–292 |language=en |ref=harv}}
* {{Cite book |last=Wald |first=A. |year=1947 |title=Sequential analysis |location=New York |publisher=Wiley |language=en |ref=harv}}
* {{Cite journal |last=Weiss |first=D.J. |last2=Kingsbury |first2=G.G. |year=1984 |title=Application of computerized adaptive testing to educational problems |journal=Journal of Educational Measurement |volume=21 |pages=361–375 |language=en |ref=harv}}
* {{Cite conference |last=Weissman |first=A. |year=2004 |title=Mutual information item selection in multiple-category classification CAT |conference=Annual Meeting of the National Council for Measurement in Education |location=San Diego, CA |language=en |ref=harv}}
* {{Cite journal |last=Weitzman |first=R.A. |year=1982a |title=Sequential testing for selection |journal=Applied Psychological Measurement |volume=6 |pages=337–351 |language=en |ref=harv}}
* {{Cite conference |last=Weitzman |first=R.A. |year=1982b |title=Use of sequential testing to prescreen prospective entrants into military service |editor-first=D. J. |editor-last=Weiss |conference=Proceedings of the 1982 Computerized Adaptive Testing Conference |location=Minneapolis, MN |publisher=University of Minnesota, Department of Psychology, Psychometric Methods Program |language=en |ref=harv}}
{{refend}}

== Посилання ==
* {{cite web|url=http://edres.org/mdt/|title=Measurement Decision Theory|language=en|first=Lawrence|last=Rudner|archive-url=https://web.archive.org/web/20240516104115/http://edres.org/mdt/|archive-date=16 травня 2024|url-status=dead}}
* {{cite web|archive-url=https://web.archive.org/web/20060711174833/http://www.psych.umn.edu/psylabs/catcentral/|title=CAT Central|language=en|first=David J.|last=Weiss|archive-date=11 липня 2006|url=http://www.psych.umn.edu/psylabs/catcentral/|url-status=dead}}

[[Категорія:Психометрія]]