3.6. ТЕСТ ОБЩЕОБРАЗОВАТЕЛЬНЫХ ЗНАНИЙ: КОМПЬЮТЕРНОЕ АДАПТИВНОЕ ТЕСТИРОВАНИЕ
В отличие от предметно ориентированных тестов умственного развития (ТУР), описанных в предыдущей главе, в истинней главе излагаются принципы творенья Теста Общеобразовательных Знаний (ТОЗ), Если в разных вариантах ТУРа шкалы отражают прежде всего уровень сформированности определенных логических операций мышления, реализованных на материале понятий из школьных учебников (аналогии, обобщение и т. п.) то любые версии ТОЗ отражают в показателях по субшкалам достижения воспитанника по самим перед метам школьной программы (математика, финика и т. п.).
Разработка ТОЗ дли российской школы значит творение российского аналога SAT , который, как знаменито, является в США определенным стандартом федерального масштаба. Только наличие общефодораль-ного стандарта позволит обеспечить в России реальную эквивалентность аттестатов зрелости, ВЫЯСНИТЬ, в частности, беспристрастную цену диковинному количеству медалистов, которые вдруг начинают появляться в какой-нибудь рядовой и малюсенько чем известной школе где-нибудь в городе N – oice .
Программа творенья и распространения российского ТОЗ обязана, безусловно, учитывать как мировой опыт, так и специфику современной ситуации в России. Критики правосудно перечат: организационные решения, что стандартны для Запада в России могут не сработать из-за невиданного уровня групповой сплоченности (а попросту коррупции), имеющей место во всех слоях сообщества, в том числе среди чиновников и учителей, занятых в системе образования.
Но и технологические возможности разработчиков тестовых методик не стоят на месте. Новые возможности, и прежде всего в плане обеспечения информационной безопасности, дает компьютеризация.
Опишем здесь опыт решения проблемы творенья ТОЗ, который накоплен в {центре компьютерной психо диагностики Гуманитарные технологии при факультете психологии МГУ (руководитель центра —
А. Г. Шмелев). Данный материал поможет чтецам не только сориентироваться в самой проблеме творенья ТОЗ, но и получить опыт знакомства с коротким и типичным научным отчетом о проведении экспериментальной апробации некоторого теста в процессе его разработки, а также с перспективами использования компьютеров в процессе тестирования.
В отличие от Стэнфордского теста ТОЗ в своих субшкалах дословно повторяет названия учебных предметов и в этом смысле является формализованным компьютеризированным аналогом школьных выпускных и вузовских вступительных экзаменов.
С самого начала ТОЗ разрабатывается как принципиально компьютерный тест. Наиглавнейшие его необыкновенности таковы: наличие очень широкого компьютерного БАНКА ЗАДАНИЙ (длинного перечня) по каждому предмету и наличие особой программы ТЕСТОВОГО РАЗГОВОРА, которая дозволяет предъявлять каждому испытуемому по сути дела уникальную выборку заданий (вариант) из этого банка заданий- Далее сами творцы ТОЗ не знают, какие именно задания предъявит компьютер данному конкретному испытуемому. Если же кто-то получит доступ к тексту заданий ТОЗ, и расшифрует их кодировку, то для того, чтобы обмануть ТОЗ необходимо выучить не только правильные ответы к сотням заданий, но и выучиться их отличать от фальшивых формулировок. Легче выучить стройно и логично написанный учебник, чем заниматься этой работой.
Реальная трудность задания проверялась в пилотажном эксперименте и после этого корректировалась. В число легких попадали задания, с которыми справлялись более 70 процентов испытуемых, в числе трудных — с которыми справлялись менее 30 процентов испытуемых, остальные причислялись к средним по уровню трудности.
Схема начисления очков в ТОЗ-1 при расчете суммарного балла такова:
за правильный ответ — 4 очка,
за пропуск задания — 1 очко,
за ложный ответ — 0 очков.
Такая схема вносит необходимую поправку на вероятность случайных правильных ответов, которые по теории вероятности вероятны с вероятностью 0,25.
После завершения такого нелегкого испытания испытуемые могли вспомнить только 10, максимум 25 процентов из предъявленных им заданий, но, окончательно, не могли пересказать своим приятелям точные формулировки фальш-альтернатив (фальшивых ответов, или так нарекаемых дистракторов). И если теоретическая вероятность повторения одного и того же задания у двух испытуемых равнялась 0,33-15 ~ 5 заданиям, то практически крайне редко два испытуемых могли вспомнить больше одного одинакового задания. Даже после интенсивного обсуждения впечатлений от теста между собой у испытуемых оставалось полное впечатление, что тест включает сотни заданий по одному предмету. Природно, что при последующем наращивании банка заданий в ТОЗ-2 такое впечатление будет еще более усиливаться.
ТОЗ-1 имеет ряд модификаций для специальных групп абитуриентов- Например, версия ТОЗ-ПСИ (для абитуриентов психологического факультета) включала по 90 заданий всего по 3 предметам, входящим в состав вступительных экзаменов на факультет психологии МГУ: математика, русский и литература, биология. Каждый абитуриент отвечал за 50 минут на 90 заданий (по 30 на каждый предмет).
На этих абитуриентах факультета психологии проверялась, в частности, прогностическая валидность ТОЗ в отношении успешности сдачи вступительных экзаменов. Общая корреляция суммарного балла ТОЗ с суммарным баллом по вступительным экзаменам оказалась одинаковой 0,61. При этом почти такое же значение достигла эта корреляция для субтеста математика (0,57). А вот с оценкой по сочинению балл по субтесту словесность коррелировал просто плохо. Сказалось, видимо, два обстоятельства: слабые представления абитуриентов о том, что такое раскрыть тему, и высокая ступень лотерейности в вариантах формулировок этих тем (вполне грамотным и в целом начитанным абитуриентам приходилось писать сочинения по творцам и твореньям, которых они либо никогда не читали, либо забывали и не успели повторить). Таким образом, низкую суммарную корреляцию можно интерпретировать, в частности, как следствие низкой надежности не столько ТОЗ, сколько самого критерия — ведь элемент случайности на вступительных экзаменах выражен даже сильнее, чем в ТОЗ. За это разговаривает и факт резкого возрастания корреляции с результатами экзаменов для крайних групп по ТОЗ (самых удачных и самых неуспешных). Так, например, НИ ОДИН испытуемый с баллом ниже 50 процентов правильных ответов по ТОЗ не смог пройти на факультет психологии МГУ по конкурсу (конкурс был, как всегда, высоким — выше 7 человек на место). А самые наихорошие абитуриенты по ТОЗ практически все удачно прошли конкурс.
Таким образом, на шкале ТОЗ можно найти граничные точки для высшей и низшей группы, дозволяющие прогнозировать успешность при сдаче экзаменов с высокой ступенью надежности — недалёкой к 0,95. Можно сказать, что для заведомо сильных и заведомо слабых учащихся будущие экзамены не оказываются лотереей: одни надежно их сдают, иные — надежно проваливают. Лотереей с элементом везения-невезения экзамен становится для середнячков, которые освоили учебную программу выборочно, частично.
Вопрос о конкурентной валидности ТОЗ по сопоставлению с вступительными экзаменами (т. е. дозволяет ли ТОЗ лучше или хуже прогнозировать успешность обучения в вузе) может быть разрешен только после долголетнего, так нарекаемого лонги-тюдного наблюдения за тем, как будут учиться в вузе студенты, прошедшие ТОЗ в 1995 году.
Конечно, версия ТОЗ-1 есть только первый шаг к творению эталонной методики такого типа. Она нуждается в существенной модернизации, масштабной апробации и накоплению репрезентативных норм, чтобы занять место федерального стандарта в данной области.
■