Валидность теста
Соответствие теста измеряемому психическому свойству величается ВАЛНДНОСТЫО теста. Это, без преувеличения, наиглавнейшее психометрическое свойство теста. Если высокая надежность теста разговаривает нам о том, что тест действительно что-то измеряет, то высокая валидность указывает.на то, что тест измеряет именно то, что мы желаем. Окончательно, на валидность теста также негативно влияют случай-
ные факторы. Поэтому в психометрике принято следующее главное психометрическое неравенство:
в
ВАЛИДНОСТЬ < НАДЕЖНОСТЬ,
что означает, что валидность не может превышать надежность теста.
Но в отличие от надежности помимо случайных факторов на валидность теста влияют систематические факторы. Они привносят систематические искажения в результаты. Эти факторы есть другие психические свойства, которые мешают проявиться в результатах теста тому свойству, на которое тест направлен. i Например, мы хотим измерять потенциал обучаемости (важнейший компонент общих интеллектуальных способностей человека). Но даем испытуемому тест с жестким ограничением времени исполнения и отсутствием возможности вернуться и исправить допущенную ошибку. Совершенно очевидно, что искомое психическое свойство оказывается смешанным в тесте с ложным психическим свойством — стрессоустойчивостью: испытуемые с высокими показателями стрессоустойчивости будут лучше выполнять тест. В этом проявится эффект систематического искажения.
В современной психометрике разработаны буквально десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов. Основным элементом практически всех этих методов является так называемый критерий. КРИТЕРИЙ ВАЛИДНОСТИ — это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо более валидной) информации об измеряемом свойстве — с критерием.
В научных исследованиях преобладают специальные лабораторные критерии. Например, конструируется компактный тест-опросник на тревожность. А в качестве критерия валидности для него используется специальный трудоемкий объективный лабораторный эксперимент, в котором воспроизводится реальная ситуация тревожности (испытуемым-добровольцам уг рожают за ошибочные действия ударами тока и т. п.).
На практике очень часто в качестве критерия валидности используются прагматические критерии — показатели эффективности той деятельности, ради прогнозирования которой предпринимается тестирование (см. рис. 3 в 2.1.). В школе самый типичный критериальный показатель — это успеваемость. Но для социально-психологической адаптации ребенка внешним критериальным показателем может быть уровень популярности в классе (см. 4.4).
Очень часто в качестве критерия валидности используется экспертная оценка. Например, мы хотим убедиться, что короткий тест на измерение уровня дисциплинированности валиден. Для этого опрашиваем учителей об уровне дисциплинированности хорошо известных им учеников. И после этого сравниваем (коррелируем) результаты теста и экспертный рейтинг учеников по дисциплинированности.
Остановимся здесь чуть подробнее на этом последнем примере. Здесь мы имеем один из самих простых и популярных методов эмпирического (статистического) измерения валидности. Это метод известных групп. К участию в психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, про которых известно, к какой группе пс критерию они относятся. В случае с тестом дисциплинированности подбираются ученики, заведомо дисциплинированные, по данным экспертной оценки учителей (высокая группа по критерию), и заведомо недисциплинированные (низкая группа по критерию). Ученики со средними показателями по критерию в тестировании не участвуют. После проведения теста мы рассчитываем, например, простейшую четырехклеточную корреляцию между тестом и критерием. Для этого заполняется следующая четырехклеточная таблица:
Элемент а в этой табличке — это число испытуемых, попавших в высокую группу по тесту и по критерию, элемент Ь — число испытуемых, попавших в высокую группу по тесту, но в низкую группу по критерию и т. д.
Очевидно, что при полной валидности теста элементы ft и с таблички должны быть равны нулю. То есть тест не должен давать ошибок — говорить о том, что ученик низкодисциплинированный, когда учителя говорят о том, что ученик высоко дисциплинированный (случай с).
Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда:
При численности протестированной группы в 30 человек (это минимальная выборка для проверки валидности) статистически значимую связь теста с критерием мы можем констатировать, когда Phi >—0,36. Желая это, окончательно, очень низкая валидность, но все же тест в этом случае дает означаемо наилучшие результаты, чем случайное гадание. То есть если в вашем учебном заведении есть конкурс и вы желаете отобрать не только одаренных, но и дисциплинированных учащихся, вы можете использовать тест, валидность которого вы проверили, и она оказалась означаемой.
Но-.. Метод знаменитых групп владеет серьезным изъяном. Он не всегда дозволяет использовать тест для прогноза. Дело в том, что при формировании знаменитых групп оценивается поведение, которое происходило в прошлом, а мы желаем сделать тест дня прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, владеют указанным изъяном. Они прошли в наихорошем случае проверку по методике знаменитых групп и не владеют так именуемой ПРОГНОСТИЧЕСКОЙ ВАЛЙДНОСТЬЮ (или по крайней мере эта валидность требовательно экспериментально не доказана). Окончательно, на местном уровне задачу обеспечения прогностической валидности не решить. Это под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надобно привлекать примерно на порядок больше испытуемых — ие 30, а минимум 300. Ведь мы просто не знаем, кто из этих 300 попадет в будущем в крайние группы.
Например, мы желаем использовать тест для прогноза готовности школьников к обучению в вузе. Это типичная прогностическая психодиагностическая задача. Кто-то обязан взяться за нелегкую долголетнюю программу проверки прогностического потенциала этого теста. Нужно протестировать 300— 500 школьников, а затем подождать, кто из них поступит в вуз и будет удачно там учиться. После двух-трехлетнего промежутка можно сформировать критериальные группы и подсчитать корреляцию с минувшими тестовыми показателями этих прежних школьников. Только после реализации такой схемы психометрического эксперимента можно утверждать, что тест прошел проверку на прогностическую ва-лидность. Без этого мы исходим просто из доверия к научной интуиции разработчика теста и не имеем самостоятельных доказательств того, что тест можно использовать для прогноза.
Различение обычной дешевой схемы валидиза-ции теста (по знаменитым группам) и дорогой прогностической схемы валидизации теста — главнейший элемент психодиагностической грамотности не только для психологов, но и для педагогов, как, впрочем, и для любых заказчиков психодиагностической информации.
Когда заказчик твердо знает, каких доказательств эффективности предлагаемого теста можно потребовать от тестолога, он будет надежно застрахован от профанации.