Согласованность экспертных оценок
■
Как обеспечиваются надежность и валидность наблюдения? То есть как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность)? Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объектами и событиями не менее двух самостоятельных наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят живое наблюдение, либо они имеют дело с видеозаписью.
После получения самостоятельных протоколов между протоколами рассчитываются превосходно знаменитые психологам с университетским образованием коэффициенты сопряженности (аналог коэффициентов корреляции для качественных признаков — Рунион, 1982). Значение вычисленного коэффициента сопряженности указывает на сводный показатель надежность+валидность. Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей. Ступень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Огрубленно можно сказать, что условная доля правильных кодировок в отношении к общему числу кодировок и есть мера НАДЕЖНОСТИ-ВАЛИДНОСТИ наблюдения. Таком образом, в любом методе экспертной оценки в качестве меры надежности-валидности выступает СОГЛАСОВАННОСТЬ оценок самостоятельных знатоков.
Очевидно, что сходственный эксперимент по измерению надежности и валидности наблюдения не есть удел и задача практиков. Этим обязаны заниматься те, кто разрабатывает методику стандартизированного наблюдения. Но… Но в отличие от психометрической стандартизации теста (см. следующий раздел 2.3), главно апробировать не только качество методики и однозначность инструкции, но и проверить то, насколько квалифицированными исполнителями оказались данные конкретные наблюдатели-кодировщики.
Отступление для объяснения. Как учатся измерять артериальное давление медики? Им дают прослушивать записанный на аудиокассеты стандартный набор гулов. Они учатся распознавать систолические и диастолические тоны сердца. Они проходят так именуемую стандартизацию. Только добившись определенного уровня точности (надежности), медик получает подходящее аттестационное удостоверение, в котором фиксируется его право производить измерение артериального давления.
В идеале сходственную стандартизацию на эталонном материале обязаны проходить все наблюдатели-кодировщики для исполнения любой методики стандартизированного наблюдения. То есть после того, как состоялась проверка самой методики на эталонном комплекте наблюдателей, и методика сознаётся разработанной, каждый новый наблюдатель-исполнитель проходит стандартизацию по отношению к тому материалу, на котором добились успеха (то есть дали согласованные протоколы) первые наблюдатели. Такова общая логика в разработке любой методики экспертной оценки. Вначале первичный материал для оценки и инструкция по оценке считаются нестан-дартизированными, а в качестве своего рода эталона выступают те первые эксперты, которые с ним знакомятся и первыми добиваются согласованности (нередко маршрутом многократного внесения уточнений и модификаций в инструкцию, кодифицирующую признаки). Но после этого данный проинтерпретированный (запротоколированный) материал уже в свою очередь считается эталонным, а новые эксперты. проходят стандартизацию по отношению к этому материалу. Понятно, что чем больше самостоятельных знатоков привлечено к этапу первичной отработки кодифицированной системы признаков и чем больше кодировщиков участвует в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и случайные оплошности (вследствие колебаний внимания), и систематические оплошности (в силу ошибочного объяснения инструкции по какому-то признаку), допущенные одним знатоком, погашаются при суммировании с результатами иных знатоков. Эти иные эксперты также дозволяют оплошности, но это — различные оплошности. Если вероятность единичной оплошности у среднего знатока одинакова, допустим, 0.2, то вероятность того, что одну и ту же ошибку совершат 3 (или больше) знатоков из 5, одинакова всего лишь порядка 0.05. То есть коллектив, как видим, работает гораздо надежнее, чем одиночка. При ощутимой вероятности оплошности одиночного знатока вероятность оплошности коллектива оказывается уже недалёкой к пренебрежимо малой вероятности. (Напомним, что 5 процентный уровень оплошности считается признанным стандартным возможным уровнем вероятности оплошности в гуманитарных отраслях знания).
Принцип суммирования самостоятельных экспертных оценок широко используется в такой известной сфере, как спорт. Напомним, к образцу, о практике фигурного катания. Минимальное число судей присуждает победу в боксе — пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все одинаково присуждается сильнейшему — достаточным оказывается суждение трех иных.
Массовое распространение компьютерной техники, в том числе в школе, придает новый импульс методам стандартизированного наблюдения. Дело в том, что провести корректное согласование экспертных оценок и измерить их надежность-валидность вручную, окончательно, достаточно трудно. Иное дело, когда вы вооружены специализированной компьютерной программой, облегчающей и сбор, и анализ таких экспертных оценок. Образец сходственной программы под названием ЭКСПАН (ЭКСПертный АНализ) распространяется в России фирмой Гуманитарные технологии, работающей на базе факультета психологии МГУ (разработчик — А. Г. Шмелев,1990,1995). С поддержкою этой программы вы можете оценить у целого класса воспитанников (до 50 человек) широкий набор до 50 признаков с поддержкою весьма представительной группы знатоков (до 50 человек). ЭКСПАН живо подсчитает как суммарную согласованность между знатоками (после этого можно удалить знатоков, которые абсолютно не поняли смысла задания и сильно разошлись с оценками остальных), а также согласованность по отдельным признакам, что дозволяет живо определить, какие уточнения в инструкцию для данного признака нужно внести, чтобы добиться согласованности-