Тема 6. понятие валидности в психологическом эксперименте (4ч)

Способы установления валидности методики

Чаще всего понятие «валидность» обсуждается в контексте конкретных методик или экспериментов. При этом может быть поставлен вопрос и о валидности определенного метода в целом (например, метода тестирования или ассессмент центра). Подобные исследования проводятся с помощью мета-анализа.

Существуют три основных способа установления валидности методики.

I. Оценка содержательной валидности.

Содержательная валидность — степень соответствия содержания заданий методики той реальной деятельности, в которой проявляется измеряемое в методике свойство. Частным случаем содержательной валидности является так называемая очевидная (лицевая или фейс) валидность — степень соответствия методики ожиданиям оцениваемых. Для большинства методик считается важным, чтобы для участника оценки была очевидна связь между содержанием процедуры оценки и той реальной деятельностью, которая является объектом оценки (профессиональная, учебная, семейная и т. п.).

II. Оценка конструктной валидности.

Конструктная валидность — это степень обоснованности того, что методика действительно измеряет заданные и при этом научно обоснованные конструкты. Существуют, как минимум, две стратегии установления конструктной валидности.

Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи результатов конкретной методики с показателями других методик, измеряющих сходные характеристики. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями.

Подход второй — . Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

III. Оценка критериальной валидности.

Критериальная валидность — это определенная статистическими методами степень соответствия результатов методики и определенных заранее внешних критериев. В качестве подобных критериев могут выступать:

  • независимые от результатов методики непосредственные меры исследуемого качества (такие как уровень достижения в какой-либо деятельности, степень развития способности, выраженность определенного свойства личности и т. д.),
  • показатели социально- или оргазизационно-значимых результатов деятельности (ключевые показатели эффективности (КПЭ или KPI), успеваемость, устойчивость семейных отношений и т. п.)

Одним из видов критериальной валидности является т. н. «прогностическая» валидность. Этот вид валидности используется, когда методика призвана давать определенный прогноз поведения человека. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что методика является прогностически валидной.

Профессиональные разработчики методик должны обосновывать все перечисленные виды валидности и вести постоянный сбор свидетельств в пользу валидности их инструментов.

Пример нарушения внутренней валидности

Допустим, мы хотим проверить лекарство, от которого люди будут становиться выше. Допустим, для своих исследований мы отбираем в качестве испытуемых 13-летних подростков, измеряем их рост, и даём им лекарство. Два года спустя мы возвращаемся к теперь уже 15-летним детям и фиксируем их текущий рост. Несомненно то, что они стали выше, но без сомнения и то, что мы не можем сделать из этого вывод, что эффект роста был вызван лекарством, так как мы не учли в своём теоретическом эксперименте естественных процессов взросления. Здесь внутренняя валидность нарушена следующим образом: мы не учли побочного для нашего исследования влияния других (в данном случае — очевидных) факторов, тогда как надо было их учитывать.

Факторы, угрожающие внутренней валидности[3]

  • Изменение во времени (зависимость субъектов и окружающей среды от времени суток, времён года, изменений в самом человеке — старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д.; ср. естественное развитие)
  • Эффект последовательности
  • Эффект Розенталя (Пигмалиона)
  • Эффект Хоторна
  • Эффект плацебо
  • Эффект аудитории
  • Эффект первого впечатления
  • Эффект Барнума
  • Сопутствующее смешение
  • Факторы выборки
    • Неправильная селекция (неэквивалентность групп по составу, вызывающая систематическую ошибку в результатах)
    • Статистическая регрессия
    • Экспериментальный отсев (неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу)
    • Естественное развитие (общее свойство живых существ к изменению; ср. онтогенез)
  • И др.

4 типа внешних критериев:

  1. критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);
  2. субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);
  3. физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);
  4. критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Критерии внешней валидности

Чтобы исследование обладало наивысшей степенью валидности, должна существовать возможность генерализации его результатов на

  • другие популяции,
  • другие условия,
  • другое время.

Пример нарушения внешней валидности

Исследование Лоренса Колберга, посвящённое изучению нравственного развития детей, было подвергнуто критике за низкую степень внешней валидности. В 1963 году Колберг предложил мальчикам-подросткам разрешить различные коротко сформулированные дилеммы. На основании полученных ответов он разработал теорию о шести стадиях морального развития.

Критика внешней валидности этого исследования в частности состояла в том, что учёный не учитывал половых различий в особенностях мышления способах принятия моральных решений и, следовательно, неправомерно обобщил свою модель на представителей обоих полов.

Колберг также исходил из предпосылки о том, что существуют некие «универсальные принципы справедливости и соблюдения прав личности», однако он не учёл межкультурных различий, следовательно, выводы, которые он сделал, не могут восприниматься как универсальные.

Соблюдение внешней валидности

Чтобы увеличить степень внешней валидности, в исследованиях могут не ограничиваться лишь экспериментальным методом, но также использовать и другие — например, наблюдение, межкультурные исследования и т. д.

При современном научном подходе в психологии соблюдение внешней валидности в исследованиях играет ведущую роль, так как наиболее ценным считается создание общих теорий, моделей и алгоритмов, применимых к психике в целом, независимо от контекста, — то есть моделей, обладающих крайне широкими предсказательными возможностями; поэтому исследования, результаты, которых можно применить только к какой-то определённой ограниченной ситуации, обладают нисходящей ценностью.

Общие сведения

При обладающем внутренней валидностью исследовании исследователь уверен, что результаты, полученные измерением зависимой переменой, непосредственно связаны с независимой переменной, а не с каким-нибудь другим неконтролируемым фактором.

Однако, фактически, в науке (особенно в психологии) невозможно со стопроцентной уверенностью утверждать, что внутренняя валидность соблюдена. Например, невозможно изучить какой-то психический процесс отдельно от психики в целом. Поэтому всегда при любом психологическом эксперименте учёный может лишь максимально (но не абсолютно) удалить или минимизировать разнообразные факторы, угрожающие внутренней валидности.