Планы уравненных групп

Планы уравненных групп

Для четкого сравнения разных экспериментальных условий необходимо, чтобы испытуемые, поставленные в разные условия, были эквивалентными с самого начала исследования. Мы уже рассматривали два метода обеспечения эквивалентности: случайное приписывание разных испытуемых к разным экспериментальным группам и тестирование каждого испытуемого во всех экспериментальных условиях. Добавим теперь третий вариант: использование планов уравненных групп, в которых параметры испытуемых приводятся в соответствие еще до приписывания к разным экспериментальным группам.

Как мы узнали из главы 2, практически любое межсубъектное исследование предполагает определенную степень уравнивания таких явных переменных, как возраст и пол. Тогда встал вопрос: зачем ограничиваться лишь явными переменными, почему не пойти дальше и не уравнять все потенциально значимые переменные? Небольшое замечание подскажет ответ на этот вопрос: невозможно выявить все потенциально значимые переменные, и даже если бы это было возможно, мы никогда не смогли бы добыть необходимые данные и провести необходимое уравнивание. Но все же неполное уравнивание предположительно лучше, чем никакое; почему же его не использовать? Оказывается, что эта процедура имеет как преимущества, так и недостатки.

Поскольку чаще всего при изучении детей производится уравнивание по IQ, я возьму эту характеристику в качестве примера. Желая уравнять детей по параметру IQ, мы должны сначала провести тесты интеллекта со всеми потенциальными испытуемыми (или, возможно, обратиться к школьной картотеке, где хранятся уже собранные данные об учащихся). Затем мы отбираем детей с одинаковыми или почти одинаковыми IQ. Количество детей в группах будет зависеть от количества экспериментальных условий — пары, если два типа условий, тройки — если три типа, и т. д. Работая с этими группами детей, имеющих одинаковые IQ, мы произвольно приписываем детей к разным экспериментальным ситуациям. Заметьте, что случайность приписывания сохраняет свое значение даже в плане уравненных групп. Заметьте также, что первоначальный подбор по IQ гарантирует то, чего не может гарантировать рандомизация: что в окончательном варианте экспериментальные группы будут равноценны по IQ.

Большим плюсом уравнивания является то, что оно обеспечивает четкий контроль переменных, которые в противном случае привели бы к появлению систематических ошибок. Если IQ действительно связан с величиной нашей зависимой переменной, то совершенно необходимо предотвращение смешения IQ и экспериментальных условий. Уравнивание также имеет ряд статистических преимуществ. Так же как и внутрисубъектные планы, план уравненных групп снижает нежелательную дисперсию и таким образом повышает мощность статистических критериев.

Основные недостатки уравнивания так или иначе касаются следующего вопроса: стоит ли оно того? Отбор, как правило, требует от исследователя приложения больших усилий, особенно если он должен предварительно протестировать всех потенциальных испытуемых (при отсутствии возможности воспользоваться уже собранными данными). Если переменная, по которой проводилось уравнивание, в

действительности не связана с величиной зависимой переменной, тогда уравнивание нам ничего не дает. Если выборка достаточно велика и используется случайное приписывание, группы, по всей видимости, при любых условиях будут эквивалентными, поэтому вновь уравнивание нам ничего не дает. Суть состоит в том, чтобы оценить эффективность затрат. Я уже отмечал, что планирование любого исследования связано с отбором нескольких подходящих приемов из большого набора потенциально информативных процедур. Тратить свое ограниченное время и усилия на процедуры, не повышающие качества исследования, — просто непрофессионально.

Помимо риска пустой траты усилий уравнивание иногда создает специфические трудности. В некоторых случаях прохождение испытуемыми предварительного тестирования может повлиять на их ответы при тестировании, имеющем экспериментальное значение (то, что Кэмпбелл и Стэнли назвали переменной реактивности). Возможно, к примеру, что некоторые дети испытывают тревогу, когда их забирают из класса для проведения теста интеллекта, и поэтому подозрительно относятся к дружелюбному экспериментатору, который приглашает их «пойти поиграть». Попытка создать игровую атмосферу для проведения исследования поэтому может свестись к нулю, что отразится на валидности. Уравнивание иногда приводит к выбыванию испытуемых. Если испытуемых подбирать описанным выше способом, единицей измерения становится уравненная группа, а не отдельный ребенок — к примеру, тройки подобранных по IQ детей в исследовании с тремя экспериментальными условиями. Если кто-то из тройки по той или иной причине выбывает, то нужно исключать и двух оставшихся. Везде, где велика вероятность выпадений, произведение уравнивания может оказаться невыгодным.

Есть ситуация, в которой уравнивание — заманчивый, но обычно ложный путь. Это случай, когда исследователь хочет уравнять изначально неэквивалентные группы. Мы уже встречались с примером этого, рассматривая различия в уровне образования между выборками молодых и пожилых людей. Обсудим еще один пример, взятый из работы исследователей Нила и Либерта (Neale & Liebert, 1986). Представьте, что вы хотите определить, добиваются ли те, кто окончил среднюю школу, большего материального благополучия, чем те, кто ее не закончил. Однако вас беспокоит, что эти две группы различаются по среднему IQ — допустим, 105 у выпускников и 90 у не окончивших. По причине несоответствия IQ любое из обнаруженных межгрупповых различий получает альтернативное объяснение: возможно, разница в благосостоянии является простым отражением различий в когнитивных способностях и не имеет ничего общего с окончанием или неокончанием школы. Поэтому вы решаете уравнять группы по параметру IQ Исключив IQ как потенциальную причину смешения, можно с большим основанием отнести различия в уровне благосостояния на счет преимуществ среднего образования.

Эта процедура имеет, по крайней мере, три недостатка, два из которых мы обсудим здесь, а рассмотрение третьего отложим до следующих разделов. Во-первых, данная процедура накладывает определенные ограничения на внешнюю валидность, поскольку по меньшей мере одна из двух групп не будет абсолютно репрезентативна (то есть либо нетипично высокий IQ у не окончивших школу, либо нетипично низкий IQ у окончивших школу). Во-вторых, приводя в соответствие

группы по одному параметру, мы тем самым систематически нарушаем соответствие по другим параметрам, связанным с окончанием школы. Предположим, вы решаете установить среднее значение IQ для обеих групп равным 90. В этом случае вы получите типичную группу не окончивших школу, однако ваши выпускники — в частности, потому что они преуспели несмотря на посредственный интеллект — скорее всего будут превосходить средний уровень по другим характеристикам (например, по мотивации, по поддержке со стороны семьи), которые вносят вклад в школьную успеваемость. И наоборот, установив средний IQ равный 105, вы получите типичных выпускников; однако теперь не окончившие школу будут иметь более низкие показатели по другим детерминантам школьной успеваемости. Приведение групп в соответствие по одному параметру может иметь незапланированный эффект, выражающийся в том, что в целом группы станут не более, а менее сходными.

Третий недостаток уравнивания неэквивалентных групп заключается в возможности эффекта статистической регрессии. В главе 4 мы обсудим то, как этот эффект проявляется при уравнивании в контексте общих рассуждений о статистической регрессии как одной из угроз для валидности.