Некоторые систематические ошибки

Некоторые систематические ошибки

Мы пришли к заключению, что недостаточная или чрезмерная стандартизация может создать определенные проблемы. В этом разделе будет рассмотрено еще несколько, теперь уже более специфических причин искажения валидности. При этом я ссылаюсь на работы Кэмпбелл и Стэнли (Campbell & Stanley, 1966), а также Куки Кэмпбелл (Cook & Campbell, 1979), выводы которых сведены в табл. 2.4. Мы проанализируем четыре специфические причины: инструментарий, систематическую ошибку при отборе испытуемых, фактор истории и реактивность.

Как отмечалось в главе 4, инструментарий — это фактор изменения физических инструментов измерения либо экспериментаторов и наблюдателей в ходе проведения исследования. Поэтому он попадает в категорию неудовлетворительной стандартизации: некоторый аспект процедуры, который должен быть неизменным, в Действительности изменяется в процессе исследования. Хотя в некоторых случаях изменения затрагивают инструментарий в буквальном смысле (например, секундомер, неисправно работающий в сырую погоду), чаще всего изменения касаются человека, выполняющего роль экспериментатора или наблюдателя. К примеру, в ходе исследования экспериментатор приобретает мастерство и уверенность при инструктировании испытуемых. Или наоборот, процесс работы утомляет и разочаровывает экспериментатора, и он начинает допускать небрежности. В любом случае, процедура, которую проходят первые испытуемые, будет отличаться от той, которую проходят следующие.

Наибольшее значение проблема инструментария приобретает тогда, когда изменения, происходящие в ходе исследования, смешиваются с одной из изучаемых независимых переменных. Рассмотрим исследование, в котором осуществляется сравнение успешности выполнения 1 -классниками и 2-классниками некой экспериментальной задачи. Исследователь решает протестировать большинство или всех 1-классников прежде, чем тестировать 2-классников. Для этого может быть множество причин: возможность работать только с одним учителем в одном кабинете, получение разрешения родителей только в одном классе, «нетерпение пойти поиграть* детей из одной группы, желание учителей, чтобы тестирование в их классе прошло как можно быстрее, и т. д. Однако исследователь, уступающий давлению факторов удобства, рискует упустить из вида потенциально значимый источник смещения. Если есть хоть какая-то вероятность изменения экспериментатора в ходе проведения исследования, различия между 1- и 2-классниками нельзя будет интерпретировать однозначно.

Вопрос инструментария встает не только при сравнении разных возрастных групп, но и при сравнении двух или более экспериментальных условий. Часто в исследовании с несколькими условиями легче всего сначала собрать данные для одного условия, а затем — для другого, поскольку в этом случае в одном сеансе за-действуется только один набор материалов и методик. Однако вновь цена удобства — возможное смешение. Лучше, если бы время, когда проводится тестирование в одних экспериментальных условиях, примерно соответствовало времени, когда проводится тестирование в других экспериментальных условиях.

Есть и еще один источник систематических ошибок в ситуации, когда переход к другому экспериментальному условию происходит только после завершения работы с предыдущим. Это систематические ошибки, обусловленные повсеместным требованием получения родительского разрешения на проведение практически любого исследования с детьми. Допустим, исследователь разослал по домам детей одного из классов бланки разрешений. 15 бланков вернулись незамедлительно, и эти 15 детей тестируются в условиях 1. Неделю спустя были возвращены еще 15 бланков, и эти дети тестируются в условиях 2. В этом случае валидность может исказить (помимо фактора инструментария) систематическая ошибка при отборе. Вполне вероятно, что родители, заполнившие бланки незамедлительно, отличаются от тех, кто затягивал процедуру. Тогда и дети из обеих групп, скорее всего, будут различаться независимо от изменения условия 1 на условие 2.

Необходимость предотвращения смешения факторов возраста или экспериментальных условий со временем тестирования подтверждается еще одним фактом. Как бы ни были постоянны поведение экспериментатора и процедуры, в ходе исследования могут изменяться другие потенциально значимые факторы. Это хорошо известно любому исследователю, который хоть раз пытался протестировать школьников накануне праздника или просто днем в пятницу. Исследование — это лишь одно из множества событий в жизни испытуемых, и необходимо позаботиться о том, чтобы это множество событий не привело к смешению при каком бы то ни было сравнении.

От сказанного выше легко перейти к рассмотрению переменной, которая в работах Кэмпбслл и Стэнли (1966) названа историей. В том смысле, в котором этот термин употребляют Кэмпбелл и Стэнли, история связана с вопросом, который мы только что затронули: с влиянием внешних по отношению к исследованию событий на результат этого исследования. Особое значение данная проблема приобретает в планах «претест-поеттест», в которых некое постороннее событие ведет к появлению альтернативного объяснения обнаруженных изменений. Допустим, мы изучаем отсроченное удовлетворение желания, то есть способность детей отказываться от немедленного получения небольшой награды ради получения через некоторое время чего-то более привлекательного (исследование Паттерсон и Картер (Patterson & Carter, 1979), кратко описанное в главе 2, направлено на изучение именно этого понятия). В нашем исследовании ребенок стоит перед выбором: получить одну конфету сразу или подождать до следующего дня и получить несколько конфет. Оценив способность детей к отсрочиванию удовольствия, мы вводим экспериментальное воздействие, направленное на развитие этой способности. Экспериментальная программа длится всю вторую половину октября, а повторное тестирование осуществляется в начале ноября. Мы обнаруживаем, что после прохождения экспериментальной программы детям легче устоять перед соблазном немедленного получения сладостей. Является ли это подтверждением эффективности наших действий? Необязательно, если учесть, что на один из дней между первой и второй проверкой выпадает Хэллоуин, а следовательно, и море сладостей. Имеет место смешение экспериментального воздействия и фактора истории, которое затрудняет интерпретацию результатов.

О факторе истории уже говорилось в главе 3. Тогда в качестве примера приводилось исследование эффективности некой образовательной программы, направленной на повышение успеваемости неблагополучных детей. При этом было найдено решение проблемы, связанной с фактором истории: использование контрольной группы, не подвергающейся экспериментальному воздействию, — то есть группы, переживающей те же жизненные события, что и экспериментальная группа, за исключением экспериментального воздействия. В случае исследования способности отсрочивать удовлетворение желания мы могли бы просто протестировать какую-то группу детей до и после обильных праздничных угощений, обычных для Хэллоуина[ 4 ]. Однако заметьте, что использование контрольной группы не решает всех проблем, обусловленных влиянием внеэкспериментальных событий. В определенных случаях эти события взаимосвязаны с экспериментальным воздействием. Возможно, что естественно получаемый опыт празднования Хэллоуина и опыт, полученный при прохождении составленной нами программы, эффектнвны только в сочетании друг с другом; ни угощения, ни экспериментальное воздействие сами но себе не влияют на способность ребенка отсрочивать удовлетворение желаний. В этом случае использование контрольной группы не прояснит ситуацию. Тогда мы столкнемся с серьезным ограничением на генерализацию полученных результатов.