<< Предыдущая

стр. 8
(из 10 стр.)

ОГЛАВЛЕНИЕ

Следующая >>

186
Таким образом, для выборки с пятипроцентной ошибкой достаточно обследовать 400 единиц при практически бесконечной генеральной совокупности и уровне надежности 95%. Повышение требований к точности предсказания до 4% при сохранении прочих условий увеличивает объем выборки до 625 единиц, точность 3% предполагает объем 1111 единиц, 2% — 2500 единиц и 1% — 10 000 единиц.
Фактически объем выборки зависит не столько от величины генеральной совокупности и допустимой ошибки, сколько от количества градаций, используемых при анализе массива.
Для часто используемых в социологии двумерных распределений основную роль играет значимость различий между долями изучаемого признака при сравнении двух совпадающих по численности групп респондентов, выбранных случайным образом из бесконечной генеральной совокупности. Например, различия в 10% не случайны с вероятностью 0,954, если сравниваются группы по 200 человек. Двухпроцентные различия не случайны с той же вероятностью при сравнении пятитысячных групп (табл. 5.16)29.
Таблица 5.16
Зависимость численности сравниваемых групп от значимости различий при Р=0,954, %
Численность сравниваемых групп
Значимые различия
50
20,0
100
14,0
150
11,5
200
10,0
300
8,0
500
6,3
1000
4,5
5000
2,0
29 Паниотто В.И. Цит. соч. С. 83.
187
Таким образом, увеличение выборочной совокупности необходимо лишь для статистически корректного анализа межгрупповых различий.
Вопросы
1. Что такое «концептуальный объект» и чем он отличается от генеральной совокупности?
2. Почему в социологических исследованиях ошибку выборки, как правило, приходится оценивать косвенными методами?
3. Что такое метод апостериорного контроля репрезентативности и какие признаки используются для оценки репрезентативности в массовых опросах ВЦИОМ?
4. Почему случайные ошибки выборки уменьшаются при возрастании объема выборочной совокупности, а систематические ошибки возрастают?
5. При каких условиях маленькая выборка может быть более репрезентативна, чем большая?
6. Какие систематические ошибки были допущены при проектировании опроса избирателей журналом «Литерэри Дайджест» в 1936 г.?
7. Каковы возможные причины существенных различий между данными предвыборных опросов и результатами голосования на выборах в Федеральное собрание России в декабре 1993 г.?
8. Какие систематические ошибки связаны с фактором временных изменений объекта?
9. Какие единицы исследования принято считать труднодоступными?
10. Каковы типичные причины отказа от ответа?
11. Что обычно предпринимается для ремонта выборки?
12. Каковы основные способы вероятностного отбора единиц?
13. Какова техника квотного отбора?
14. Сколько выборок можно произвести в одной и той же генеральной совокупности?
15. Как распределена выборочная средняя?
16. Почему средняя всех возможных выборочных средних в точности равна генеральной средней?
17. Сколько случайных выборок находится в пределах одного, двух и трех средних квадратических отклонений?
18. От чего зависит объем выборочной совокупности?
19. Что такое точность и заданная надежность предсказания выборочного оценивания?
188
ЛИТЕРАТУРА
1. Вейнберг Дж., Шумекер Дж. Статистика. М.: Финансы и статистика, 1979.
2. Кимбл Г. Как правильно пользоваться статистикой. М.: Финансы и статистика, 1982.
3. Королев Ю. Т. Выборочный метод в социологии. М.: Финансы и статистика, 1975.
4. Территориальная выборка d социологических исследованиях/ И.Б. Мучник и др.; Отв. ред. Т.В. Рябушкин. М.: Наука, 1980.
5. Чурилов Н.Н. Проектирование выборочного социологического исследования. Киев: Наукова думка, 1986.

Глава 6.Экспериментальный метод в социологии
1. Схема эксперимента
Для чего нужна контрольная группа? Три способа выравнивания контрольной и экспериментальной групп. Задачи, решаемые экспериментом: сравнение, манипулирование, контроль, генерализация. Три условия экспериментального вывода: временная последовательность, ковариация, контроль «третьего» фактора. Определения внутренней и внешней валидности. Типичные нарушения внешней валидности: отсутствие репрезентативности и искусственно созданная экспериментальная ситуация.
Всякое человеческое действие, предпринятое для достижения определенного результата, — это эксперимент, более или менее успешный. Задача науки заключается в том, чтобы установить точные правила экспериментирования и применять их для достижения заданных параметров. Объектом эксперимента для социолога являются люди и социальные общности — часто их реакция на «научное» вмешательство оказывается непредсказуемой, во всяком случае для экспериментатора.
Логика экспериментального метода была разработана английским социологом и моралистом Джоном Стюартом Миллем, жившим в XIX в. Милль установил пять логических схем индуктивного вывода, одна из которых — «метод различия» — являет собой классическую схему эксперимента.
Схема эта довольно проста. Сначала берутся две совокупности (два объекта) и выравниваются по значимым признакам. Иначе говоря, нужно сделать так, чтобы группы практически не различались. Конечно, они не могут не различаться вовсе. Поэтому внимание экспериментатора сосредоточивается на значимых признаках, т. е. на тех, которые могут оказать влияние на результаты эксперимента.

190
Например, изучая воздействие телепередачи на политические установки зрителей, исследователь должен убедиться, что возраст испытуемых в различных группах варьирует незначительно. Почему возраст? Потому что из предшествующих исследований известно, что возраст влияет на политические установки. Следовательно, этот признак подлежит контролю. Несколько по-иному оценивается, например, численность блондинов, брюнетов или шатенов. Обычно такого рода параметрами при изучении политических установок пренебрегают, почему-то не считая их значимыми. Чем больше параметров учитывает исследователь, тем надежнее эксперимент.
Затем начинается полевой или лабораторный этап эксперимента. Иногда утверждается, что это самый главный этап — собственно эксперимент. Такое суждение опрометчиво. Успех или провал эксперимента зависит прежде всего от того, насколько тщательно проработаны его идеальная схема, план проведения и ожидаемые результаты. Лабораторное (полевое) исследование не должно сталкиваться с «нештатными» ситуациями, т. е. ситуациями, не предусмотренными предварительно разработанным планом. Если это происходит, полевую работу надо немедленно прекратить и вернуться к проектированию исследования. Неудача исследования заключается отнюдь не в отрицательном результате — иногда он имеет большее значение, чем Положительный, — а в получении ничего не означающих данных.
Предположим, что все идет «штатно» и мы находимся на полевом этапе эксперимента. Здесь одна группа объектов подвергается воздействию экспериментальной переменной. Все, кто работает в «опытных» науках, делают примерно одно и то же. Химик подвергает вещество воздействию реактива и затем наблюдает, как оно меняет цвет. Физик нагревает газы с целью продемонстрировать их расширение при нагревании. Агробиолог охлаждает семена и затем фиксирует динамику роста яровых (правда, потом это оказывается ошибкой). Социолог показывает студентам учебный фильм и констатирует усвоение материала.
На этом эксперимент не заканчивается. Чтобы убедиться в том, что данные результаты возникли вследствие воздействия именно экспериментальной переменной, а не какой-либо иной, следует сопоставить параметры экспериментальной группы с параметрами группы, где никаких воздействий не применялось. Различие между этими параметрами и есть результат воздействия экспериментальной переменной. Если различие нулевое или несущественное, мы констатируем отсутствие связи. Если применение экспериментальной переменной значительно изменяет распределение изучаемого признака, имеются основания предполагать причинную связь между ними. Такова общая схема, которая лежит в основании более сложных планов эксперимента.

191
Классический проект проверки гипотез предполагает работу с двумя объектами: экспериментальным и контрольным. Это не значит, что все экспериментаторы обязаны работать с двумя объектами. Естественные науки XIX в. не знали такого разделения объектов. Впервые экспериментальную и контрольную группы стали выделять в начале XX в.
В социологии и социальной психологии в качестве объектов выбираются группы, идентичные по составу. Экспериментальной группой называется та группа, к которой «применяется» изучаемая независимая переменная; контрольная группа остается вне экспериментального воздействия.
Экспериментальная и контрольная группы должны быть практически идентичными. Идентичность экспериментальной и контрольной групп достигается двумя способами. Первый способ — попарное выравнивание объектов по значимым переменным, установленным до проведения экспериментальных операций. Выравнивание можно осуществить путем подбора для каждого объекта экспериментальной группы идентичного объекта в контрольной группе. Например, если в экспериментальную группу входит мужчина 40 лет с высшим гуманитарным образованием, в контрольной группе должен быть его «двойник» с такими же параметрами. Очевидно, подбор «двойников» возможен лишь при очень ограниченном числе переменных. В противном случае комплектование групп превращается в неразрешимую задачу.
Второй, более доступный, метод выравнивания групп основан на выравнивании частотных распределений, а не каждой пары в отдельности. Например, экспериментатор обеспечивает 30-процентную долю испытуемых с высшим образованием и в той, и в другой группе. Аналогичные выравнивания осуществляются и по другим признакам, а отдельные испытуемые уже не контролируются. Разумеется, в данном случае не достигается высокого сходства между группами, но комплектование групп намного облегчается.
Третий способ обеспечения идентичности экспериментальной и контрольной групп — случайное распределение объектов по группам. Чаще всего такой способ называют рандомизацией. В отличие от выравнивания рандомизация, как предполагается, устраняет систематические различия между группами по всем признакам, а не только контролируемым исследователем.
Для осуществления рандомизации массив надо как следует перемешать и разделить равновероятно. Данный способ особенно предпочтителен в тех случаях, когда у исследователя нет уверенности, что различия между группами контролируются по значимым переменным. А такой уверенности нет никогда. Обеспечить равновероятное распределение
192
контингента на две группы не так просто, как это кажется. Каждый объект должен иметь одинаковую вероятность попасть в экспериментальную и контрольную группы, поэтому рекомендуется осуществлять отбор с помощью таблицы случайных чисел либо жребия.
Для определения эффекта, производимого экспериментальной переменной, осуществляются несколько замеров и в той, и в другой группах. Предварительный замер — претест — производится до того, как экспериментальная группа подвергнется воздействию изучаемой переменной. При этом различия между значениями зависимой переменной в контрольной и экспериментальной группах должны быть минимальными. После того как экспериментальная группа подверглась воздействию определенного стимула, осуществляются замеры в обеих группах. Если значение зависимой переменной в экспериментальной группе статистически значимо отличается от значения претеста и превышает (статистически значимо) значение претеста в контрольной группе, делается вывод (с указанием вероятности случайной ошибки), что переменная-стимул связана с переменной-реакцией. Таким образом, гипотеза принимается (как неопровергнутая, а не как подтвержденная) или опровергается.
Пример экспериментальной проверки гипотезы — исследование влияния мнения учителей об интеллектуальном развитии учеников на интеллектуальное развитие учеников. Исследование проведено Р. Розенталем и Л. Джейкобсом1. Экспериментаторы предположили, что ученики, способности которых оцениваются учителями более высоко, действительно обнаруживают большие успехи. Гипотеза проверялась на материале обследования учеников средней школы в районе, где жили преимущественно бедные. Все ученики прошли тестирование по уровню интеллектуальности (использовалась невербальная техника тестирования). Затем с результатами тестирования ознакомили учителей: им сообщили имена детей, обнаруживших большие способности. На самом деле имена «вундеркиндов» были выбраны случайным порядком. Таким образом, экспериментальная группа состояла из «ожидаемых» вундеркиндов, а остальные дети составляли группу контрольную. Ожидания учителей являли собой экспериментальную переменную, а интеллектуальное развитие детей — зависимую переменную. Через год тест был повторен и обнаружились значимые различия: развитие детей экспериментальной группы было выше, чем в контрольной.
Несмотря на внешнюю убедительность, эксперимент не доказывает, что интеллектуальное развитие детей обусловлено именно «эффек
1Rosenthal R., Jacobs L. Pygmalion in the classroom. New York: Holt, Rinehart & Winston, 1968.
193
13-365
Таблица 6.1
Схема экспериментального проекта
Группы
Измерение до эксперимента
Экспериментальная переменная
Измерение после эксперимента
Установлениеразличий
Экспериментальная
О1
Применяется
О2
О1 - O2
Контрольная
О3
Не применяется
О4
О3 - О4
том Пигмалиона». Вполне возможны и альтернативные объяснения. Имея дело с людьми, совершенно невозможно избежать реактивного эффекта, когда изучаемый признак неотделим от процедуры замера.
Социологические исследования, в которых независимая и зависимая переменные выделяются путем группировки данных, нельзя назвать экспериментом в полном смысле слова. Однако анализ результатов поддается методам, применяемым при управляемом экспериментальном воздействии.
Обычно результатом неуправляемых социологических экспериментов с естественной возникающей независимой переменной является мера корреляции между признаками. При достаточно высокой корреляции гипотеза о неслучайном характере связи не отвергается. Низкая корреляция также не является решающим аргументом в пользу отсутствия причинной зависимости. Лучше всего использовать анализ корреляций для поиска тесных зависимостей, а уже потом выбирать из них гипотезы, требующие дополнительной валидизации.
Чтобы избежать нерелевантных воздействий («шума»), исследователи нередко прибегают к косвенным, квазиэкспериментальным признакам. Вряд ли целесообразно спрашивать посетителей музея, нравятся ли им импрессионисты (конечно же, нравятся). Вместо этого социологи пытаются замерить степень истертости лакового покрытия полов у художественных полотен, считающихся знаменитыми. Самые популярные книжки — не те, о которых идет разговор респондента и интервьюера, а имеющие совершенно затрепанный вид библиотечные экземпляры приключенческих и любовных романов. Методическое требование формулируется вполне отчетливо: экспериментальная переменная не должна привносить существенные изменения в объект и обязана быть незаметной.
194
С помощью сравнения устанавливается, влечет ли за собой изменение значения независимой переменной изменение значения переменной зависимой. Например, если существует связь между некоторым методом преподавания и степенью усвоения материала студентами, то студенты обнаруживают более высокую успеваемость после применения данного метода. Для того чтобы установить совместную изменяемость метода преподавания и успеваемости, сравниваются успеваемость в группе студентов, подвергшихся воздействию переменной х (метода преподавания) с успеваемостью в группе студентов, не подвергшихся такому воздействию.
Иными словами, чтобы установить ковариацию, значения зависимой переменной замеряются до и после применения независимой переменной. Иная версия сравнения: данные по группе, где применялась независимая переменная, сравниваются с данными по группе, где независимая переменная не применялась. В первом случае группа сравнивается с самою собой, во втором — экспериментальная группа сравнивается с контрольной. Без сравнения никакой экспериментальный план невозможен.
Распределение испытуемых по группам — довольно сложная этическая и методическая проблема. Если проинформировать человека, что он включен в контрольную группу, это может повлиять на результат эксперимента. Нетрудно предугадать, какой эффект вызовет переход половины класса в отдельное помещение. Если не сообщать испытуемым о замысле исследования, возникают некоторые этические сложности, связанные с тем, что личность становится объектом манипуляции. В большинстве случаев испытуемый не должен ничего знать об истинных исследовательских гипотезах. Поэтому в полевой работе, как правило, предусматривается «легенда», маскирующая истинные намерения экспериментатора. Даже если испытуемый знает, что находится под наблюдением, он не должен догадываться, какая задача на самом деле решается в эксперименте. Демаскировка равнозначна срыву полевой работы.
Этические проблемы, возникающие в социологическом экспериментировании, не более серьезны, чем аналогичные проблемы в медицине и биологии. Манипулирование людьми, обращение с ними, как с материалом, — неизбежный факт исследовательской работы. Конечно, здесь возможны злоупотребления, но где их нет?
В отличие от естественных и технических наук в социологии отсутствуют теоретические схемы, являющиеся основанием для оценки значимости переменных. Когда инженер проверяет надежность прибора на стенде, он знает, что окраской корпуса в большинстве случаев можно пренебречь. Иное дело — живые респонденты, для которых могут оказаться весьма существенными параметрами как раз
195
те, которые не воспринимаются серьезно исследователем. Например, если в хорошо подобранной экспериментальной группе окажется несколько энтузиастов, результаты экспериментирования нельзя считать «чистыми» вне зависимости от темы исследования.
Из сказанного следует, что проконтролировать все значимые переменные невозможно, но необходимо. Поэтому исследователь создает измерительные конфигурации, исходя из своих теоретических представлений.
С помощью сравнения устанавливаются лишь различия между группами, но вопрос о зависимости признаков остается открытым. Манипуляция с экспериментальными объектами позволяет включить в научный вывод суждение о причинной зависимости между переменными. Со времен Дэвида Юма известно, что причинность не может быть выведена с помощью одного только рассудка и опирается на привычку — суждение, находящее свои основания в практическом, вненаучном опыте. Экспериментирование заключается в манипуляциях, которые вызывают соответствующие изменения в объекте. Здесь отчетливо прорисовывается критерий зависимости / независимости: зависимая переменная всегда реагирует на внесение изменений в независимую переменную. Однако объект может изменяться под влиянием и иных, альтернативных факторов.
Известно также, что «после этого — не по причине этого». Предшествование по времени является необходимым, но недостаточным условием причинения. Нужна еще уверенность в том, что причини лежит именно в данной, а не в иной переменной. Поскольку имеется практически бесконечное число возможных причин, повлиявших на изменения, такая уверенность никогда не достигается. Исследователь может лишь проверить гипотезу и не отвергнуть ее.
В лабораторных условиях можно манипулировать переменными и осуществлять замеры до и после изменений. В естественной обстановке манипулировать обстоятельствами чаще всего невозможно. В последнем случае говорить о причинности особенно рискованно.
Контроль — третья задача экспериментального проекта. Она направлена на устранение постороннего («третьего») фактора, влияющего на причинную зависимость между изучаемыми переменными. Часто контроль обозначается как обеспечение внутренней валидности научного вывода и соотносится с ответом на вопрос: действительно ли причиной наблюдаемого события (значения переменной) является признак, рассматриваемый исследователем как независимый.
Ф. Чэпин сравнивал экспериментальную группу семей — тех, кого переселили в новые квартиры, с контрольной группой — теми, кто остался жить в трущобах. Он изучал изменения в жизненном укладе обитателей трущоб, которые происходят под влиянием переселения
196
семей в дома общественного сектора. Основной вывод исследования опирался на установленный факт: в экспериментальной группе уровень жизни значительно повысился. Отсюда следовало заключение, что проекты общественной застройки обусловливают положительные изменения в образе жизни людей. Однако этот вывод недостаточно обоснован, поскольку семьи, переселившиеся в новые дома, изначально отличались от семей контрольной группы. Вероятно, экспериментальная и контрольная группы различались по типу занятости, уровню образования, величине семьи, в конце концов, по установкам. Все эти «третьи» факторы следовало контролировать до того, как сделан вывод о влиянии переселения на образ жизни семей.
Для более или менее уверенного утверждения о причинной зависимости между переменными надо соблюсти три необходимых условия. Первое условие относится к временной последовательности: причина предшествует следствию, только после применения экспериментальной переменной наблюдается эффект. Второе условие состоит в статистической зависимости одного признака от другого; утверждение о причинной связи не может не опираться на установленную тесную корреляцию. В практике статистического оценивания разработаны критерии и допущения, считающиеся приемлемыми для такого рода утверждений. Например, считается достаточной вероятность ошибки 5 шансов из 100.
Предположим, что один признак предшествует другому и между ними наблюдается тесная статистическая связь. Однако утверждать о причинной связи преждевременно. Следует соблюсти третье условие — самое сложное: не должно быть иного правдоподобного альтернативного объяснения возникновения признака-следствия, кроме как связь с экспериментальным признаком. Иными словами, связь может казаться причинной, а на самом деле является результатом влияния посторонних («третьих») переменных. Экспериментатор обязан сделать все возможное для устранения этого «шума». Отсутствие каких-либо альтернативных объяснений и достаточная уверенность в том, что эффект вызван именно данной причиной, определяется как внутренняя валидность эксперимента. При соблюдении всех трех условий, т. е. внутренней валидности, можно уверенно утверждать о причинной связи между признаками. Правда, соблюсти все три условия еще никому не удавалось.
Но эксперимент — довольно локальное событие. Он ограничен временем, местом, материалом и иными внешними обстоятельствами. А можно ли распространить полученные во внутренне валидном эксперименте выводы на иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема генерализации — четвертой экспериментальной задачи, завершающей цикл сравнения, манипули
197
рования и контроля. Предположим, студенты тестируются в лаборатории по поводу их эмоционального отношения к политическим терминам. Сохранится ли их отношение к этим терминам вне аудитории? А если вместо студентов экспериментировать с рабочими? Реакция на политические термины в устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена контекстов открывает проблему внешней валидности — возможности обобщения, генерализации полученного заключения.
Ошибки внешней валидности связаны с двумя причинами. Первая — это нарушение репрезентативности отбора единиц исследования. Предположим, что с помощью методического эксперимента установлено, что на открытые вопросы даются более многообразные ответы, чем на вопросы закрытого типа. Оценка внутренней валидности заключается в гарантиях, что степень многообразия ответов была вызвана именно типом вопроса, а не каким-либо иным фактором. Внешняя валидность предполагает, что такая же зависимость будет наблюдаться не только в процессе эксперимента, но и в любых ситуациях опроса.
Если, например, в экспериментальную группу были набраны добровольцы (т. е. люди, обнаруживающие активную положительную установку на беседу с интервьюером), то полученные данные вряд ли репрезентативны для массового опроса, где часто встречаются респонденты, не расположенные к многообразным ответам. Риск ошибки, обусловленный нарушением внешней валидности, значительно возрастает. В идеальном случае экспериментальная и контрольная группы должны формироваться методом случайного отбора, чтобы они могли репрезентировать генеральную совокупность2. Однако дело это слишком трудоемкое и дорогостоящее.
Внешняя валидность отсутствует и в тех случаях, когда план эксперимента основан на искусственных допущениях. В знаменитом эксперименте Музафера Шерифа по формированию групповых норм испытуемые должны были оценить расстояние до точечного источника света, находясь в полной темноте. Поскольку трудно предположить, что в реальной жизни люди часто обсуждают автокинетический эффект, внешняя валидность эксперимента Шерифа остается под вопросом.
В целом внешняя валидность тем больше, чем шире область распространения полученных выводов. Закон Ньютона-Кеплера, связывающий силу притяжения тел с их массами и расстояниями между ними, обладает практически универсальной внешней валид
2Эти вопросы подробно рассматриваются в главе о выборочном методе.
198
ностью. Подтверждение внешней валидности достигается путем многочисленного воспроизведения эксперимента в новых условиях.
Проблемы внутренней валидности логически разрешимы посредством статистического контроля и оценивания. А внешняя валидность не имеет убедительного логического обоснования. «Если имеется внутренне валидный [экспериментальный] план,... — пишет Д. Кэмпбелл, — то эффект продемонстрирован только для тех конкретных условий, которые оказались общими для экспериментальной и контрольной групп, т. е. для предварительно обследованных групп, включающих лиц определенного возраста, интеллекта, социальноэкономического статуса, географического региона, взятых в определенный исторический момент, приданной ориентации светил, определенном атмосферном давлении, уровне гамма-излучения и т. д.»3.
2. Типичные нарушения внутренней валидности вывода
Изменения исторического фона, матурация, несоответствие составов контрольной и экспериментальной групп, отсев респондентов, нестабильность инструментального комплекса, эффект тестирования, реактивный эффект. «Натурные» эксперименты.
На результаты эксперимента оказывают влияние любые события, происходящие во время проведения исследования, особенно если оно занимает продолжительное время. Сама зависимая переменная меняется под влиянием посторонних обстоятельств, и какое из них обусловило изменения, — остается неясным. Причины изменений обозначаются как изменения исторического фона. Под «историей» имеется в виду история эксперимента.
Предположим, проверяется гипотеза о воздействии пропаганды на поведение избирателей. В соответствии со схемой эксперимента осуществляется замер электоральных предпочтений до пропагандистской атаки и после нее. Затем сопоставляются значения этой переменной в двух группах: экспериментальной, подвергавшейся пропагандистскому воздействию, и контрольной, где на избирателей не оказывалось влияния. Предположим, далее, что установлены существенные различия между экспериментальной и контрольной
3 Кэмпбелл Дж, Модели эксперимента в социальной психологии и прикладных исследованиях: Пер. с англ. / Сост. и общ. ред. М.И. Бобневой; Вступ. ст. Г.М. Андреевой. М.: Прогресс, 1980. С.72 - 73.
199
труппами. Однако можем ли мы быть уверены, что различия обусловлены именно пропагандой. За короткий промежуток времени на мнения избирателей могли повлиять различные события: повышение цен, сенсационные разоблачения политических лидеров, рост инфляции. Все эти факторы могут служить основой альтернативных гипотез. Чем больше временной промежуток между претестом и посттестом, тем больше вероятность «исторических» искажений результатов эксперимента.
Модификацией «исторических» изменений являются естественные изменения в самом объекте экспериментирования — «матурация». С течением времени меняется не только внешняя среда, но и внутренние качества испытуемых. Предположим, что экспериментальной проверке подвергается метод преподавания и предварительные измерения отделены от итоговых измерений временем, занимающим почти весь учебный год. Разумеется, за этот период произойдут существенные сдвиги в уровне усвоения материала студентами — здесь нельзя сбрасывать со счетов то обстоятельство, что испытуемые стали взрослее и, вероятно, умнее. Результат может быть вызван и новым методом преподавания, и взрослением экспериментального контингента. Даже если эксперимент длится два-три часа, на его результаты может повлиять усталость и раздражение испытуемых.
Несоответствие составов групп. На внутреннюю валидность вывода оказывают искажающее влияние изменения в составе экспериментальной и контрольной групп. Особенно часто это случается тогда, когда для эксперимента выбираются примерно равные по возрасту классы, студенческие группы. Однако проконтролировать все различия довольно трудно. Например, более высокий уровень сплоченности в одной группе может привести к существенным искажениям результатов. Надежное средство выравнивания составов контрольной и экспериментальной групп — рандомизация.
Отсев испытуемых. Если эксперимент длится долго, вероятность избежать отсева испытуемых по разным причинам довольно высока. Поэтому при осуществлении итоговых измерений невозможно с уверенностью сказать, насколько повлияло выбытие испытуемых на результат. Чаще всего из экспериментов выбывают испытуемые из контрольных групп.
Нестабильность инструментального комплекса. Изменения могут затрагивать не только внешние обстоятельства (фон) и испытуемых, но и измерительный инструментарий исследования. Проблема заключается в том, что в отличие от естественных наук в социологии и психологии измерительные инструменты (в том числе интервьюер) меняются. А смена измерительного комплекса влечет за собой смещение данных. Здесь нельзя менять ни wording, ни калибровку, ни
200
стиль интервьюирования. При экспериментах, связанных с контролем успеваемости студентов, такого рода погрешности практически неизбежны. Необходимо не только сохранить критерии оценки знаний — часто интуитивные, но даже тот психологический настрой, который был присущ экзаменатору в момент первой проверки. Смена экзаменатора в данном случае эквивалентна смене инструмента и препятствует всяким сопоставлениям.
Экспериментальный инструментарий предполагает однократное применение к одному испытуемому. В противном случае возникнет эффект тестирования. Если экспериментатор обратится с тем же тествопросником вторично, результаты замера будут иными, поскольку испытуемый уже знаком с инструментом и будет осознанно или неосознанно корректировать свои реакции, например, стараться вспомнить, что говорил прошлый раз, и воспроизводить свои ответы. Собственно говоря, знакомый испытуемому тест-вопросник — уже другой инструмент, чем тот, который применялся на стадии претеста, и сравнение данных содержит существенную погрешность.
И, наконец, самые существенные искажения связаны с влиянием на результат эксперимента наряду с независимой переменной самой экспериментальной ситуации — часто такое влияние называют реактивным эффектом.
Лучше всего проиллюстрировать возникновение реактивного эффекта на примере проверки нового метода лечения. Зная о том, что на них испытывается новый метод лечения, пациенты обнаруживают заметные улучшения по крайней мере в клинической симптоматике заболевания. Лучше себя чувствуют даже те, кто входит в контрольную группу, т. е, не находится под воздействием экспериментальной переменной.
Влияние инструмента на реакции респондентов может быть самым неожиданным. В литературе хорошо описан «эффект интервьюера», когда ответы в значительной мере обусловлены невольным воздействием личности интервьюера. Реже упоминается, что вопросы, задаваемые в ходе одного интервью, обнаруживают более высокую корреляцию, чем те же вопросы, включенные в разные анкеты. Если вопросы интервью следуют друг за другом, наблюдается «галаэффект»: корреляция между ними выше, чем между такими же, но «отдаленными» вопросами. Корреляция между данными, полученными в один день, выше, чем корреляция между данными, полученными в разные дни.
Следует различать действие экспериментальной переменной и экспериментальной ситуации. В последнем случае мы имеем дело с реактивным эффектом. В медицине от него пытаются избавиться с помощью placebo — контрольным больным дают «видимость» экспе
201
риментальной переменной, например, таблетки такого же цвета и вкуса, какие дают экспериментальным больным. Таким образом, placebo является одним из способов выравнивания эффекта экспериментальной ситуации. В социологии применить placebo практически невозможно.
Имеются и другие факторы, снижающие внутреннюю валидность: взаимодействие фактора отбора с «матурацией», деморализация испытуемых, связанная с кажущимися неудачами; имитация воздействия и т. п.
Нарушения внутренней валидности, обусловленные изменениями «исторических» обстоятельств эксперимента, компенсируются сравнением контрольной и экспериментальной групп — изменения в данном случае затрагивают и тех, и других испытуемых. Аналогичным образом изменения в измерительном инструментарии затрагивают обе группы. Реактивный эффект также оказывает одинаковое воздействие на всех испытуемых. Особенно серьезную опасность представляют посторонние переменные, связанные с недостаточным выравниванием групп.
Внешняя валидность, как уже говорилось, это возможность распространить установленные зависимости за рамки экспериментального материала. При высокой внутренней валидности, т. е. при уверенности, что изменения в переменной х вызывают определенные изменения в переменной у, внешняя валидность может оказаться совершенно неудовлетворительной.
Предполагается, что в отличие от лабораторного эксперимент «на натуре» ближе к жизни. Часто эксперименты, проводимые на улице, на производстве, в общественных учреждениях, по месту жительства и т. п. называют в отличие от лабораторных «естественными». Здесь этические проблемы, связанные с навязыванием ничего не подозревающим людям экспериментальной «легенды», стоят особенно остро.
В литературе имеются десятки примеров замаскированных полевых экспериментов, позволяющих сравнить ситуации с разными значениями независимой переменной. Изучалась реакция публики на «пешеходов» высокого и низкого социального статуса, переходящих проезжую часть на красный сигнал светофора. Разумеется, пешеходами были экспериментаторы, одетые так, как одеваются люди высокого и низкого социального положения. Рассылались письма с просьбой о приеме на работу, при этом в одной группе указывались сведения уголовного характера, в другой — нет. Зависимой переменной в данном случае являлись реакции работодателей. Женщина рядом с автомобилем, у которого села покрышка... В одних случаях она демонстрирует просьбу о помощи, в других — нет. «Нищие», внешний вид которых отчетливо идентифицируется с представителями опре
202
деленных этнических групп, сидят на тротуаре... «Джентльмен» спрашивает прохожих, не уронил ли кто только что найденную долларовую бумажку... Помощники экспериментатора собираются на улице в группы разной величины, а затем устанавливается число прохожих, привлеченных группой. Несколько «хулиганов» на улице пристают к дамам... Письма делового, любовного и «нейтрального» содержания, «по ошибке» попавшие в чужие руки... Перечень подобных естественных экспериментов бесконечен. Однако свидетельствуют ли они о связи переменных — неясно. Остается сомнение: являются ли естественные эксперименты более естественными и валидными, чем эксперименты в лабораториях. Очевидный «минус» естественных экспериментов — нарушение моральных норм, связанное с целенаправленным обманом испытуемых, не дававших согласия на участие в «социодраме». Отчасти исследователей извиняет то обстоятельство, что моделируемые ситуации входят в число повседневных и не связаны с ущербом, кроме незначительной потери времени. Но, бывает, мера превышается. Известны, например, опыты С. Мильгрема с кажущимся применением электрошока к испытуемым, создание ситуаций, связанных с угрозой верной гибели, и т. п.
3. Типы квазиэкспериментальных и экспериментальных планов
«Исследование случая», эксперимент ex post facto, временные серии, панельные исследования и тренды, план с эквивалентными выборками, экспериментирование на одном объекте с претестом и посттестом, сравнение нерандомизированных контрольной и экспериментальной групп, экспериментальный план с предварительным и итоговым замерами и контрольной группой, эксперимент Р. Соломона для четырех групп, план с контрольной группой без претеста, перекрестный квазиэкспериментальный план, экспериментальный план с претестом и посттестом, план с временной серией и контрольной группой.
Многие социологические эксперименты строятся по упрощенному плану «исследования случая»: выбирается удобная группа испытуемых, к ним применяется воздействие экспериментального фактора х и замеряется результат О.

203
В данном случае не производится ни контроля, ни сравнения, и невозможно утверждать ничего определенного о связи экспериментальной переменной с эффектом. Вывод в данном случае основан на имплицитном предположении, какими могли бы быть данные, если бы не было экспериментальной переменной х. Нередко в качестве экспериментов такого рода рассматриваются крупные политические события (разгон парламента, политические выборы, революции и т. п.). Когда Лайфорд Эдварде связывал причину революции с моральной атакой публицистов на привилегии власть предержащих, он имел в виду некие глобальные исторические эксперименты, результатом которых явился политический переворот4.
Связь между «причиной» и «следствием» в лучшем случае обсуждается в риторических терминах, но никоим образом не контролируется, поэтому речь в данном случае идет не об эксперименте, а о квазиэксперименте. Ситуация, сложившаяся после «экспериментального» события, может быть объяснена множеством факторов, не связанных с экспериментальной переменной. Поэтому в социологии конкурируют разные в равной степени убедительные версии, но о внутренней валидности вывода судить невозможно. Внешняя валидность рассматриваемого плана также сомнительна. «Часто результаты таких исследований представляют собой унылое нагромождение конкретных деталей, скрупулезных наблюдений, измерений и т. п., причем точности в таких случаях добиваются не там, где надо», — пишет Дж. Кэмпбелл5. Никакое сравнение отдельно взятых факторов не может получить обоснованную теоретическую интерпретацию.
Несмотря на очевидную слабость такого рода, квазиэксперименты играют важную роль в социальных и поведенческих науках, особенно в тех областях, где взаимообусловленные признаки не обязательно являются независимой и зависимой переменными в строгом смысле. В социологии чаще изучается связь не между стимулом и реакцией, а между «качествами», одно из которых считается причиной, а другое — следствием. Когда исследуется связь социального статуса и политических установок, первое «качество» с полным основанием считается независимым. Однако в данном случае сложно судить о временной последовательности воздействия. Первое условие эксперимента здесь
4 Edwards L. The natural history of revolution. 2nd ed. Chicago: The University of Chicago Press, 1970.
5 Кэмпбелл Дж. Модели экспериментов в социальной психологии и прикладных исследованиях: Пер. с англ. / Сост. и общ. ред. М.И. Бобневой; Вступ. ст. Г.М. Андреевой. М.: Прогресс, 1980. С. 49.
204
соблюсти невозможно. Второе условие эксперимента также нарушено, поскольку в социологии переменные чаще всего не специфицированы и образуют синдромы. Например, классовая принадлежность означает и владение собственностью, и образование, и культурные приоритеты, и престиж. Такого рода синдромы, как правило, не поддаются разложению на единичные признаки и, следовательно, экспериментальной манипуляции. И, наконец, в естественных условиях невозможно выровнять экспериментальную и контрольную группы. Поэтому требования сравнения, манипулирования и контроля оказываются невыполнимыми для большей части социологических задач. Отсутствие экспериментального контроля может быть с успехом компенсировано философским теоретическим дискурсом. Например, пресловутый английский индивидуализм объяснялся Э. Канетти разрозненностью индивидов, окруженных морем и воображающих себя капитанами6.
При сравнении статистических групп основная трудность состоит в установлении тех, кто подвергся воздействию экспериментальной переменной. Собственно говоря, необходимо четко отделить контрольную группу от экспериментальной после того, как экспериментальная переменная уже «сработала» без участия со стороны экспериментатора. Этой схеме Ф. Чэпин дал наименование ex post facto. Он изучал влияние школьного обучения на жизненный успех и карьеру за период в десять лет7. Данные о карьере собирались методом интервью, а ситуация в школе устанавливалась из архивных источников. Чэпин обнаружил, что окончившие школу имели более высокие показатели жизненного успеха, чем те, кто не смог завершить обучение. Было также установлено, что естественная «контрольная» группа отличалась от «экспериментальной»: социальный статус родителей респондентов, окончивших школу, был выше, чем у «контрольных» респондентов. Спрашивается, не является ли успешное окончание школы, продвижение в статусе на протяжении последующих десяти лет следствиями «третьего» фактора, например родительской семьи и окружения? Чэпин выравнивал группы учеников по социальному статусу родителей и другим «стартовым» признакам, которые могли повлиять на жизненный успех и карьеру. Массив разделялся только по признаку окончания / не окончания школы. Выравнивание, осуществленное Чэпином, не считается вполне корректным: для тех,
6Канетти Э. Народы и символы // Новое время. 1991. № 32. С.41 — 43.
7 Сhapin F.S. Experimental design in sociological research. New York: Harper, 1955. P. 99-124.
205
кто окончил школу, может быть много иных объяснений жизненного успеха, чем социальный статус родителей.
Квазиэкспериментальные исследования и статистическая обработка данных позволяют достаточно надежно проверять гипотезы о взаимосвязях. Например, для проверки гипотезы о влиянии стабильности родительской семьи на стабильность семьи второго поколения весь массив наблюдений делится на две группы: респондентов, у которых родительская семья распалась, и тех, у которых она не распалась (промежуточными формами в данном случае можно пренебречь). Если в первой группе число разводов оказывается существенно выше, чем во второй, гипотеза не отвергается. Разумеется, утверждать о причинной связи этих признаков оснований мало, хотя такая связь не исключается. Более строгий контроль взаимодействия переменных обеспечивается методами многомерного анализа, которые позволяют выявить связь переменных в «чистом» виде, без посторонних влияний.
Сочетание квазиэкспериментальных планов с достаточно большим числом наблюдений значительно увеличивает как внутреннюю, так и внешнюю валидность вывода. В социологических исследованиях может эффективно применяться квазиэкспериментальный план временных серий. Он основан на введении экспериментального фактора после длительных наблюдений за динамикой переменной и установления тренда.

Изменение временного ряда после экспериментального воздействия свидетельствует о том, что причиной изменения, скорее всего, является х. Например, если производительность труда, достаточно долго сохранявшаяся на стабильном уровне, изменилась после оборудования рабочих мест более сильным освещением, можно полагать, что освещение повлияло на производительность труда. Рискованность такого вывода была продемонстрирована экспериментами в Хоуторне.
Квазиэкспериментальный план наблюдения одной и той же группы респондентов на протяжении длительного времени получил в социологических исследованиях наименование панели. Впервые панель была использована П. Лазарсфельдом, Б. Берельсоном и X. Годе для изучения установок избирателей на президентских выборах. В 1940 г. в небольшом американском городке Эри Коунти (штат Огайо) исследователи сформировали панель из 600 человек и опрашивали их ежемесячно с мая по ноябрь, чтобы установить изменение электоральных предпочтений. Кроме панели, интервьюировались три рандоми
206
зированных контрольных группы по 600 человек каждая8. В отличие от панели, которая опрашивалась ежемесячно, контрольные группы опрашивались по одному или по два раза9. Реактивный эффект панели контролировался в соответствии со схемой контрольных опросов (табл. 6.2).
Таблица 6.2
Схема интервьюирования контрольных групп в исследовании П. Лазарсфельда, Б. Берельсона и X. Годе,Эри Коунти, 1940 г.
Последовательность интервью
Контрольные группы А ВС
Экспериментальная группа
Первое — май
+ + +
+
Второе — июнь

+
Третье — июль
+
+
Четвертое — август
+
+
Пятое — сентябрь

+
Шестое — октябрь
+
+
Седьмое — ноябрь


Изначально предполагалось, что панель создаст повышенную заинтересованность респондентов в интервью, в том числе будет способствовать повышению информированности и форсирует выбор позиции относительно предстоящего голосования в условиях возможной неопределенности. Эти гипотезы были тщательно проверены. Результаты опроса показали, что реактивный эффект панели практически не влияет на динамику предпочтений (табл. 6.3).

8 Lazarsfeld P., Berelson В., Gaudet H. The people choice: How the voter makes up his mind in a presidential campaign. 3rd ed. New York: Columbia University Press, 1968. 9 Ibid. P. XIII.
207
Таблица 6.3
Реактивный эффект панельного интервьюирования в исследовании П. Лазарсфельда, Б. Берельсона и X. Годе, Эри Коунти, 1940 г., %
Динамики интереса к выборам
Четвертая серия интервью
Шестая серия интервью
Панель 4
Контрольная группа В
Панель 6
Контрольная группа С
Повысился
22
22
34
28
Остался на том же уровне
66
66
58
60
Понизился
12
12
8
12
Всего
100
100
100
100
Две первые колонки показывают, что значения контрольной группы В и панели полностью совпадают, хотя в панели проведено уже четвертое интервью. Когда панель интервьюировалась шестой раз, а контрольная группа С — второй, общий уровень интереса повысился, причем в панели повышение более заметно, чем в контрольной группе. Таким образом, существенного влияния повторного интервьюирования на динамику ответов не установлено.
Многократно повторяющиеся опросы одних и тех же респондентов проводились П. Лазарсфельдом, Б. Берельсоном и У. Макфи в 1948 г. В этот раз панель велась в городке Эльмира неподалеку от границы, отделяющей штаты Нью-Йорк и Пенсильвания. Панель включала уже тысячу человек, а опросы проводились с июня по ноябрь 1948 г.10.
При работе с панелью особую трудность представляет сохранение состава группы. Как правило, панель комплектуется из респондентов, проявивших заинтересованность в опросе. Это само по себе несет угрозу внутренней и внешней валидности, а с течением времени у многих респондентов первоначальный энтузиазм сменяется разочаро
10 Berelson В., Lazarsfeld P., McPhee W. Voting: A study of opinion formation in a presidential campaign. Chicago: The University of Chicago Press, 1954.
208
ванием. Отсев панели распределяется не равновероятно. Более высокие шансы на продолжение сотрудничества имеют те, кто хочет участвовать в массовом опросе. Что касается естественного отсева, обусловленного переменой места жительства, то и здесь содержится угроза валидности вывода. Данный фактор риска затрагивает преимущественно респондентов молодого возраста. Наконец, само панельное обследование обладает некоторым реактивным эффектом.
Результаты Лазарсфельда и соавторов не следует распространять на широкий круг переменных. Ясно, что респонденты, знающие, что находятся под наблюдением, могут значительно отличаться от «нормальных» людей. В «острых» вопросах, затрагивающих, например, криминогенные обстоятельства, панель обретает мощный «воспитательный» потенциал. Статистические органы России и других стран постоянно ведут наблюдения за бюджетом одних и тех же семей с целью учета динамики благосостояния. Даже если в этих семьях и не опасаются сообщать о своих доходах, сам факт тщательной регистрации доходов и расходов отличает бюджетную панель от генеральной совокупности. Внешняя валидность данных становится сомнительной. Да и в обычных случаях панель создает повышенный риск. Скажем, респонденты могут демонстрировать устойчивые оценки и мнения, хотя на самом деле они думают совсем иначе — кому хочется показаться неверным своему слову? Все эти аргументы не означают методической слабости панельных опросов. Данные панелей оцениваются исключительно высоко.
В отличие от панели в трендовом квазиэкспериментальном плане формируются эквивалентные выборки, имеющие различающийся состав респондентов. Единственное требование к ним — репрезентативность относительно одной и той же генеральной совокупности. Трендовые обследования часто проводятся статистическими органами и службами общественного мнения. Если влияние экспериментальной переменной не контролируется, задача сводится к совокупности последовательных опросов по плану «исследования случая». Но если требуется проверить гипотезу о взаимосвязи, необходимо учитывать почти все факторы риска, за исключением отсева группы.
Трендовые наблюдения относятся к типу «естественных экспериментов», и независимая переменная выбирается в качестве критерия выделения подмассивов. Например, можно выделить людей с высшим образованием и показать, что процент разводов в этой группе на протяжении длительного времени остается более высоким, чем в группе лиц со средним образованием. Однако связь этих переменных не контролируется и, следовательно, сомнительна с точки зрения внутренней валидности. С другой стороны, соотношение
209
14-365
между образованием и вероятностью развода обладает высокой внешней валидностью.
Вообще социологические исследования оставляют желать лучшего с точки зрения внутренней валидности, зато их результаты могут быть распространены на обширный класс событий. Правда, остается неясным, стоит ли обобщать столь сомнительные зависимости, которые устанавливаются в квазиэкспериментальных планах. «Чистые» лабораторные эксперименты характеризуются высокой внутренней валидностью, а их внешняя валидность не поддается оцениванию. В равной степени сомнительны выводы, высокая валидность которых ограничена трудновоспроизводимыми лабораторными условиями. В таких случаях вступает в дело атеоретичный критерий оригинальности и правдоподобия вывода.
В середине 1950-х гг. Соломон Аш изучал условия, при которых индивид принимает либо отвергает групповое давление, когда оно противоречит фактам11. Группа из шести-девяти человек (мужчины, студенты колледжа, 17 — 25 лет) получала задание на проверку визуального распознавания длины нарисованных на карточках отрезков. Такова была «легенда» эксперимента. Предъявлялась карточка с изображением отрезка прямой линии — стандарт, который надо было сравнить с тремя другими отрезками разной длины. Один из них был равен стандарту, два другие — отличались. Производилось 18 проб, в которых испытуемые открыто высказывали оценки длины отрезков. Говорили по очереди. Один из них — объект реального экспериментирования — всегда отвечал последним или предпоследним и испытывал давление групповой оценки — изначально ложной. Таким образом, создавалась ситуация конфликта между группой и индивидом. В итоге было установлено, что групповая заведомо ложная позиция снижает число правильных ответов до 50 — 70% (рис. 6.1).
Трудно представить, чтобы в «реальном мире» происходил конфликт по поводу длины нарисованных на бумаге отрезков. Однако в данном случае действует умозаключение по аналогии: если в очевидных случаях каждый третий принимает заведомо ложную групповую позицию, то какова мера конформизма в идеологии, морали, правосудии и других неочевидных, но значимых вопросах?
План с эквивалентными выборками заключается в изучении прецедентов, когда применяется экспериментальная переменная, и сравне
11Asch S. Studies of Independence and conformity: 1. A minority of one against a unanonimous majority// Psychological Monographs: General and Applied. Vol. 70. No. 9. 1956. P. 11.
210

Рис. 6.1. Количество правильных оценок в условиях группового давления значительно ниже, чем в контрольной группе, эксперимент Соломона Аша
нии их с ситуациями, когда она не применяется. Например, В. Керр изучал таким образом влияние музыки на производительность труда: он сравнил 56 «музыкальных» рабочих дней с 51 днем «немузыкальным». Факторы риска, снижающие внутреннюю валидность, особенно реактивный эффект, присущи этому квазиэкспериментальному плану в полной мере. Вполне возможно, что в «музыкальные» дни работники старались проявить себя с лучшей стороны.
Экспериментирование на одном объекте с предварительным и итоговым замерами. План данного эксперимента заключается в осуществлении замера до применения экспериментальной переменной х и после этого. Полученное различие, как предполагается, — следствие х.

211
Часто такой вывод воспринимается как вполне правдоподобный, если известно, что за время между предварительным и итоговым замерами ничего существенного не произошло. В данном случае речь идет о влиянии на внутреннюю валидность факторов исторического фона, естественного развития («матурации») и особенно эффекта тестирования. Исследования показывают, что при тестировании интеллекта и контрольных проверках знаний результаты итогового замера выше, чем результаты предварительного. При исследовании предрассудков предъявление суждений, выражающих враждебность, изменяет установки испытуемых в сторону большей враждебности.
Значительные искажения в эксперимент такого типа вносит реактивность респондентов. Результат наблюдения часто возникает под влиянием самого исследования. Журналисты хорошо знают, что интервью с записью на диктофон значительно отличается от нормального разговора. Появление интервьюера с бланком опроса на сельской улице приводит население в состояние тревоги. Рецепт здесь прост: наблюдение должно иметь по возможности характер пассивной регистрации.
Сравнение нерандомизированных, экспериментальной и контрольной групп. В соответствии со схемой Милля предполагается, что при прочих равных условиях группа, испытавшая воздействие переменной х, обнаружит определенный признак О1, а группа, не испытавшая такого воздействия, обнаружит признак О2. Отсюда следует, что х есть причина O1. Схему можно записать следующим образом:

<< Предыдущая

стр. 8
(из 10 стр.)

ОГЛАВЛЕНИЕ

Следующая >>