Глава 3. ЭКСПЕРИМЕНТЫ, КОТОРЫЕ “УЛУЧШАЮТ” РЕАЛЬНЫЙ МИР

Роберт Готтсданкер: Основы Психологического Эксперимента

По какой причине высококвалифицированный летчик разбивает торговый реактивный самолет во время обычной посадки в аэропорту спокойной ясной ночью? Такой вопрос задали себе два психолога-экспериментатора Конрад Крафт и Чарльз Элворт (1969) вместе с компанией “Боинг”. При этом они имели в виду не единственную аварию. Как это ни удивительно, но почти каждый пятый несчастный случай в авиации происходит “во время безопасных на первый взгляд ночных посадок, выполняемых с помощью визуального контроля” (с. 2).

Для того чтобы квалифицированно ответить на этот вопрос — и тем самым положить начало практическому решению проблемы, — Крафт и Элворт проанализировали статистику несчастных случаев во время ночных посадок. И им удалось найти ключ к разгадке: по большей части это случается в аэропортах, расположенных несколько ниже по сравнению с близлежащими городами. Примером может служить аэропорт, расположенный на берегу большого озера. Самолет заходит на посадку над водой и приземляется в аэропорту, который лишь немного выше ее уровня. Уровень же, на котором расположен город, постепенно поднимается за аэродромом.

Исследователи выдвинули такую экспериментальную гипотезу. Способ визуальной ориентации, которым пользуется пилот при посадке, позволяет ему вести самолет по нужной траектории только тогда, когда город и аэропорт расположены на одном уровне. Если же город расположен выше, то фактическая траектория посадки оказывается слишком низкой.

Такую гипотезу можно проверить экспериментально. Для этого пилоту нужно сажать самолет в двух разных аэропортах: один из них должен быть расположен на одном уровне с городом, а другой—немного ниже. Однако такой эксперимент, дублирующий реальный мир, 95не будет удовлетворительной проверкой гипотезы. Основная причина этого — слишком большое количество факторов, не связанных с наклоном земной поверхности, которые трудно устранить. Две реальные ситуации могут различаться по расположению наземных огней, условиям видимости, силе воздушного потока и т. п. Кроме того, подобный эксперимент опасен для пилота. Не исключено поэтому, что в целях собственной безопасности пилот не ограничится только зрительным наблюдением, а будет ориентироваться и по показаниям приборов. Это же, в свою очередь, также понизит надежность результатов эксперимента. Ведь исследователи хотят узнать, как будет совершать посадку пилот, пользуясь только визуальной информацией — наземными огнями,. которые расположены либо на горизонтальной поверхности, либо идущей в гору.

Таким образом, эксперимент, дублирующий реальный мир, в данном случае неприменим. Необходим эксперимент, который бы “улучшал” этот мир (разумеется, в исследовательских целях). Особая экспериментальная ситуация позволила бы исследователю достичь единообразия в расположении наземных огней, условиях видимости и силе воздушного потока, а также устранить возможность использования высотомера, не подвергая пилота опасности. Именно такой эксперимент провели Крафт и Элворт. Это первый из трех экспериментов, которые мы опишем в настоящей главе. В каждом из них та реальная ситуация, на которую распространяются экспериментальные результаты, определенным образом “улучшается”.

Такие эксперименты можно назвать искусственными. Они проводятся в том случае, когда простое воспроизведение реальной ситуации не позволяет сделать эксперимент внутренне валидным. Однако возникает вопрос: можно ли применять результаты такого эксперимента к реальности? Какие гарантии имелись у Крафта и Элворта, чтобы считать свои лабораторные наблюдения полностью соответствующими реальным событиям во время посадки самолета в аэропорту? Таким образом, на первый план выступает проблема внешней валидности. В первых экспериментах, обсуждаемых в нашей книге, она почти не затрагивалась, поскольку те эксперименты просто дублировали реальный мир. Теперь, когда для достижения высокой внутренней валидности эксперимента реальность нужно улучшить, оказывается под сомнением его внешняя валидность. В одном мы выигрываем, в другом—теряем.

Пока вы вряд ли имеете возможность проводить эксперименты, в которых улучшается реальный мир. Но, изучая их, вы познакомитесь с новыми проблемами, которые не возникают в экспериментах первого типа, и научитесь планировать искусственные эксперименты, обладающие внешней валидностью.

Вопросы, на которые вы должны суметь ответить, прочитав эту главу:

1. При каких обстоятельствах возникает необходимость в эксперименте, который улучшает, а не дублирует реальный мир?

2. Как можно повысить внутреннюю валидность, сделав выбор в пользу эксперимента, улучшающего реальный мир?

3. Каковы проблемы репрезентативности по отношению к внешней валидности?

4. В какой мере нужно воспроизводить реальность в искусственном эксперименте?

Экспериментальная гипотеза

Чтобы понять основания экспериментальной гипотезы, выдвинутой Крафтом и Элвортом, нам нужно разобраться, каким образом пилот заходит на посадку в ночных условиях, руководствуясь зрительным восприятием наземных огней.

Сама посадка состоит в следующем. Сначала пилот должен довольно круто снизиться, а затем продолжать снижаться постепенно, уменьшая угол приземления до тех пор, пока самолет не окажется летящим параллельно земле (над взлетно-посадочной полосой). Всего этого можно достичь в том случае, если самолет будет снижаться по окружности большого радиуса, т. е. находясь как бы на конце маятника, подвешенного высоко в небе. Именно такую посадочную траекторию вы видите на рис. 3.1. Изображенный ее отрезок начинается примерно за 10 миль до аэропорта (немногим более 50000 футов), когда самолет находится на высоте 5000 футов.

Каким же образом пилот может придерживаться этой траектории, пользуясь наличной визуальной информацией? Среди огней близлежащего города он выбирает и фиксирует взглядом пару световых точек, расположенных вдоль линии полета. Одна точка находится довольно близко, другая—далеко. В поле зрения пилота дальняя точка будет выше ближней. Чтобы убедиться в этом, переведите взгляд с предмета, лежащего у ваших ног, на какой-нибудь дальний предмет. Заметьте, что для этого вам придется немного приподнять голову. Если во время посадки летчик будет видеть, что расстояние между ближней и дальней световыми точками по вертикали примерно одно и то же, то самолет будет следовать по указанной траектории. Этот прием называют “зрительным полетом”.

Все это можно изложить иначе. Пилот совершает посадку таким образом, что угол его зрения между двумя точками остается постоянным. Для определения этого угла нужно провести прямые линии от ближней и дальней точек до глаза летчика. Угол между двумя полученными отрезками и будет углом зрения. Если в поле зрения пилота расстояние между двумя точками по вертикали остается неизменным, то угол зрения тоже будет одним и тем же по всей траектории посадки.

В верхней части рис. 3.1, представляющей посадку над горизонтальной территорией, показано, что когда летчик летит по требуемой траектории, угол зрения действительно не изменяется. Небольшой угол, видимый из начального положения 1 и показанный в (а),—это тот же самый угол, что показан в (б), из положения 2, просто он несколько дальше по траектории. Из этих двух точек, так же как и из всех других точек траектории, расстояние между ближней и дальней световыми точками в поле зрения летчика будет выглядеть одинаковым.

Однако этот прием гарантирует нормальное приземление только в том случае, если выбранные световые точки расположены на горизонтальной поверхности. В нижней части рис. 3.1 изображена посадочная траектория, когда пилот ориентируется по наземным огням города, который расположен немного выше по сравнению с аэропортом. Угол зрения между ближней и дальней точками, показанный в (а) из положения 1 траектории, является здесь тем же самым, что и для посадки на горизонтальную территорию. Не изменяется он и в положении 2, как показано в (б). Однако это положение уже гораздо ближе к земле. Если летчик будет продолжать пользоваться приемом “зрительного полета”, то самолет потерпит аварию, не достигнув аэропорта. Летчик окажется жертвой оптической иллюзии. Он всегда воспринимает оба наземных огня как лежащие на горизонтальной плоскости. Пунктирная линия в нижней части рис. 3.1—вот как представляет себе летчик ту территорию, над которой совершает, посадку. Легко убедиться, что она значительно ниже реального уровня земли.

На бумаге данная гипотеза выглядит довольно убедительно. Посмотрим теперь, каким образом Крафт и Элворт проверили ее на практике.

Эксперимент

Тренажер. Для проведения эксперимента Крафт и Элворт использовали специальное устройство — тренажер. Это устройство имитирует кабину самолета, оборудованную всем необходимым. В кабине расположены кресла для первого и второго пилотов, все ручки и рычаги для обычного управления самолетом, панель с набором шкал и индикаторов, а также—на ветровом стекле—вид города и аэропорта. Когда пилот “ведет” тренажер, изменения в предъявляемом ему зрительном обзоре точно такие же, какие он мог бы наблюдать в реальном полете. В принципе пилот может совершать посадку, пользуясь либо только зрительными наблюдениями за землей, либо только шкалами, либо тем и другим вместе. В обсуждаемом эксперименте пилоту предъявлялась визуальная информация, а шкала, показывающая высоту полета, высотомер, ему не давалась. На рис. (фото) 3.2 (а) показан экипаж, который управляет тренажером, наблюдая за наземными огнями. На. рис. 3.2 (б) изображен вид сверху на аэропорт и город. В эксперименте это изображение было еще более реалистичным — множество цветных сверкающих огней. Как вы наверное догадались, устройство такого тренажера довольно сложно и включает в себя компьютер. В дополнение к уже описанным функциям тренажер позволяет осуществлять запись управляющих движений пилота, а также все изменения в показаниях шкальных приборов. В исследовательских целях проводилась также постоянная запись показаний высотомера, который от пилота был скрыт.

Методика

Задача.Пилоту нужно посадить самолет в “аэропорту”, двигаясь по правильной траектории, в условиях, показанных на рис. 3.2. “Город” предъявляется ему либо как расположенный на одной плоскости, либо приподнятый по сравнению с аэропортом под углом 3°. (Это такой же подъем, какой был показан в нижней части рис. 3.1.)

Конкретный способ выполнения этой задачи пилот выбирал сам, но должен был стараться лететь со скоростью 180 миль в час на высоте 5000 футов за 10 миль до аэропорта и со скоростью 120 миль в час—на высоте 1250 футов за 4,5 мили от него. (На рис. 3.1 эти положения траектории полета обозначены цифрами I и II.) Напоминаем, что пилот пользовался только зрительной информацией, предъявляемой через ветровое стекло; высотомера у него не было, и он не мог точно определить, как высоко находится над землей.

Помимо объективной регистрации “истинной” высоты полета эта высота периодически оценивалась самим пилотом. Оценки записывались на магнитофон. Чтобы приблизить ситуацию эксперимента к условиям реального полета, пилота просили также определять местоположение еще одного самолета, находящегося в поле его зрения, и периодически сообщать о нем “на землю”.

Результаты

На рис. 3.3 изображены средние траектории посадки по данным 12 пилотов, принявших участие в эксперименте. Для более ясного представления полученных различий шкала высоты несколько расширена. Легко убедиться в том, что траектории посадки на горизонтальную поверхность во многом напоминают предсказанную на рис. 3.1 (верхняя часть), когда пилот пользуется приемом “зрительного полета” по двум подходящим световым точкам. Если поверхность поднимается (от аэропорта к городу) на 3°, траектория движения самолета также подобна предсказанной на рис. 3.1 (нижняя часть). Правда, она не такая крутая, и самолет не “разбивается”. На рис. 3.3 приведены субъективные оценки высоты полета. Можно видеть, что даже при посадке на горизонтальную поверхность наблюдается тенденция переоценивать высоту. Пилоту кажется, что самолет летит выше, чем на самом деле. Если город расположен выше аэродрома, это преувеличение становится очень существенным. Заметьте, что за 10 миль до аэропорта пилотам кажется, что они находятся на высоте почти 4000 футов, хотя фактически эта высота составляет менее 2000 футов!

Обсуждение и выводы. Общее предположение подтвердилось: расположен ли город на одном уровне с аэропортом или немного выше, летчик совершает посадку примерно по одной и той же траектории. Подобно другим оптическим иллюзиям, описанный эффект нельзя устранить даже с помощью специальных инструкций. “Пилоты практически всегда воспринимают наземные огни города и аэропорта как лежащие на горизонтальной поверхности, хотя реально они могут находиться на разных уровнях” (с. 4). Поскольку данную иллюзию нельзя преодолеть, летчику не стоит полагаться на “зрительный полет”, а нужно следить за показаниями высотомера.

Предположим, что Крафт и Элиорт решили провести свой эксперимент нс па тренажере, а просто дублируя реальный мир. Для того чтобы сравнить ночные посадки самолета в условиях зрительного наблюдения, они прежде всего выбрали бы два аэропорта, различных по относительному подъему находящихся рядом городов. Конечно, они постарались бы, насколько это возможно, добиться постоянства всех дополнительных факторов. Они попытались бы подобрать похожие поверхности, будь то вода или земля, над которыми будут совершать посадку самолеты. Они постарались бы найти города, примерно равные по площади, с похожим расположением огней, уравнять условия видимости и т. п. И в конце концов они, наверное, убедились бы, что найти два аэропорта, полностью подобных по всем указанным параметрам, просто невозможно. И это действительно так. Ведь даже если бы они подобрали два таких аэропорта, все равно в ходе испытаний возникли бы новые различия. Нельзя рассчитывать на то, что количество воздушного транспорта, характер инструкций с контрольной вышки и т. д. всегда будут одними и теми же.

Таким образом, эксперимент, дублирующий реальный мир, очень далек от идеального эксперимента. Даже там, где в обоих аэропортах все побочные переменные в принципе одинаковы, они никогда не будут такими же идентичными, как на тренажере, “улучшающем” реальный мир. Поэтому при проведении эксперимента в реальных аэропортах исследователи не могут быть уверены в том, что различие в траекториях посадки объясняется лишь изменением наклона поверхности.

Побочные факторы могут помещать влиянию основной независимой переменной, могут даже полностью определить найденные различия. Другими словами, эксперимент, который дублирует реальный мир, в данном случае не обладает достаточной внутренней валидностью, поскольку не исключает систематического смешения независимой переменной (угла наклона) с различными побочными факторами.

Теперь мы можем сформулировать одно из оснований для проведения эксперимента, “улучшающего” реальный мир. Он необходим тогда, когда эксперимент, дублирующий реальность, не может достичь высокой внутренней валидности из-за систематического вмешательства побочных переменных. В описанном эксперименте исследователям удалось избежать этого посредством искусственной стабилизации последних.

Сейчас мы обсудим еще два эксперимента, в которых показаны другие преимущества искусственного эксперимента, повышающие его внутреннюю валидность. Эти эксперименты тоже являются убедительными примерами соответствующих способов улучшения. Процесс планирования каждого из них мы опишем более детально, чтобы понять, почему исследователь решил провести именно искусственный эксперимент. В отличие от эксперимента с ночными посадками самолетов они имеют значительно меньшее техническое оснащение и могли бы быть легко проделаны вами.

Когда корабль терпит крушение и подает сигнал бедствия, нужно сделать все возможное для спасения людей — найти их и привезти на берег. Этим занимается специальная служба Береговой Охраны. В зависимости от обстоятельств в спасательных операциях используются небольшие катера, самолеты-амфибии или вертолеты, а иногда и все вместе. Правда, в большинстве случаев для поиска оставшихся в живых после крушения не нужны слишком утонченные средства вроде радара или сонара. Чтобы суметь заметить проблеск чего-то плавающего, сами спасатели должны видеть поверхность воды. А теперь давайте представим себе следующий диалог между членами экипажа Береговой Охраны в Санто Томас, происходящий во время уборки палубы патрульного катера БО-99999.

Хоки: Что ты думаешь дорогая, о приближающихся тренировках?

Дион: Одно слово—рутина. Уже который год мы пользуемся одним и тем же старьем. Я вовсе не уверена, что наши средства вполне подходят для поиска.

Хоки: О чем это ты?

Дион: Да взять хотя бы эти бинокли 7х50. По мне, так лучше смотреть просто так, а их все выкинуть за борт.

Хоки: Ты преувеличиваешь.

Дион: Да ты его надень. Во-первых, через это чудовище моря-то увидишь — всего ничего. Пока хорошо просмотришь хотя бы квадратную милю, пройдет целая вечность. Во-вторых, при бортовой да килевой качке нашего катера, да его непрерывных виляниях одно и то же место удержишь разве что на миг. В-третьих, определить, как далеко находится это место, и не надейся, хоть застрелись — ведь вода то поднимается, то опускается. В-четвертых, достаточно немного в него посмотреть, как глаза у тебя уже лезут на лоб. И наконец, весит он целую тонну.

Хоки: Ха! Вот что бывает, когда слабый пол допускают к мужским занятиям. Ну ладно, а как быть с теми отличными старыми фильмами, где горизонт показывали через два больших смежных круга?

Дион: Береговая Охрана подчиняется транспортному министерству, и поэтому я воздержусь от каких-либо комментариев по этому вопросу. Слушай, а что если нам, вместо того чтобы тянуть лямку в бесконечных тренировках, не надоумить капитана Лауфтона провести специальную проверку: как лучше искать — с биноклями или без них?

Хоки: А помнишь, как жестоко посмеялся капитан над Белделлом, когда тот предложил тренировать для поиска дельфинов?

Дион: Не беспокойся, я сумею его так обработать, что он подумает, будто все это пришло в голову ему самому.

Хоки: Я тебе верю.

Дион: Вот что нам нужно сделать. Во-первых, каждый из нас должен провести поиск с биноклем и без него. Это будет несложно: нам понадобится всего один бинокль. Во-вторых, нам нужно набросать в воду много муляжей, причем потом немного подождать, чтобы никакая случайность не помогла нам их заметить. В-третьих, нам нужны муляжи разной величины, напоминающие по размеру плоты и людей. В-четвертых, мы должны проводить проверку в разное время дня, в разных погодных условиях и при различных расстояниях до муляжей. В-пятых ...

Хоки: И не надоест тебе все это перечислять! Ну хорошо, а из чего будут муляжи?

Дион: Это я сделаю! Плоты будут из старых надувных матрасов, а люди—из кусочков пенопласта.

Хоки (воодушевляясь): Точно, вместо людей — кусочки розового пенопласта.

Дион: И коричневые тоже.

Хоки (сглатывая слюну): А если этих муляжей будет много, как мы определим, что не потеряли их из виду?

Дион: Гм... Их будут опускать с вертолета через определенные промежутки времени. На это время нам будут завязывать глаза. Как только мы заметим какой-нибудь из них, парни на контроле поймают или загарпунят его. А потом посмотрим, кто из нас работал лучше.

Хоки: А что будет с катером?

Дион: Он будет двигаться по замкнутому кругу или по квадрату—это все равно. Важно только, чтобы рулевой не слишком удалялся от цели. А кто-нибудь на борту будет следить за спуском муляжа и затем отмечать его местонахождение приблизительно каждые полминуты. При обнаружении муляжа каждый из нас также должен отметить место, где он находится, и время.

Хоки: Ты говорила так долго и так быстро—как же мы все это запомним?

Дион: Запомним? Зачем запоминать?! Ведь любой проныра-инспектор захочет знать, почему мы отклонились от инструкции и имели ли право проводить свою проверку. Для этого весь экспериментальный материал мы изложим в особом вахтенном журнале. Я напишу оглавление, затем план эксперимента, потом проставлю страницы протокола—нам, кстати, нужно два журнала, чтобы ты тоже мог вести наблюдения—и все будет как полагается, вплоть до резюме.

Хоки: О, боже!

Но здесь мы прекратим этот маловероятный диалог и проанализируем план эксперимента.

Таблица 3.1

Схема эксперимента: поиск в спасательных операциях на море

(приведены четыре серии из восьми)

Условия:

Сравнивается успешность поиска с биноклем 7х50 и без него. Опыты будут проводиться в течение четырех дней в октябре 1977 года, по возможности — двух солнечных и двух ненастных. Условия наблюдения (2). Через бинокль 7х50 и невооруженным глазом. Испытуемый 1 (с биноклем, первая половина эксперимента).

Испытуемый 2 (с биноклем, вторая половина).

2. Погодные условия (2). Солнечно и ненастно.

3. Время дня (2). День (11.00—13.00) и вечер (16.00—18.00).

4. Размер муляжа (2). Большой и малый.

5. Расстояние до муляжа (3). 0,5; 1 и 4 мили.

План эксперимента

Поскольку сама идея и детали эксперимента уже указаны, в табл. 3.1 приведена лишь его формальная схема.

Сначала было намерение использовать четыре разных типа муляжей, опускать их по четырем секторам внутри траектории движения катера, проводить поиск в разное время, ну и, конечно, с помощью двух разных методов наблюдения. Но при подсчете оказалось: для того чтобы предъявить каждую из возможных комбинаций всех этих условий хотя бы по разу, потребовалось бы 192 опыта! Первоначальные планы экспериментов почти всегда бывают излишне грандиозны. Капитан Лауфтон признал этот план неосуществимым и сократил его. Точное местоположение спускаемого муляжа было признано несущественным — лишь бы он попадал внутрь траектории движения катера, по его правому борту. Начинающие экспериментаторы решили также обойтись только двумя типами муляжей и двумя разными погодными условиями.

Но даже при всех этих ограничениях пришлось опускать муляжи 48 раз. Было проведено восемь экспериментальных серий: в середине дня (высокое солнце) и в поздний полдень (низкое солнце) соответственно. В первые четыре серии (А—Г) биноклем пользовался Хоки, а Дион наблюдала невооруженным глазом, в последующие четыре (Д—3)—наоборот. В каждой серии испытуемым предъявлялось шесть муляжей разной величины.

Анализ результатов

Все экспериментальные данные содержатся в лабораторном дневнике. Результаты Хоки показаны в табл. 3.2. В самой верхней строчке таблицы сравнивается результативность работы Хоки с биноклем и без него при предъявлении больших муляжей на расстоянии 0,5 мили в солнечную погоду в середине дня. При использовании бинокля цель была обнаружена за 3 минуты, а без него — за 2,5. Эти, а также общие результаты в нижней части таблицы показывают, что наблюдение невооруженным глазом часто оказывалось более эффективным. На самом деле, в 15 случаях муляж был быстрее обнаружен невооруженным глазом и только в 4 — с биноклем. Благоприятствовали поиску с биноклем только такие факторы, как солнечная погода и большие расстояния.

Прим. к табл. 3,2:

а) с точностью до 0,5 минуты;

б) наблюдение за посторонним предметом (вероятно,акулой) 2,5 минуты:

в) отметка “—” означает, что муляж не был обнаруженв течение 15 минут;

г) невозможность поиска вследствие морской болезни.

Можно отметить некоторые детали. Как и следовало ожидать, в солнечную погоду поиск в целом проходил успешнее, чем в ненастную. Небольшое различие в результатах в пользу поиска во второй половине дня объясняется, вероятно, наличием ярких бликов при низком солнце.

Анализ результатов Дион также свидетельствует о преимуществе наблюдения невооруженным глазам, хотя различие оказалось не столь высоким: 14 и 8. Дион не смогла обнаружить только два муляжа. Стоит заметить, что хотя для проведения эксперимента хватило бы и одного испытуемого, было очень полезно привлечь двух. Факт меньшего различия между двумя условиями наблюдения по результатам Дион (по сравнению с результатами Хоки) говорит о том, что здесь во второй половине эксперимента работа шла лучше:либо легче было обнаруживать муляжи, либо испытуемый был более опытен. А если бы в опытах участвовал только Хоки, мы и не подозревали бы о возможности подобных объяснений различия результатов. Следовательно, хотя результаты исследования в целом и не распространяются на других люден, результаты одного испытуемого являются своего рода контролем для результатов другого.

Краткое изложение эксперимента

Сравнивались две стратегии поиска: с использованием бинокля 7x50 и без него (наблюдение невооруженным глазом). Эффективность этих стратегий оценивалась не во время обычных поисковых операций, а в специальной искусственной ситуации, где испытуемым в различных условиях предъявляли большое количество муляжей. Эксперимент проводился в течение четырех дней, по две серии в день при соответствующих погодных условиях. В нем приняли участие двое испытуемых. При наблюдении невооруженным глазом каждый из испытуемых справлялся с заданием лучше, чем при использовании бинокля. Результаты одного испытуемого служат контролем для результатов другого, и это позволяет утверждать, что найденное различие является надежным. Каждый из испытуемых имеет достаточные основания для проведения спасательных поисков без использования бинокля.

Давайте снова предположим, что исследователи решили провести эксперимент, не изменяя условий реальной жизни. Вот как они могли бы это сделать. В каждой спасательной операции один из испытуемых осуществлял бы поиск с помощью бинокля, а другой—наблюдая невооруженным глазом. В следующий раз они менялись бы местами и т. д. К сожалению для экспериментаторов (но к счастью для возможных жертв), подобные спасательные операции случаются не так уж часто. А поскольку для эксперимента необходимо 48 спасательных операций, то он занял бы не одну-две недели, а несколько лет. Весьма мало вероятно, что реальные условия, включая сюда и судно, и сам экипаж с его командиром, оставались бы в течение этого времени достаточно стабильными. Вполне возможно, что экспериментаторы вынуждены были бы ограничиться всего лишь несколькими пробами для поисков с биноклем и без него.Нечего и говорить, что здесь едва ли можно рассчитывать на постоянство таких побочных переменных, как размер и цвет цели, осведомленность испытуемого о месте ее появления, условия видимости, высота волн и т. п. В какой-то степени все эти факторы, конечно, усреднялись бы, поскольку поиск с биноклем и без него проводился бы во время одной и той же спасательной операции, однако такое усреднение было бы все же не очень эффективным. К тому же для каждого участника поиска влияние этих факторов было бы индивидуальным, зависящим от его собственного опыта.

Дело не только в том, что в эксперименте, проводимом в реальных условиях, оказалось бы меньше проб,— эти “пробы” не обеспечивали бы необходимой информации об успешности проведения поиска. В реальных спасательных операциях отдельный их участник часто вообще не обнаруживает какой-либо цели. Цель может быть найдена другим кораблем или экипажем вертолета или не найдена вовсе. Поэтому нельзя точно сказать, был поиск неудачным из-за менее эффективного способа наблюдения или из-за того, что в поле зрения испытуемого как с биноклем, так и без него цели просто не было.

В искусственном эксперименте гораздо большая часть факторов, влияющих на успешность поиска, поддается точному измерению. Поэтому искусственный эксперимент ближе к бесконечному эксперименту, чем тот, что проводится в условиях реальной жизни. Нужно еще разподчеркнуть, что в бесконечном эксперименте (если бы он мог быть проведен) усреднялись бы любые несистематические влияния, изменяющиеся во времени. Таким образом, описанное улучшение—один из способов повышения надежности эксперимента. По сравнению с экспериментом, дублирующим реальный мир, который мог бы включать лишь несколько проб, искусственный эксперимент дает большую уверенность в том, что результаты, полученные на одних 48 пробах, будут теми же, что и на 48 других.

Экспериментаторы старались проконтролировать и другие дополнительные переменные: время года, погодные условия, размер цели и расстояние до нее. Во всяком случае уровень каждого из этих факторов был достаточно постоянным для достижения внутренней валидности. Хотя совсем забывать об их влиянии, конечно, не следует.

Надежность эксперимента повышалась также благодаря возможности опускать муляжи в заданном временном режиме. Размеры муляжа тоже можно было изменять по желанию. Вот, правда, нужную погоду заказать нельзя (как в эксперименте с посадками самолета), но все же можно было проводить опыты с биноклем и без него в одинаковых погодных условиях, равно как и в одинаковое время дня. Мы видели, что экспериментаторы могли сравнивать эффективность наблюдения невооруженным глазом и с помощью бинокля при каждом конкретном наборе перечисленных условий. А если бы эксперимент проводился во время настоящих спасательных операций, такие тонкости и не могли бы обсуждаться. Необходимое количество проб каждого вида провести было бы просто невозможно.

Давайте рассмотрим другую возможную, но столь же малоправдоподобную ситуацию. Чарлз Аугустус Лендбург (известный своим друзьям под именем Лоун Сперроу) решил, наконец, приобрести небольшой собственный самолет. Он остановил свой выбор на марке “Скайрокет-23”, хотя все еще продолжает колебаться. На этом самолете установлен стандартный высотомер с обычным циферблатом и двумя стрелками, показанный на рис. 3.4 слева (а). За небольшую дополнительную плату (42,8 доллара) Чарлз может купить новый унифицированный высотомер моментального действия. На рис. 3.4 он изображен справа (б). Здесь сама шкала передвигается сверху вниз, а стрелка расположена на границе окошка. И хотя при выборе самолета и всего необходимого оборудования Чарлза, конечно, беспокоит его стоимость, данном случае—жизнь дороже денег. Как раз недавно он перечитал старую измятую газетную вырезку, которую хранил в своем бумажнике.

“Ибиза, Испания (ЮПИ). 1—7—72. В прошедшую пятницу иберийский реактивный самолет “Каравелла” врезался в самую высокую гору на этом средиземноморском курорте. Все 104 пассажира,находившиеся на борту, погибли.

По сообщению авиационной компании, на борту самолета, летевшего по маршруту Мадрид — Валенсия — Ибиза, находились б членов экипажа и 98 пассажиров, включая 6 детей. Иберийский представитель сообщил, ч-го среди пассажиров было также двое иностранцев — Джеффри Д. Дессак из Нью-Йорка и Дитер Фрикер из Дюссельдорфа (Германия).

Официальное испанские агентство новостей Кифра сообщило, что во время последнего cеанса радиосвязи пилот указал свои координаты над небольшим островом Балери из архипелага Каниллора в 12 милях от аэропорта Ибиза и попросил разрешения снизиться до 5500 футов.

“Готовьте пиво, мы уже здесь”, — цитирует аэропорт Ибиза последние слова капитана Джоуза Луиса Баллестера.Контрольная служба Дала Баллестеру (37 лет, 7000 полетных часов, отец шестерых детей) разрешение на спуск.

Как сообщает агентство новостей Кифра, самолет опустился гораздо ниже чем предполагал его экипаж. “Самолет не врезался в гору напрямую Передняя его часть была деформирована не так уж сильно по сравнению со средним и задним отсеками, разрушенными полностью. По всей вероятности, пилот увидел гору в самый последний момент пытался резко набрать высоту”. (Перепечатано с разрешения Юнайтед Стейтс Интернеишенл.)

Решение о типе эксперимента, который нужно провести

Лендбург посоветовался с друзьями, какой из двух высотомеров заслуживает большего доверия. Друзья разбирались в высотомерах по-разному, и единой точки зрения у них не было. Поэтому Чарлз предпочел провести короткий и надежный эксперимент. Сначала его план был довольно обширным. Он решил установить контакты с изготовителями и выяснить, есть ли у них тренажер. Если есть, то он смог бы “полетать” над воображаемой территорией по воображаемому курсу, используя каждую из двух шкал, и посмотреть, какая из них ему больше понравится. Но затем он подумал про себя так: “Скорее всего пилоту этого испанского самолета нравился тот высотомер, что был у него на борту. Нельзя ли поточнее узнать, насколько успешно я буду использовать оба эти высотомера”. Тогда ему пришло в голову, что наверное есть какой-то специальный прибор, который позволяет одновременно регистрировать как сами показания индикатора, так и ответы на них. Полной уверенности у Чарлза не было. Так или иначе, для начала он послал в компанию “Скайрокет” запрос о возможности использовать тренажер, который они, по его мнению, сконструировали. Однако фирма ответила ему, что она, конечно, очень польщена, но исследования по данной теме у них пока не финансируются.

Однако вскоре Чарлз сообразил, что в действительности он и не смог бы по-настоящему использовать данные, полученные на тренажере. И тогда его осенило. Он приготовил картонные макеты каждой шкалы и попросил фотографа сделать карточки с самыми разными их показаниями. Таким образом, он получил материал для проведения исследования с двумя высотомерами на самом себе.

Процедура эксперимента

Было использовано по 120 карточек с изображениями каждой шкалы. Набор показаний высоты на одной шкале был тем же, что и на другой. Лендбург перемешал карточки с обычной шкалой и разделил их на две пачки по 60 штук. Одну пачку он назвал набором А, другую — набором Д. Такие же пачки со шкалой нового высотомера составили наборы В и С. Буквы указывают порядок, в котором должно было проводиться снятие показаний. Для проведения эксперимента Чарлзу понадобились два магнитофона (или один двухдорожечный магнитофон). Он решил снимать показания каждые 5 секунд. Для этого он приготовил магнитофонную ленту, на которую через каждые 5 секунд (по секундомеру) он записывал сигналы “Внимание”. Во время эксперимента он подавал себе эти сигналы через наушники. Каждый раз, услышав сигнал “Внимание”, он смотрел на следующую карточку. Оценки считанных показаний он записывал на второй магнитофон. На экспериментальную серию с каждым набором карточек уходило 5 минут.

Анализ результатов

Первый способ анализа данных, который пришел в голову Чарлзу,— это составить список действительных показаний шкал и рядом с каждым из них написать данную им оценку высоты. Таким образом, можно определить величину ошибки в каждом ответе и затем вычислить среднюю ошибку для той и другой шкалы. Различие оказалось не слишком большим. Средняя ошибка для старой шкалы составила 12 футов, а для новой—8. Другой способ анализа показан на рис. 3.5. Каждой из оцениваемых высот соответствует отметка на горизонтальной оси. Здесь же показаны ошибки в ответах: положительные—при переоценке высоты и отрицательные—при ее недооценке. В представленных данных также нет значительного различия между шкалами, за одним исключением: по старой шкале высота в 5980 футов была принята за 6975 футов, т. е. ошибка составила почти 1000 футов! Если мы вернемся к рис. 3.4, то сможем понять, отчего происходит такая ошибка. При работе со старой шкалой были и другие ошибки, хотя и не такие грубые. На этом основании Чарлз решил заплатить лишние 42,8 доллара.

Краткое изложение эксперимента

Чарлзу Лендбургу нужно было решить, устанавливать ему на своем самолете новый унифицированный высотомер или нет. Для этого он придумал эксперимент и провел его на себе. Эксперимент состоял в считывании показаний высоты с фотографий шкал в установленном темпе. По величине средней ошибки различия между шкалами оказались небольшими. Однако при использовании традиционного высотомера Чарлз допускал гораздо более грубые ошибки. Иногда эти ошибки можно было объяснить, иногда — нет. Чарлз заключил, что летать с таким прибором небезопасно, и выбрал новый высотомер.

ТРЕТИЙ СПОСОБ УЛУЧШЕНИЯ РЕАЛЬНОСТИ:
ВЫСОКАЯ НАДЕЖНОСТЬ ЗА СЧЕТ СОКРАЩЕНИЯ НЕСИСТЕМАТИЧЕСКОЙ ИЗМЕНЧИВОСТИ

Предположим, что Лендбург получил возможность испытать каждый высотомер в реальном полете и решил провести эксперимент первого типа. Что ему пришлось бы для этого сделать? Просто совершить бы несколько полетов с разными высотомерами. Однако при этом оценить качество работы с высотомером было бы довольно трудно. Ведь Чарлзу нужно было бы не только считывать показания шкал, но и контролировать истинность этих показаний, оценивая высоту своего полета визуально, наблюдая территорию, над которой он летал. Положим, ему удалось бы одновременно делать и то и другое. Пусть очень грубо, но он все-таки смог бы определять высоту полета, например по высоте гор, подлетая к ним достаточно близко, причем высоту пришлось бы изменять довольно часто (и терять на этом горючее). Могло случиться и так, что Чарлз, подобно испанскому пилоту, допустил бы очень серьезную ошибку. Даже если бы число проб в таком полете было бы столь же большим, как в искусственном эксперименте, они дали бы гораздо менее надежные результаты. Оценки высоты зависели бы от таких побочных переменных, как особенность восприятия территории (вспомним эксперимент с ночными посадками), степень сосредоточенности и, наконец, просто умение вести самолет на нужной высоте. Несистематическая изменчивость в поведении испытуемого, а следовательно, и разброс экспериментальных данных были бы очень большими. И если бы эксперименты не продолжались в течение долгого времени, то результаты одного эксперимента явно не совпали бы с результатами другого.

Напротив, искусственный эксперимент, который провел Чарлз, требовал вполне ясных ответов, которые полностью определялись считыванием показаний высотомера. Ошибки в этих ответах можно вычислить совершенно точно. Оценки работы испытуемого в одном эксперименте будут близки к тем, которые могут быть получены в другом эксперименте, проведенном при тех же условиях. Благодаря сокращению несистематической изменчивости этих оценок искусственный эксперимент достигает более высокой надежности по сравнению с экспериментом, дублирующим реальность.

Повторим, что надежность эксперимента можно повысить двумя путями. В эксперименте с поиском эта цель достигалась с помощью увеличения числа проб. В исследовании с высотомерами надежность была повышена благодаря сокращению несистематической изменчивости. Внутреннюю валидность эксперимента можно улучшить, не только повышая надежность, но и устраняя систематическое смешение: это было показано в эксперименте с ночными посадками самолета.

НЕСКОЛЬКО СПОСОБОВ СРАЗУ

В каждом из трех описанных экспериментов внутренняя валидность повышалась главным образом за счет одного из перечисленных способов улучшения реального мира. Но до известной степени в этих экспериментах были реализованы и другие такие способы.

В эксперименте с ночными посадками не только устранялось систематическое смешение. Помимо этого пилоту за короткое время предъявляли довольно много проб, и его работу можно было оценить более точно, чем в реальных полетах.

В эксперименте с поиском было не просто больше проб, чем могло быть в реальных спасательных операциях, но и сокращалась несистематическая изменчивость в поведении испытуемых. Это было достигнуто, во-первых, обеспечением лучшего способа оценки их работы — фиксацией момента спуска муляжа. Во-вторых, пробы с использованием бинокля и без него были уравнены по погодным условиям, времени дня, размеру муляжа и расстоянию до него.

В исследовании с высотомерами сокращение несистематической изменчивости достигалось не только за счет большей точности в оценке работы испытуемого, но и благодаря возможности провести достаточное количество замеров за более короткое время, чем в реальном полете. Более того, поскольку в эксперименте, дублирующем реальность, можно было бы совершить лишь небольшое число полетов, то воздействия независимой переменной (тип шкалы высотомера) неизбежно смешивались бы с побочными факторами (такими, как сила ветра, характер территории, количество воздушного транспорта). В искусственном эксперименте это смешение полностью устранено.

Таким образом, в каждом из трех наших экспериментов, улучшающих реальный мир, применяются все три возможных способа повышения внутренней валидности.

ВНЕШНЯЯ ВАЛИДНОСТЬ:
ВОПРОСЫ СООТВЕТСТВИЯ

Хорошим новшествам нередко сопутствуют новые проблемы. Искусственные эксперименты, разумеется, более удачны, чем те, в которых реальный мир просто дублируется. Сама реальность здесь “улучшена”, и это очень хорошо. Но адекватны ли такие эксперименты? Можем ли мы применять полученные результаты для решения тех реальных проблем, которые, собственно, и давали начало нашим экспериментам. Если ответ отрицательный, то это плохо. Платой за повышение внутренней валидности будет потеря валидности внешней.

Сейчас мы рассмотрим вопросы соответствия искусственных, экспериментальных ситуаций их реальным прототипам для всех трех описанных экспериментов. Вы увидите, что иногда (но не во всех случаях) они имели удовлетворительное решение. Мы последовательно обсудим каждую из составляющих экспериментальной гипотезы. Вы помните, что всякая гипотеза предполагает некоторое отношение между независимой и зависимой переменными. Поэтому сначала мы проверим на соответствие независимую переменную, а затем зависимую. Однако не менее важная составляющая, которая не всегда отмечается специально, но всегда присутствует, — это уровень значимой дополнительной переменной. Вспомните, ведь неадекватный вариант эксперимента Джека Моцарта страдал недостатком внешней валидности именно потому, что по типу используемых в нем пьес он не соответствовал исследуемой гипотезе. Третьим пунктом нашего анализа будет, таким образом, обсуждение соответствия дополнительных переменных.

Проверяя соответствие переменных, необходимо помнить, что мы имеем дело с экспериментами, отвечающими на конкретные практические запросы. В каждом из приведенных случаев было найдено решение, лучшее из возможных. По материалам предыдущей главы вы знаете, что безупречной внутренней валидности достичь нельзя, поскольку реальный эксперимент не может быть ни идеальным, ни бесконечным. Внутренняя валидность реальных экспериментов лишь повышается по мере их приближения к указанным разновидностям безупречного эксперимента. Аналогично невозможна и безупречная внешняя валидность, ведь в реальном эксперименте нельзя достичь полного соответствия всех тех жизненных обстоятельств, к которым прилагаются его результаты. Отсюда можно говорить лишь о большей или меньшей внешней валидности искусственных экспериментов, смотря по тому, в какой степени соблюдаются в них требования эксперимента полного соответствия. Однако искусственные эксперименты ставятся тогда, когда эксперименты, дублирующие реальность, — и, следовательно, более ей соответствующие — страдают недостатком внутренней валидности. Поэтому мы не вправе отвергать искусственный эксперимент только потому, что он меньше соответствует реальному миру по сравнению с экспериментом, в котором этот мир просто дублируется. Вместо этого следует задаться вопросом, найден ли самый оптимальный способ улучшения реального мира. Поэтому для оценки внешней валидности экспериментов, улучшающих реальность, имеет смысл сравнивать их с другими искусственными экспериментами.

Соответствие независимой переменной

Вопрос о соответствии независимой переменной в искусственных экспериментах по большей части довольно прост. Экспериментатору нужно быть твердо уверенным только в том, что введенные им условия в одних реальных случаях являются типичными, а в других — вполне вероятными. Крафт и Элворт выбрали для посадок горизонтальную и наклонную (под углом 3°) поверхности, поскольку эти условия типичны для аэропортов, где приземляются реактивные самолеты. Наблюдение без бинокля в эксперименте с поиском не соответствовало старым инструкциям, но было вполне возможным. Это совершенно реальный способ поиска. А два типа шкал в исследовании с высотомерами—это те самые шкалы, лучшую из которых собирался выбрать Лендбург. Вот если бы он взял такой тип шкалы, который не используется на его самолете, скажем, изображение небольшой модели самолета в трехмерном пространстве, то это условие не было бы соответствующим. Ведь гипотеза Лендбурга касалась только двух высотомеров, которые можно поставить на его будущий самолет.

Соответствие зависимой переменной

Вспомним, что при каждом из условий независимой переменной зависимая переменная принимает определенное значение. Каждое такое значение включает в себя три компонента: во-первых, ответы испытуемого, его поведение, во-вторых, измеряемые показатели ответов испытуемого и, в-третьих, способ представления результатов измерений (дающий нам окончательное значение зависимой переменной). Вот и займемся теперь анализом трех экспериментов, описанных в настоящей главе, по каждому из названных пунктов.

Поведение испытуемых. Соответствует ли поведение испытуемого в эксперименте той его реальной деятельности, на которую будут распространяться полученные результаты? В отношении двух наших экспериментов мы можем ответить на этот вопрос утвердительно. Пилот "ведет” тренажер, ориентируясь но “наземным” огням точно так же, как и в настоящем полете, поэтому соответствие зависимой переменной в эксперименте с ночными посадками является вполне удовлетворительным. И в эксперименте с поиском испытуемые точно так же вели наблюдения за поверхностью моря, как в действительных спасательных операциях. А вот об исследовании с высотомерами разговор особый. Испытуемый работает с показаниями шкал весьма необычным способом. Он не изменяет ни высоту, ни направление полета, он вообще не ведет самолет, т. е. с одной стороны, он выполняет гораздо меньше операций, чем в реальности, а с другой — совершает дополнительные операции. Так, при снятии показаний он называет соответствующее число. В полете же чаще всего показания высотомера нужны пилоту лишь для определения высоты, необходимой для правильного направления полета, т. е. в пределах примерно 200 футов. В полете незачем повторять эти показания, и тем более уделять все внимание высотомеру, как это было в эксперименте. Можно ли оправдать такое значительное отклонение от реальной деятельности? Давайте обсудим это -еще раз и кратко напомним о самой проблеме.

Лучше всего сравнить выбранный способ проведения эксперимента с другими возможными альтернативами. Лендбург понимал, что данные, которые можно получить в реальном полете, были бы очень сомнительны. Лендбург предпочел искусственный эксперимент, поскольку условия реального полета не позволили бы ему адекватно оценить собственную работу. Так ли это для эксперимента на тренажере? Тренажер улучшает реальный мир, но только в одном: он позволяет унифицировать погодные условия, а также наземную территорию при использовании обеих шкал. Однако пилоту по-прежнему нужно было бы придерживаться определенной высоты “полета”, оценивая ее субъективно. И это вновь зависело бы от множества факторов: и от восприятия территории в каждом конкретном случае, и от осторожности пилота, и от его умения вести самолет.

По-видимому, простое снятие показаний высотомера действительно отражает тот аспект реальной деятельности, который интересовал исследователя. Весьма разумным было решение проводить испытания в зараяёе~ установленном темпе. Как правило, в полете у пилота немного времени для снятия показаний. Темп, конечно, можно было и увеличить, определяя при этом количество показаний, снятых испытуемым за каждую минуту. Однако эта идея не совсем удачна по двум причинам. Во-первых, подобное скоростное считывание меньше соответствует тем реальным операциям, которые выполняет пилот: Во-вторых, возникла бы проблема совместного учета скорости работы и количества совершенных ошибок.

И все же, несмотря на все приведенные аргументы, в данном случае трудно предложить полностью адекватный экспериментальный прием. Любой конкретный прием основан на довольно условных предположениях (скажем, о сравнительной значимости .каждого правильного считывания и цене каждой ошибки).

Измеряемые показатели. Первый эксперимент достаточно хорошо соответствовал реальным посадкам самолета и в отношении производимых измерений. При работе испытуемых в каждом из экспериментальных условий — горизонтальной и наклонной территории — фиксировались действительная высота "полета" и ее субъективные оценки. В эксперименте с поиском такой определенности нет. Так ли уж важно на самом деле для спасательной операции, будет найдена цель за 7 или 7,5 минуты? Наверное, нет. Правда, когда катер движется по прямой, т. е. ходит туда-сюда, как по длинному коридору, — а обычно это так и происходит — неудачи в нахождении цели за определенный .период времени могут означать, что либо цели здесь просто нет, либо нужно плыть помедленнее, а не разбрасываться на чересчур большое пространство. Поэтому временные характеристики можно связать с успешностью стратегии поиска цели — если она, конечно, существует. В исследовании с высотомерами проблемы выбора показателей не возникало. Фактически ими были сами показания испытуемого по каждому положению шкалы, которые сразу записывались на магнитофон.

Способ представления результатов измерений. На примерах двух описанных экспериментов с оценкой высоты полета вы могли видеть разные способы представления результатов измерений. Впрочем, каждый из этих способов может быть пригоден -при распространении экспериментальных выводов на реальный мир. В первом эксперименте гипотеза состояла в том, что пилот совершает систематическую ошибку, недооценивая высоту, и поэтому летит слишком низко при посадке на наклонную территорию. Графическое изображение результатов эксперимента на рис. 3.3 позволяет проверить эту гипотезу. Здесь представлены усредненные данные 12 пилотов, каждому из которых давали несколько проб. Подобным образом можно было бы отразить выполнение задач любым участником эксперимента в каждом из исследуемых условий. Понятно, что если бы на каждое условие приходилась только одна проба, то выбранный способ представления результатов показал бы лишь изменение высоты полета по мере приближения к аэропорту. Но если дается целая группа проб, то для каждой точки посадочной траектории можно получить среднее значение оценок этой высоты.

Для исследования с высотомерами такой способ представления данных не подходит. Поскольку показатели высоты, которые считывал испытуемый, изменялись не постепенно (как по мере приближения к аэропорту), а случайным образом, графическое изображение последовательности оценок вряд ли имело бы смысл. Простое вычисление среднего для оценок испытуемого по каждой шкале тоже не принесло бы желаемых результатов. Предположим, что при работе со старой шкалой испытуемый допускал грубые ошибки, однако число ошибок с переоценкой и недооценкой высоты было одинаковым. Тогда, несмотря на все ошибки испытуемого, средняя оценка его работы практически равнялась бы средней величине предъявляемых показаний.

Этот факт требует особого внимания, поскольку в значительной части опубликованных экспериментальных работ он не вполне осознается. Покажем, как возникают подобного рода погрешности, на кратком примере.

Предположим, что в четырех последовательных пробах испытуемому предъявлялись показания следующих высот 3200, 6100, 1300 и 4640 футов. Средняя величина для этого набора проб составила бы, таким образом, 3200+6100+1309....0, деленное па 4. Она равна 3797,5 фута. А результаты испытуемого: 3260, 6040, 1250 и 4590. Средняя оценка тоже равна 3797,5 фута.

Никому и в голову не придет, что испытуемый работал с ошибками. Такая же погрешность сохранится и при вычислении алгебраического среднего, когда переоценки обозначают знаком “плюс”, а недооценки — знаком “минус” В приведенных четырех пробах ошибки были следующие: 3260—3200, или +60, 6040—6100, или —60, 1300—1250, или +50, 4590—4640, или —50. Ошибки на +60, —60, +50 и —50 в сумме дадут 0. Вот так и появляется погрешность. Ясно, что необходим какой-то другой способ представления результатов.

Можно было бы не учитывать знаки ошибок—плюс и минус. Тогда, вычислив среднее для указанных проб — 60, 60, 50 и 50, мы получим абсолютную ошибку. Она будет равна 55 футам. Нужно отметить, что и эта средняя оценка может вызвать возражения. В частности, она не позволяет отличить приведенные данные от таких, когда ошибки (все или какая-то часть) имеют одно направление. Например, данные +60, +50, +50 и —50 тоже дадут абсолютную ошибку в 55 футов. В подобных случаях для представления результатов нужно брать сразу два показателя. Первый из них уже описан: это алгебраическая ошибка, при -подсчете которой пользуются знаками плюс и минус. Она позволяет определить соотношение разнонаправленных ошибок испытуемого. Второй — стандартное отклонение — показывает, насколько велик разброс этих ошибок, т. е. характеризует изменчивость в деятельности испытуемого при выполнении задачи.

И все же для эксперимента Лендбурга наиболее адекватен иной способ представления, данных. Ведь главное для его автора — не допускать в реальном полете слишком грубых ошибок. Поэтому данные по работе с каждым из высотомеров нужно представить процентным отношением таких ошибок (на 100 футов и больше) к общему числу неверных ответов. Правда, этот способ не подошел бы, если бы нужно было сравнить качество работы с той и другой шкалой при посадке самолета в условиях плохой видимости. Будем надеяться, что в плохую погоду Лендбург не полетит.

Подсчет процентных отношений вполне подходит для эксперимента с поиском. По данным о времени, затраченном на поиск каждой цели, можно определить процентное соотношение количества целей, быстрее найденных с биноклем или без него. А быстро найти цель—это самое главное в любой спасательной операции.

Соответствие дополнительных переменных

В неадекватном варианте эксперимента Джека Моцарта, когда вместо сонат разучивались вальсы, уровень наиболее важной дополнительной переменной — типа музыкальных пьес—был явно несоответствующим. Ведь то, что справедливо для “уровня вальсов”, может оказаться неверным для “уровня сонат”. Это случай несоответствия ключевой переменной. Давайте рассмотрим три наших эксперимента с точки зрения соответствия ключевых, а также некоторых других дополнительных характеристик.

Ключевые переменные. В одних экспериментах, как, например, у Джека Моцарта, ключевая переменная одна (но очень важная). В других экспериментах их может быть несколько. Скажем, такие характеристики спасательного поиска на море, как размер цели, расстояние до нее, погодные условия и время дня, примерно одинаковы по значимости.

В эксперименте с посадками самолета ключевой переменной была зрительная картина ночного города. Ведь только она и дает информацию о наклоне территории. Различия понятны: либо это несколько огней, расположенных близко друг к другу, либо целая панорама, где пилот может выбрать любую пару световых точек. Чтобы результаты эксперимента можно было применять для любых аэропортов, Крафт и Элворт предъявляли испытуемым несколько типичных моделей. Они пишут (показывая тем самым, что даже опытные экспериментаторы могут ошибаться): “Мы надеялись повысить эффективность зрительного контроля посадки с помощью расширения и углубления световой картины города. Однако данные показывают, что более обширная и комплексная картина на самом деле может приводить к катастрофе, вводя пилота в заблуждение, что происходит в случае поднимающейся вверх территории” (с.4). Оказалось, что огни, занимая большую площадь, представляются пилоту более надежным показателем уровня земли, и это усиливает иллюзию. Теперь нам ясно, что экспериментаторы не зря копировали огни ночных городов во всех их вариантах.

Столь же аккуратны были исследователи в эксперименте с поиском, добиваясь более точного соответствия всех ключевых переменных—размера цели, расстояния до нее, погодных условий и времени дня. А вот в исследовании с высотомерами контролировалась только одна ключевая характеристика—использовался тот же диапазон высот, с каким встречается пилот в реальном полете. Передвижение индикаторов — а это тоже ключевая характеристика—не воспроизводилось. Лендбург имел дело со стабильными изображениями шкал, а в реальности индикаторы чаще всего непостоянны. С другой стороны, в реальном полете последовательные показания прибора похожи одно на другое. Самолет не подпрыгивает вверх и не падает вниз случайным образом. А ведь именно так и изменялись показания высот в последовательных пробах эксперимента—случайно. Первое отклонение от реальности облегчало испытуемому работу со шкалой, а второе, наверное, затрудняло ее. Для более точного воспроизведения реальных изменений шкалы высотомера понадобился бы киноаппарат или видеомагнитофон. Это довольно утомительно: снова нужно вырезать картонки, подбирая друг к Другу почти одинаковые снимки с чуть измененными положениями индикаторов. А потом можно было бы дополнить подачу словесных команд на магнитофоне соответствующим звуковым сопровождением.

Одновременные действия. В некоторых искусственных экспериментах испытуемому приходится выполнять именно то задание, которым (и только им) он занимается в реальной жизни. Например, во время спасательной операции наблюдатель не имеет никаких других обязанностей, кроме самого поиска. Для пилота это, конечно, не так. Совершая посадку, ему нужно не только дерть нужную высоту, но и постоянно корректировать траекторию полета, чтобы самолет находился под правильным углом и не уклонялся в сторону. Пилот должен следить за скоростью, остерегаться столкновения: со встречным транспортом. В эксперименте Крафта и Элворта все эти действия воспроизводились. Во-первых. пилот “вел” тренажер как настоящий самолет, а не просто контролировал высоту. Во-вторых, у него была дополнительная задача — “определять местоположение других самолетов и сообщать о них” (с. 2).

Другой наш пилот, Чарлз Аугустус Лендбург, ничего этого не делал. Он только считывал показания высоты и не производил никаких дополнительных действий. А было бы неплохо выполнять при этом какую-нибудь другую задачу. Вполне возможно, что новый высотомер становится более надежным лишь в том случае, если все внимание испытуемого уделяется только ему. Материал для дополнительной задачи тоже можно было бы записать на магнитофон (вместе с командами о порядке снятия показаний). Испытуемый мог бы, например, подсчитывать звуковые сигналы.

Напряженность. Все эксперименты, описанные в этой главе, были посвящены практическим проблемам, связанным с жизнью и смертью людей. И это не просто случайное совпадение. Помимо повышения внутренней валидности эксперименты, улучшающие реальный мир, очень часто делают его безопасным для испытуемого. Но тогда возникает вопрос: можно ли переносить результаты, полученные при отсутствии эмоциональной напряженности, на реальную деятельность в стрессовых условиях? Иногда предлагают гипнотизировать испытуемых и внушать им, будто они находятся в реальной ситуации, а не на эксперименте. Однако такое внушение вряд ли будет эффективным для человека, который хорошо знает, что такое гипноз. Давайте посмотрим, насколько серьезен вопрос о недостаточной напряженности для наших экспериментов.

Типичным последствием состояния эмоциональной напряженности является нарушение интеллектуального контроля за поведением. Трудно представить, каким образом недостаток напряженности может усиливать зрительную иллюзию пилота при экспериментальном моделировании посадки над наклонной территорией. Скорее уж можно предположить, что более высокий интеллектуальный контроль уменьшит эту иллюзию. Следовательно, можно сказать, что в эксперименте были получены важные результаты, несмотря на отсутствие напряженности.

Известно также, что в состоянии напряженности разрушаются в первую очередь приобретенные и необычные навыки, а не естественные, привычные. Смотреть в бинокль менее естественно, чем без него. Поэтому отсутствие напряженности в эксперименте с поиском было благоприятным для наблюдения с биноклем. И вновь можно сказать, что именно данные результаты эксперимента были получены, несмотря на это преимущество.

Сжатие во времени. Увеличение надежности в искусственных экспериментах по сравнению с теми, которые дублируют реальность, достигается главным образом благодаря возможности предъявить все необходимые пробы за более короткий период времени. Тем самым можно быстрее получить достаточное количество данных. Искусственный мир чаще всего как бы сжат во времени по сравнению с реальным. Как это влияет на внешнюю валидность экспериментальных выводов?

Из трех описанных экспериментов меньше всех был сжат во времени эксперимент с посадками самолета. Правда, он и не требовал слишком большого количества проб по сравнению с двумя другими. Известно, что практический опыт до некоторой степени уменьшает зрительные иллюзии. Следовательно, в эксперименте .на тренажере влияние иллюзии могло бы в принципе сокращаться быстрее, чем в реальных полетах. Однако, несмотря на преимущества, возможные за счет научения, эксперименте получены результаты, которые свидетельствуют о сохранении этого влияния.

Спасательный поиск на море лучше производить без бинокля—этот результат, полученный в условиях быстрого предъявления всех необходимых проб, также не вызывает никаких сомнений. Конечно, в обычных условиях поиск продолжается дольше, и бдительность его участников будет более изменчивой, чем в своеобразном соревновании между ними, характерном для данного эксперимента. Однако реальная ситуация была бы более жесткой именно для наблюдения с биноклем. Ведь в эксперименте спасатели пользовались им сравнительно недолго, и поэтому влияние веса бинокля, усталость глаз, а также неясность зрительной картины были не столь существенны. Можно сказать, что поиск с биноклем оказался менее эффективным даже при коротком испытании, условия которого благоприятствовали его применению.

В эксперименте с высотомерами таких гарантий нет. Очень может быть, что за целую серию проб, между которыми только 5 секунд, испытуемый просто научится хорошо считывать показания высотомера. А если справляться о высоте полета лишь время от времени, как это происходит в реальности, подобная привычка будет вырабатываться не так скоро. Поэтому по результатам, полученным в условиях сжатого предъявления проб, трудно решить, каким из двух высотомеров удобнее пользоваться в реальном полете. Пожалуй, в этом отношении эксперимент можно было бы улучшить, если все-таки сделать считывание показаний более развернутым, скажем, давать пробы лишь время от времени по мере выполнения другой задачи.

Внешняя валидность в более широком смысле

В этой главе мы часто обращались к проблеме внешней валидности эксперимента, но вместе с тем рассматривали ее лишь с одной точки зрения. В общем виде вопрос о применении экспериментальных результатов к реальной жизни—это систематическое рассмотрение вопроса о степени сходства всех переменных в действительном эксперименте со всеми переменными в эксперименте полного соответствия. В следующей главе также будет обсуждаться вопрос относительно соответствия реальности, но уже по отношению к тем людям, на которых распространяются результаты эксперимента. А эксперименты из главы 5 должны будут соответствовать не реальности, а “миру теории”. Это соответствие определяется тем, в какой мере конкретные экспериментальные приемы отражают теоретические понятия. Если такой переход затруднителен, то внешняя валидность будет низкой.

КАКОВА ЦЕНА РЕАЛИЗМА?

До сих пор мы почти не затрагивали этот вопрос. Он обсуждался только в эксперименте с высотомерами, который меньше других был сходен с реальной жизнью. Мы показали, что по используемым приемам этот эксперимент был все-таки довольно удачным (по сравнению с возможным экспериментом на тренажере), но что его можно улучшать и дальше.

Однако обсуждение можно продолжить и поставить вопрос так. Не слишком ли страдает внутренняя валидность эксперимента из-за нашего стремления к большему реализму, лучшему воспроизведению действительности? И можно ли провести эксперимент, обладающий высокой внутренней валидностью, не отказываясь от максимального приближения к реальности?

Подобные вопросы относятся, на самом деле, только к эксперименту с поиском. В эксперименте с посадками самолета применение тренажера гарантировало достаточную внутреннюю валидность. А вот второй эксперимент был чрезмерно реалистичен: он проводился на настоящем катере в настоящем море. В таких условиях, конечно, трудно проконтролировать всевозможные побочные факторы. Но будет ли этот контроль более эффективным, если провести эксперимент в лаборатории, используя что-то вроде тренажера?

Можно было бы заснять движущуюся поверхность моря и затем показывать ее испытуемому на широком экране. Ощущение реальности можно усилить, используя вместо катера качающуюся платформу, вроде тех, что применяются при изучении морской болезни. Однако при этом возникает сразу несколько проблем. Во-первых, киносъемка все равно не обеспечит испытуемому возможность увидеть всю панораму, которую видит перед собой наблюдатель в реальной спасательной операции. Это отклонение особенно значимо для наблюдения невооруженным глазом. А применение панорамной камеры лишь еще больше запутает зрительную картину. Во-вторых, кино не дает полного впечатления пространства. Для наблюдения с биноклем, когда восприятие глубины так или иначе нарушено, это не столь уж большая помеха, а простое наблюдение явно пострадает. Если же вместо кино показывать слайды, то это еще больше удалит испытуемого от реальности. Все изменения морской поверхности и само движение катера будут утеряны. А они могут по-разному влиять на наблюдение с биноклем и без него. Короче говоря, первоначальный вариант эксперимента был не так уж плох. В данном случае эксперимент должен быть высокореалистичным.

Поскольку в этой главе мы вновь рассматривали практические эксперименты, нам следует упомянуть и о финансовой стороне дела. Если для эксперимента нужен корабль (с заранее составленным планом его движения), а также капитан с командой да еще экипаж вертолетов (действия которых должны быть скоординированы), то потребуются, конечно, большие расходы. Проведение эксперимента Крафта и Элворта на тренажере с компьютером стоит, пожалуй, еще дороже. А несколько фотографий и прокат двух магнитофонов для исследования с высотомерами не стоили Лендбургу почти ничего. Понятно, что меньших затрат требуют эксперименты, которым больше недостает реализма. Чаще всего стремление лучше представить в эксперименте реальный мир стоит очень дорого.

КРАТКОЕ ИЗЛОЖЕНИЕ

В этой главе мы обсуждали три эксперимента, которые не дублируют реальный мир, а «улучшают» его. В первом эксперименте проверялась гипотеза о том, что при посадках самолета на постепенно поднимающуюся территорию у пилотов возникает зрительная иллюзия, и поэтому они снижаются слишком резко. Если проводить этот эксперимент в настоящих аэропортах, неизбежно систематическое смешение независимой переменной с различными побочными факторами. Применение тренажера, имитирующего реальный мир, позволило устранить это смешение.

Гипотеза второго эксперимента состояла в том, что при поисковых операциях на море наблюдение невооруженным глазом даст более эффективные результаты, чем наблюдение с биноклем. Если бы этот эксперимент проводился во время реальных спасательных операций, то за любой практически приемлемый юрок было бы собрано лишь небольшое количество данных. Надежность такого эксперимента была бы низкой. Благодаря использованию самодельных муляжей удалось за несколько недель провести эксперимент с достаточным числом проб, повысив тем самым его надежность. В третьем эксперименте сравнивалось качество работы с двумя высотомерами. Гипотеза была следующей: использование новой унифицированной шкалы позволит сократить количество грубых ошибок при определении высоты полета по сравнению со старой шкалой (циферблат с двумя стрелками). Если бы этот эксперимент проводился в реальном полете, то на успешность работы испытуемого с высотомером влияло бы множество побочных факторов. Полученные данные имели бы большой разброс, и это вновь, понизило бы надежность. Применение задачи по снятию показаний с фотографий обеих шкал в установленном темпе позволило значительно сократить несистематическую изменчивость экспериментальных данных.

Таким образом, в искусственных экспериментах можно повысить внутреннюю валидность. Описаны три способа улучшения реального мира, позволяющие это сделать возможным. Первый из них — устранение систематического смешения. Второй — возможность получить необходимое количество данных за более короткий срок и тем самым повысить надежность эксперимента. И третий — сократить несистематическую изменчивость данных и, следовательно, их разброс, что также обеспечивает более высокую надежность.

Но именно потому, что искусственные эксперименты не дублируют реальный мир, возникает вопрос об их внешней валидности. Достаточно ли успешно представлена в этих экспериментах реальность, чтобы можно было считать полученные результаты адекватными? Поскольку искусственные эксперименты ставятся в тех случаях, когда эксперименты с простым дублированием реального мира страдают недостатком внутренней валидности, сравнение с последними не может служить критерием их адекватности. Внешняя валидность трех описанных экспериментов оценивалась путем сравнения с другими (но также искусственными) приемами их проведения. Каждая из составных частей экспериментальной гипотезы: независимая, зависимая и дополнительные переменные — была проверен» нами на соответствие исследуемой реальности.

Достичь в эксперименте соответствия независимой переменной, как правило, довольно просто. Нужно только, чтобы вводимые условия были либо типичными для реальных ситуаций, либо вполне вероятными.

Соответствие зависимой переменной оценивалось по следующим трем пунктам. (1) Соответствует ли работа испытуемого в эксперименте его реальной деятельности? (2) Отражают ли измеряемые . показатели наиболее важные аспекты этой деятельности? (3) Адекватен ли способ представления результатов измерений? Самой важной проблемой оказывается здесь адекватный учет ошибочных ответов испытуемого, имеющих плюсовые и минусовые значения, как, например, переоценка и недооценка высоты полета. Чаще всего применяются два способа представления таких результатов. Один из них позволяет показать преимущественную направленность ошибочных ответов, а другой — определить величину их разброса.

В искусственных экспериментах возникают также вопросы о соответствии дополнительных переменных, стабильных по своему уровню. В целом ряде случаев такие переменные являются ключевыми, и их уровень должен соответствовать реальному миру. Нужно стараться также воспроизводить в эксперименте те дополнительные (по отношению к основной задаче) действия, которые в реальности выполняются одновременно с ней. Кроме того, следует выяснить, как скажется на внешней валидности искусственного эксперимента отсутствие эмоциональной напряженности (которая, как правило, характерна для соответствующих реальных ситуаций). И наконец, следует специально проанализировать последствия предъявления испытуемому всех экспериментальных проб за короткий (сжатый по сравнению с экспериментом, дублирующим реальность) период времени.

Но есть еще один вопрос — какова цена реализма? Каждый раз необходимо проверять, не слишком ли мы усердствуем, добиваясь в экспериментах как можно более точного воспроизведения реальности, и не страдает ли от этого их внутренняя валидность. Такая проверка также проведена путем сравнения с другими возможными приемами эксперимента. В заключение был затронут вопрос о финансовой стоимости искусственного эксперимента с максимальной имитацией реального мира. Иногда эта стоимость так высока, что реальным может оказаться в действительности менее реалистичный эксперимент.

ВОПРОСЫ

1. Почему эксперимент с ночными посадками самолета не мог быть проведен в настоящих аэропортах?
2. В чем состоит основное преимущество эксперимента со спасательным поиском?
3. Приведите пример эксперимента, дублирующего реальный мир, в котором имела бы место чрезмерная несистематическая изменчивость получаемых данных.
4. Перечислите, каким образом в экспериментах, «улучшающих» реальный мир, добиваются большей внутренней валидкости, чем в экспериментах, дублирующих реальность.
5. Как вопрос о внешней валидности связан с вопросом о видах безупречного эксперимента, описанных в главе 2?
6. Что имеют в виду, говоря, что решение вопроса о соответствии эксперимента — это проверка соответствия основных составляющих экспериментальной гипотезы?
7. Приведите конкретные примеры соответствующих и несоответствующих способов получения данных для оценки значения зависимой переменной.
8. В связи с тем, что в искусственных экспериментах редко воспроизводятся стрессовые условия реальной жизни, можно ли сделать вывод, что они не могут быть соответствующими?
9. Почему проблема «реалистичности» эксперимента обсуждалась нами на примерах столь различных в этом отношении исследований, как спасательный поиск и сравнение высотомеров?

ВЫЧИСЛЕНИЕ СРЕДНЕГО ПО ДАННЫМ ИНТЕРВАЛЬНОЙ КЛАССИФИКАЦИИ