Плутовство и обман - Страница 87

В таких экспериментах используются определенные математические методы. Если вы неоднократно подбросили монету и получили результат, отличающийся от соотношения «половина «орлов» — половина «решек»«, вам придется применить к этому результату простые статистические правила, чтобы узнать, выходит ли это статистически значимо за рамки случайности. По сути, 100 бросков должны дать 60 «орлов», чтобы считаться статистически неслучайными. Это на 10 процентов больше ожидаемого. Но при 50 000 подбрасываний отклонение всего лишь в 224 «орла» (0,45 процента) от 50-процентного показателя будет столь же значима, а при миллионе бросков будет признан значимым 0,1 процент. Конечно, мы предполагаем абсолютно честные броски и методы их регистрации.

В экспериментах доктора Шмидта все результаты автоматически записывались, и поддерживалась полная, немедленная обратная связь с испытуемым, который, таким образом, все время знал, как он ответил. Число экспериментальных «запусков» было определено заранее. Сначала он сообщил, что не получил никаких результатов, поскольку, по его словам, в это просто было довольно трудно поверить. Он отметил очень скромные, скрытые, отрицательные результаты, когда он использовал обычных испытуемых. Затем он начал тестирование одаренных людей, и результаты были сильно отрицательными. Но он сказал, что предусмотрел это, так как имел привычку запускать ряд предварительных тестов, чтобы выяснить, склонен ли тот или иной испытуемый в день эксперимента выдавать отрицательный или положительный результат, и эта склонность затем будет определять цели и задачи эксперимента.

«Я проводил другие эксперименты»,— сказал Шмидт»,— которые не сработали». Сколько, он не сказал. Количество успехов, ставших результатом «хороших» экспериментов, выглядело и вправду очень маленьким. Профессор Белофф из Эдинбургского университета пытался провести тот же эксперимент с генератором случайных чисел, и ничего не нашел.

В период вопросов-и-ответов, после разговоров Шмидта, всплывала постоянная проблема «добровольного прекращения» эксперимента. Короче говоря, если испытуемому позволять останавливаться всякий раз, когда он хочет, эксперимент не представляет никакой ценности, поскольку этот испытуемый может остановиться или быть остановлен, когда он побеждает, а итоговым результатом является победа, независимо от того, что могло бы произойти, если бы тест продолжился. По этой причине в эксперименте должно быть объявлено число испытаний, которое твердо определяется заранее, как это и было сделано. Но при произвольной остановке может быть также произвольное продолжение. Это та же самая проблема. Если результаты не выглядят слишком хорошо — помните, что испытуемые Шмидта имели мгновенную обратную связь, говорившую им, выигрывают они или нет — легко бросить вызов на еще несколько десятков испытаний, если мы понимаем, что можем вырваться вперед до остановки эксперимента.

Шмидт сказал, что он запустил не менее 4 миллионов «подбрасываний монеты» генератором в ходе испытаний, чтобы увидеть, действовал ли генератор надлежащим образом, или распределение было пятьдесят на пятьдесят. Машина, похоже, была в порядке — на уровне нормы. Однако в ходе экспериментов, по его словам, в «подбрасываниях» были небольшие фракции, которые ложились по обе стороны от средней линии, как будто работали паранормальные силы! Но, как уже говорилось, короткие серии опытов, как правило, демонстрируют большие отклонения. Конечно, тестовый запуск должен быть такой же продолжительности, как и пробный запуск. Что касается нормальных результатов очень долгого тестового запуска, любая тенденция машины периодически выдавать отклонения в пользу «орлов» или «решек» будет эффективно сглаживаться. Это, конечно, предполагает, что распределение пятьдесят на пятьдесят — это единственное свойство, для проверки которого использовались эти 4 миллиона «подбрасываний».

Также подозрительной была практика выполнения серии тестов заранее, чтобы определить, к какому способу (положительному или отрицательному) испытуемый склоняется в тот день, потому что если машина демонстрировала какие-нибудь отклонения, продолжающиеся несколько тысяч «подбрасываний», ее было легко проверить на эту склонность и продолжить это в официальным запуске, который будет только стремиться выявить эту склонность! Однако аудитория Американского физического общества получила заверения, что другие генераторы случайных чисел периодически заменялись по ходу тестов. Это похоже на начало путешествия на дырявом воздушном шаре, где есть много ремонтных материалов, а не на отрыв от земли в звуковой передвижной станции.

Беспокоящей нитью, проходящей через все доклады доктора Шмидта, было то, что основные дефекты были учтены или оправданы, казалось, благодаря корректировке задним числом. Когда экспериментальные результаты не показали ничего, кроме закона средних чисел, это случилось потому, что не прикладывалось «никакого энтузиазма». Отрицательные результаты были переоценены как положительные после проведения определенных статистических церемоний. Были некоторые аспекты процедуры, которые обнаружились только после тщательных расспросов. Показательный момент вечера наступил, когда доктор Рэй Хайман, проводивший всесторонние расследования парапсихологических процедур тестирования, заявил, что д-р Шмидт использовал статистическую науку далеко за ее нормальными пределами, и извлек из нее гораздо больше, чем допускали представленные результаты. Казалось, было большое согласие по этому вопросу среди присутствующих членов APS.