Камень ломает ножницы. Как перехитрить кого угодно: практическое руководство - Уильям Паундстоун Страница 13

Наша судьба как в школе, так и после ее окончания в значительной степени зависит от контрольных опросов, выпускных испытаний, экзаменов на водительские права, приемных экзаменов и подтверждения квалификации. Составители тестов стараются сделать так, чтобы тот, кто не знает материал, не мог отгадать правильный ответ. В случае теста с несколькими вариантами ответов это означает, что каждый из предложенных должен иметь одинаковую вероятность оказаться верным.

Составление подобного теста – эксперимент по имитации случайности. Обычно тест с несколькими вариантами ответов представляет собой либо вертикальный список, либо строку. Можно ожидать, что составитель неосознанно предпочтет одни варианты другим, и последовательность правильных ответов не будет случайной.

В тот или иной момент большинство преподавателей, вероятно, получают предупреждение об этих проблемах. Журнальные статьи и учебники советуют работникам образования располагать правильные ответы случайно, хотя редко признают, что это легче сказать, чем сделать. Для эффективной рандомизации составителям тестов требуются компьютерные программы, игральные кости или монетка. Однако они вряд ли прибегнут к этим средствам, если не поймут, что проблема действительно серьезна и у них есть возможность ее избежать. Знают ли они, беспокоятся ли?

Именно это я и попытался выяснить. В настоящее время университеты публикуют в интернете архивы старых тестов с ключами ответов. В сети также имеется невероятное количество других тестов. Я набрал статистику из выборки в количестве 100 тестов – 34 из школ и колледжей и 66 из других источников, всего 2456 вопросов. Были взяты экзаменационные тесты для средних и старших классов школы, выпускных экзаменов колледжей и профессиональных училищ, экзаменов на права из десяти штатов (в том числе Нью-Йорка, Пенсильвании, Джорджии и Калифорнии), из программ самотестирования для процедуры натурализации, квалификационных испытаний для пожарных и операторов любительской радиосвязи, из газетных тестов на знание текущих событий, спорта и жизни знаменитостей, тестов из журнала Cosmopolitan («50 фраз, которые предпочитают мужчины»), а также тестов по технике безопасности (электричество, контрацепция и пищевые отравления). Я искал стратегии, помогающие угадать верный ответ, и вычислял степень их полезности.

Составители разных тестов не похожи друг на друга. Некоторые стремятся перемешать ответы, другие об этом даже не задумываются. Студенту, выполняющему несколько тестов, составленных одним и тем же профессором, полезно сохранить их (или найти в сети) и поискать закономерность в расположении правильных ответов, чтобы определить алгоритм действий составителя. Собранные мной данные, однако, дают основание предположить: даже не зная материала, можно делать ставку на некоторые распространенные закономерности.

Начнем с экзаменационных вопросов, предполагающих выбор ответа «да» или «нет». Преподаватель использует такого рода тесты потому, что их легче всего составлять и проверять. Составитель тестов, выбирающий тест с вопросами, требующими ответа «да» или «нет», идет кратчайшим путем, и с точки зрения стратегии это хорошо.

В данном случае выявились две закономерности. Первая: ответов «да» больше, чем ответов «нет». В среднем 56 процентов приходится на «да» и 44 процента на «нет».

Причину найти нетрудно. Ответ «да» первым приходит на ум. Мы вспоминаем какой-либо факт быстрее, чем придумываем ложь. Составители тестов следуют по пути наименьшего сопротивления, и у них получаются тесты с преобладанием ответа «да».

Другая закономерность вполне ожидаема – ответы «да» и «нет» чередуются гораздо чаще, чем при настоящей случайной последовательности. Вот, например, ключ к ответам теста из учебника для колледжа, состоящего из 20 вопросов (Plummer, McGeary, Carlson’s Physical Geology, девятое издание): НДДНДННДДНДДНДДДНДДН. Изобразим этот ключ в виде черных и белых квадратов, где белые обозначают ответ «да».

Эта последовательность только выглядит случайной. Один из способов проверки – подсчитать, сколько раз за правильным ответом («да» или «нет») следует тоже правильный. Таких случаев семь из 19 (после 20-го ответа нет следующего). Другими словами, вероятность того, что следующий ответ будет отличаться от текущего, составляет 63 процента. Это больше ожидаемых 50 процентов для случайной последовательности.

Будем надеяться, что вы не станете угадывать каждый ответ. В большинстве случаев вы заранее знаете правильные ответы на вопросы, которые предшествуют трудным и следуют за ними. Это позволяет разработать стратегию для теста с вопросами, предполагающими выбор ответа «да» или «нет»:

• Прежде чем пытаться что-то угадать, просмотрите весь тест, пометив вопросы, ответы на которые вы знаете.

• Посмотрите на известные правильные ответы, расположенные до и после тех, которые вызывают у вас затруднение. Если оба они одинаковы (например, оба «нет»), выбирайте противоположный («да»).

• Если ответы до и после разные, выбирайте «да» (поскольку такие ответы, скорее всего, преобладают).

Пример. Вам предстоит угадать ответ, окруженный ответами «да», в которых вы уверены. В этом случае предпочтительно ответить «нет».