Книга Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Дейл и Крюгер изучили повторные данные о доходах в обеих группах. Это нельзя назвать идеальным сравнением яблок с яблоками, а уровень доходов, конечно же, не самое главное жизненное достижение человека, однако результаты, полученные Дейлом и Крюгером, должны развеять тревоги переутомленных напряженной учебой старшеклассников и их родителей. Выпускники элитных колледжей зарабатывают приблизительно столько же, сколько выпускники менее престижных учебных заведений – если, конечно, речь идет о людях примерно одинаковых способностей. Единственное исключение – студенты из малоимущих семей, которые зарабатывали больше, если учились в элитных колледжах или университетах. Подход Дейла и Крюгера кажется мне весьма элегантным способом отделить эффект активирования (четырехлетняя учеба в элитном учебном заведении) от эффекта престижности учебного заведения (в эти учебные заведения принимают самых способных студентов). Подводя итоги исследования в статье для The New York Times, Алан Крюгер косвенно ответил на вопрос, поставленный в подзаголовке этой главы: «Вам придется признать тот факт, что ваша собственная мотивация, амбиции и способности будут определять ваш успех в большей степени, чем название колледжа в вашем дипломе»{93}.

Разница в различиях. Один из наилучших способов наблюдать причину и следствие – это сделать что-то, а затем посмотреть, к чему это действие приведет. Именно так маленькие дети (а подчас и взрослые) познают окружающий мир. Например, мои дети довольно быстро поняли, что если бросать куски пищи из одного конца кухни в другой (причина), то собака будет носиться как угорелая по кухне за этими кусками (следствие). Вполне возможно, что та же сила наблюдения помогает человеку в течение жизни. Если сокращение налогов приводит к оздоровлению экономики, значит, оно помогло исправить в ней ситуацию.

Может быть, может быть… Весьма внушительный подводный камень такого подхода заключается в том, что жизнь, как правило, гораздо сложнее швыряния обглоданных куриных ножек из одного конца кухни в другой. Да, на каком-то этапе мы могли сократить налоги, однако примерно на том же этапе развертывались другие «активизации». В колледжи могло поступить большее число женщин, интернет и другие технологические новшества привели к повышению производительности американских рабочих, стоимость китайской национальной валюты оказалась заниженной, профессиональный бейсбольный клуб Chicago Cubs уволил своего генерального менеджера и т. д. Все, что произойдет после сокращения налогов, нельзя приписывать исключительно сокращению налогов. Проблема любого анализа, который можно отнести к категории «до и после», заключается в том, что если одно событие (событие A) произошло после какого-то другого (события B), то это отнюдь не означает, что событие B послужило причиной события A.

Подход, который мы обозначили как «разница в различиях», может помочь идентифицировать последствия некоторой активизации при выполнении двух условий. Во-первых, мы анализируем данные «до» и «после» для той группы или юрисдикции (подведомственной области), которые получили соответствующее активирование, например данные по безработице для округа, реализовавшего программу обучения новым профессиям. Во-вторых, сравниваем эти данные с показателями безработицы за тот же период времени для какого-либо похожего округа, который не реализовал данную программу.

Предполагается (что довольно важно), что две группы, используемые для такого анализа, в целом сопоставимы – за исключением активирования; таким образом, любое значимое различие в исходах между этими группами может быть обусловлено оцениваемой нами программой или политикой. Допустим, что один округ в штате Иллинойс реализует программу обучения новым профессиям в надежде снизить уровень безработицы. Однако в течение двух последующих лет безработица продолжает расти. Означает ли это, что программа провалилась? Как это выяснить?

Разумеется, на этой арене могут действовать множество экономических сил, в том числе и вероятность продолжительного экономического спада. Подход «разница в различиях» сравнил бы изменение уровня безработицы в течение какого-то времени в оцениваемом нами округе с уровнем безработицы в каком-либо из соседних округов, где не реализуется программа обучения новым профессиям. Эти два округа должны быть похожи во всех остальных важных аспектах, таких как структура промышленности, демографическая картина и т. п. Как уровень безработицы в округе, где реализуется программа обучения новым профессиям, изменяется со временем в сравнении с округом, в котором такая программа не внедрена? Мы можем оценить эффект данной программы, сравнив изменения в этих округах за время, в течение которого проводилось данное исследование («разница в различиях»). Другой округ в этом исследовании действует, по сути, как контрольная группа, что позволяет нам воспользоваться данными, собранными до и после воздействия. Если контрольная группа выбрана правильно, то она будет подвергаться воздействию тех же более широких сил, что и подопытная группа. Подход «разница в различиях» может быть особенно поучителен, когда активирование сперва оказывается неэффективным (после начала реализации программы обучения новым профессиям уровень безработицы повышается), хотя контрольная группа показывает, что в отсутствие активации эта тенденция могла быть еще хуже.

Анализ на основе разрывности. Один из способов создать подопытную и контрольную группы – сравнить исходы для какой-то группы, которая едва подходит для воздействия или активирования, с исходами для группы, которая едва превысила порог непригодности и не получает активирования. Те, кто окажется чуть выше или чуть ниже некоторого случайно выбранного предела, например результата сдачи экзаменов или минимального дохода семьи, будут почти идентичны во многих важных отношениях; то обстоятельство, что одна группа получила активирование, а другая – нет, является, по сути, делом случая. В итоге мы можем сравнить их исходы таким способом, который позволял бы сделать значимые выводы относительно эффективности соответствующего воздействия.

Допустим, какому-то учебному округу требуется летняя школа, в которой могли бы заниматься отстающие ученики. Руководство округа хотело бы знать, представляет ли собой какую-либо долгосрочную учебную ценность такая программа летнего обучения. Как обычно, простое сравнение учеников, посещающих и не посещающих эту школу, было бы не только бесполезно, но даже вредно. Ученики, которые посещают такую школу, ходят туда именно потому, что являются отстающими. Даже если программа обучения в этой школе весьма эффективна, успеваемость ее учеников в долгосрочной перспективе все же, по-видимому, будет хуже, чем успеваемость учеников, не нуждающихся в дополнительных занятиях. Мы хотим знать, какой будет успеваемость отстающих учеников после посещения летней школы по сравнению с их успеваемостью в случае, если бы они ее не посещали. Да, мы могли бы провести нечто вроде управляемого эксперимента, в ходе которого случайным образом отобрали бы отстающих учеников для посещения летней школы, и, соответственно, отстающих учеников, которые не будут в нее ходить (контрольная группа). Однако это бы предполагало отказ контрольной группе в доступе к программе обучения в летней школе, между тем как мы предполагаем, что обучение в летней школе будет полезно всем отстающим ученикам.