Книга О чем говорят цифры. Как понимать и использовать данные - Ким Хо

Строгий эксперимент больше не является прерогативой одних только ученых; сейчас он стал аналитическим приемом, необходимым каждой крупной компании. Сейчас широко распространено программное обеспечение, помогающее менеджерам и аналитикам проводить анализ. Компании получили возможность принимать решения на основе строго научных экспериментов. В прошлом любое вторжение в область рандомизированного тестирования (случайного распределения участников целевой и контрольной групп, о котором мы только что говорили) требовало приглашения дипломированного специалиста по статистике или по разработке научных экспериментов. Теперь магистр делового администрирования, прошедший курс статистического анализа, вполне может организовать процесс с помощью нужного программного обеспечения, помогающего определить численность целевой и контрольной групп, сайты для тестирования и контроля, а также сделать оценку статистической значимости любых отклонений, выявленных в ходе эксперимента.

«Проекты сумасшедших ученых» особенно удачно подходят для розничных сетей с многочисленными супермаркетами, банков с множеством отделений и других подобных компаний. Это упрощает использование части торговых точек или отделений в качестве целевых, а остальных – в качестве контрольных. Стало легко проводить эксперименты на сайтах, где часть посетителей можно направить на одну версию интернет-страницы, а вторую часть – на другую ее версию, а потом проверить, окажутся ли результаты существенно отличными (это называется А/В тестированием в сфере исследования сайтов).

Некоторые примеры «проектов сумасшедших ученых» приведены ниже[17].

• Способствует ли установка аквариумов с живыми омарами их продажам в супермаркетах Food Lion? Видимо, ответ будет утвердительным, если покупатели этого супермаркета уже привыкли покупать здесь омаров (то есть принадлежат к группе лиц со сравнительно высокими доходами), и отрицательным, если обеспеченные покупатели не заходят сюда.

• Увеличится ли общая выручка супермаркета Kmart, если часть его торговых площадей отвести под магазины супермаркета Sears? Председатель совета директоров компании Sears Holdings Эдди Ламперт является большим поклонником рандомизированного тестирования. Он протестировал различные комбинации использования торговых площадей. На этот конкретный вопрос у нас ответа нет, но можно предположить, что если бы он был положительным, то таких комбинированных супермаркетов было бы гораздо больше.

• Какие из сети ресторанов морепродуктов Red Lobster (с высоким, средним или низким уровнем цен) обеспечивают максимальный объем продаж и что важнее для привлечения клиентов: внешний вид ресторана или его внутренняя отделка? Топ-менеджеры Red Lobster утверждают, что наибольшие продажи обеспечивают рестораны средней ценовой категории. Внешний вид ресторана играет очень большую роль в привлечении новых клиентов, но если они увидят, что его внутренняя отделка не соответствует внешнему виду, то второй раз в этот ресторан не придут.

Проект «Опрос». Опросы – это классический метод количественного анализа. Аналитики, проводящие их, имеют дело с уже произошедшими или происходящими в данный момент событиями. Аналитик не пытается повлиять на результаты, он только наблюдает, классифицирует и анализирует их. В типичном случае интервьюер стремится выявить статистически значимую зависимость между рядом исходных и рядом изучаемых факторов или переменных. Самый простой пример – опрос в выборке покупателей конкретного продукта об их личных характеристик, в том числе демографических (возраст и пол). Задавая вопросы о том, какие продукты они предпочитают, можно выяснить, пользуется ли конкретный продукт спросом в большей степени у мужчин, чем у женщин, будут ли определенные продукты пользоваться спросом преимущественно у молодых покупателей.

Опросы весьма популярны и несложны с точки зрения организации и проведения. Однако следует помнить, что полученные результаты могут существенно отличаться в зависимости от постановки вопросов и изменения их формулировок с течением времени. Например, Бюро переписи населения США десятилетиями работает над формулировкой вопроса о национальной принадлежности граждан. Количество вариантов ответа на этот вопрос постоянно увеличивается; в 2010 году предлагалось выбрать из пятнадцати вариантов, в том числе «другая национальность». Этот ответ пользовался большой популярностью среди граждан США – латиноамериканцев: 18 миллионов из более чем 50 миллионов отметили именно его[18]. Если уж вопрос о национальности вызывает столько сомнений, то что говорить о таких скользких темах, как политика, религия, социальный статус или сексуальные привычки!

Кроме того, нам следует помнить, что сама по себе связь между двумя переменными еще не говорит о ее причинно-следственном характере. Мы поговорим об этом подробнее в главе 6, а пока просто отметим, что вполне могут существовать и другие переменные, оставшиеся за рамками анализа; именно они, возможно, обусловливают выявленную зависимость. Опросы предполагают выяснение убеждений или отношений людей к тем или иным событиям, но их вопросы не должны задевать эмоции интервьюируемых. Рассмотрим в качестве классического примера (приводимого во многих учебниках по статистике) устроенный во время Второй мировой войны опрос об организации ремонта самолетов.

Во время Второй мировой войны нужно было обеспечить максимально длительное функционирование самолетов, поэтому было решено выяснить, можно ли сократить количество трудоемких ремонтов моторов без роста аварийности. Был проведен ретроспективный опрос о самолетах, потерпевших катастрофу, и вопреки всем ожиданиям оказалось, что количество аварий из-за проблем с моторами достигало максимума непосредственно после ремонтов, а затем постепенно снижалось. В результате было принято решение существенно удлинить интервалы между ремонтами и, естественно, пересмотреть их характер, чтобы убедиться в том, что все гайки и болты затянуты как надо[19].

Если вы планируете провести опрос или проанализировать его результаты, сначала убедитесь, что смысл включенных в анкету вопросов, равно как и отобранных для анализа переменных, тщательно продуман. Переменной называется любая количественно измеримая характеристика параметров людей, ситуаций или поведения с двумя или больше уровнями или вариантами значений. Пол, балл на экзамене, температура в помещении, любовь, счастье, сплоченность команды – все это примеры переменных.

Кроме того, важно убедиться, что выборка для опроса репрезентативна для той группы населения, которую вы собираетесь тестировать. Способы проведения опроса могут повлиять на результаты. Например, если хотите изучить поведение молодежи или ее отношение к чему-то, не стоит нанимать маркетинговую компанию, проводящую опросы исключительно по стационарным телефонам. Да, это стандартный способ их проведения, но мы ведь знаем, что у многих молодых людей просто нет стационарных телефонов, да они и не собираются ими обзаводиться. В результате выборка для молодежи будет нерепрезентативной[20].