Вы заказали исследование. Как контролировать качество работы агентства

6 сентября 2017

Исследовательские агентства клиентов обманывают. Не все и не всегда. Но если вы не включаетесь в проверку качества проведения исследования, нет гарантии, что не обманывают вас. Я попросил Екатерину Палховскую и Сергея Бургазлиева — людей, посвятивших много лет организации и проведению исследований, — рассказать, как компания-заказчик может контролировать работу маркетингового агентства.

Екатерина Палховская

Екатерина Палховская
Strategy&insight manager Danone Belarus, кандидат социологических наук.
в исследованиях с 2008г.
профиль в LinkedIn

Сергей Бургазлиев

Сергей Бургазлиев
Управляющий партнер в EURussia-Partners, MBA.
в исследованиях с 2005г.
профиль в LinkedIn

 

Принципы контроля работы с исследовательскими агентствами

Екатерина Палховская: Сбор информации — фундамент, на котором стоит маркетинговое исследование. Если собранные данные недостоверны, то бессмысленно приступать к обработке и анализу результатов. Более того, решения, основанные на неточной и ненадежной информации о рынке, могут разорить компанию.

Если вы заказали исследование, рекомендую держать в поле внимания четыре параметра:

  • Соответствие респондентов целевой аудитории — отвечал действительно человек, мнение которого вам интересно?

  • Полноту заполнения анкеты — респондент ответил на все вопросы?

  • Корректность озвучивания вопросов — вопросы зачитывались в том виде, как они записаны в анкете?

  • Точность фиксации ответов — ответы на открытые вопросы записаны дословно, без интерпретаций интервьюера?

Десяти или пятнадцатилетний опыт маркетингового агентства — не повод не проверять его работу. Возможно компания зарабатывала стаж на заказчиках, которые не вникали в детали исследования. А если бы начали вникать, то давно сбежали бы.

В договоре с агентством отразите, как вы будете контролировать качество сбора информации. Оговорите штрафные санкции за предоставление некачественных данных. Например, 10% анкет с ошибками — размер оплаты уменьшается на 30%, 20% анкет с ошибками — работа агентства не принимается, предоплата возвращается.

Сергей Бургазлиев: Нельзя не контролировать работу исследовательского агентства. Причем контролировать нужно все: от разработки анкеты до выбора метода обработки данных. Лучше не скупиться на контроль, чем потом переделывать исследование.

Надежность результатов исследования не гарантирует ни опыт, ни статус международной компании. В регионах России, например, крупные агентства могут работать через местных подрядчиков. И где задействованы большие бюджеты, найдутся те, кто «нарисует» любую анкету, распределив ответы наугад.

Наймите специалиста, который не менее 2,5 лет проработал в исследовательском агентстве, и контролировать ход исследования будет проще. Этот человек будет мотивировать агентство постоянно следить за качеством работы. Он проверит формулировки и порядок вопросов, шкалы, квотирование, выборку, способ анализа. Не постесняется посмотреть заполненную анкету и позвонить респондентам узнать, участвовали ли они в исследовании.

Выявить ошибки в сборе информации также поможет опытный аналитический отдел, который отследит необычные колебания в распределении ответов. Если происходит резкое отклонение от средних значений, значит произошло что-то экстраординарное, требующее внимания и разбирательств.

 

Особенности контроля качества проведения

а) ... личных интервью

Екатерина Палховская: Интервью должны записываться на диктофон, и у вас — клиента — должна быть возможность их прослушать. Настаивайте, чтобы агентство предоставило вам записи не менее 95% интервью.

Если опрос идет без аудиозаписи, проверить качество сбора информации сложно. Допустим, у нас на руках заполненная анкета и номер телефона, который оставил респондент. Даже если с ним связаться, респондент подтвердит только участие в исследовании. Мы не узнаем, какие вопросы задавали и в какой формулировке, насколько полными были ответы. Иначе контрольный звонок превратится в повторный опрос.

Если не ведется аудиозапись и интервьюер решит обмануть работодателя, он задаст респондентам 3-5 вопросов из анкеты, а на остальные ответит сам. И вероятность обнаружения обмана мала. Когда же интервью записывается, вы сможете проверить качество опроса от начала до конца и сразу выявить «Василис-работниц», которые заполняют анкеты «на коленке».

Перед тем, как предоставить заказчику записи интервью, агентство обязано проверить качество проведения опроса. Если обнаружит ошибки или брак, анкеты из обработки удаляются и проводятся дополнительные интервью. Запросите файл с итогами проверки, где вы увидите номер интервью, интервьюера и результат проверки. Прослушайте не менее 15% интервью каждого интервьюера. Если находите ошибки — слушайте все записи.

проверка качества работы исследовательского агентства
проверка выявляет недобросовестность агентства

Сергей Бургазлиев: Аудиозапись интервью обязательна, но она не защищает от накруток числа респондентов. В середине 2000-х недобросовестные агентства часто практиковали, когда один человек менял голос и отвечал на одну анкету несколько раз. Выявить такое сложно. Даже если вы знаете, что в 50 интервью участвовало 10 человек, я не уверен, что вы распознаете, кто когда отвечал. Можно попить холодной воды и тембр голоса понизится, выпить чай с лимоном — голос станет более звонким.

Универсального рецепта борьбы с подобными накрутками нет. Что можно предпринять:

  • Просите паспортные данные респондентов или номера телефонов. Но если респондент откажется, интервьюер не вправе настаивать, и вы с этим ничего не сделаете.

  • Если исследование проводится на улице, в кафе или другом общественном месте, делайте видеосъемку опроса. Пусть агентство установит видеокамеру, которая, например, будет снимать улицу и одновременно захватывать процесс интервью.

  • Если это возможно и не противоречит задачам исследования, предоставьте маркетинговому агентству базу для рекрутинга респондентов. Например, если Тойота хочет изучить пользователей новых Лексус, отдел маркетинга может взять список автовладельцев у официальных дилеров.

б) ... онлайн опроса

Екатерина Палховская: Для проверки качества онлайн опросов включите в анкету просьбу оставить номер сотового телефона или электронный адрес рабочей почты.

Вместе с результатами опроса запросите у агентства информацию об ip-адресе каждого респондента. Убедитесь, что нет повторов. Если в качестве респондентов вы хотели видеть жителей определенного региона, проверьте географическое расположение ip-адреса (например, с помощью сервиса xseo.in/ipinfo).

Сергей Бургазлиев: При онлайн-опросах можно столкнуться с ошибками в отборе респондентов — из-за большого количества фейковых профилей и аккаунтов неясно, кто перед нами и насколько он (она) соответствует критериям выбора. Опять же нет гарантии, что один и тот же человек не станет участвовать в опросе несколько раз, оставляя, например, разные адреса электронной почты. Поэтому желательно соотносить респондентов с некими оффлайн идентификаторами, например, предложить пополнить баланс сотового телефона или банковской карты за участие в опросе.

в) ... фокус-групп

Екатерина Палховская: Агентство может не справляться с поиском участников фокус-групп и попытаться закрыть дыры знакомыми: привести человека и подогнать его под критерии отбора. «Купи один раз, попробуй, потом скажешь, что покупаешь регулярно». Поэтому заказчику исследования важно присутствовать на этапе предварительного интервью, которое проводится перед фокус-группой.

Не стесняйтесь попросить паспорт, если возникли сомнения по поводу возраста или семейного положения участника (если это стоит как критерий отбора). Если важны регулярные потребители продукта, задайте несколько вопросов по его цене, вкусу, упаковке. Респондент может не назвать точную стоимость в копейках или вес в граммах, но в разумный интервал всегда попадет (если это регулярный потребитель продукта).

Допускайте на фокус-группу людей с нормальными коммуникативными способностями. Поэтому на этапе предварительного интервью отмечайте, как человек формулирует мысли и подбирает доводы.

Сергей Бургазлиев: При проведении фокус-групп ведется аудио- и видеозапись. Несмотря на это рекомендую присутствовать на фокус-группе лично — будет возможность влиять на ход обсуждения, если что-то пойдет не в соответствии с ожиданиями или вы захотите более глубоко обсудить какой-либо момент.


 

Подпишитесь, чтобы ничего не пропустить.
Нажимая на кнопку, вы соглашаетесь с политикой обработки персональных данных