Делать ли опрос участников мероприятия, чтобы улучшить программу

Стоит ли ориентироваться на отзывы участников при составлении программы мероприятия? С какими трудностями есть все шансы столкнуться в работе с опросниками, куда двигаться при подготовке программы конференции и насколько в этом поможет опрос участников мероприятия — рассказала Полина Баева, член программного комитета форума SOLD OUT. 

 

Аналитика — это не статистика

Часто организаторам под видом аналитики выдают посчитанные данные о том, сколько участников из каких городов, каких должностей и из каких компаний приняли участие в конференции. Это — не аналитика. Это статистика.

Аналитика — это работа с гипотезами и внятными ответами на вопросы «а зачем мы это считали? Что мы хотели понять? Какую гипотезу проверяли?». Лучше этот вопрос задать себе сразу, чтобы считать нужное, а ненужное не считать (ещё лучше — не спрашивать!).

«Ивентология» есть в Telegram! Подписывайтесь на наш канал и читайте самый свежий и полезный контент об организации мероприятий от нашей команды.

 

Качество вопросов

Аналитика важна не столько в моменте, сколько на дистанции, чтобы как раз-таки посмотреть, есть ли у вас комьюнити, например, и как поменялись ответы на один и тот же вопрос.

Проблемы, с которыми есть риск столкнуться

• Изменение формулировок вопросов и/или исключение вопросов из опросника

Непонятно в этом случае, что и с чем мы собираемся сравнивать на дистанции в несколько лет. Если не собираемся, то зачем это вообще затевать.

• Отсутствие конкретики в формулировках вопросов

Вот задаёте вы, например, вопрос «Оцените программу конференции» или «Что не так с программой мероприятия». 

Что такое программа? Это только доклады? Или афтепати тоже? А нетворкинг-активности — это программа или уже не совсем? А активности на выставке? Как участник должен разделить своё целостное восприятие конференции на части, о которых ему ещё и неизвестно?

У нас как будто бы и так проблем хватает из-за того, что люди читают одно, понимают под прочитанным каждый своё, а отвечают вообще на третье. Так зачем создавать себе их самостоятельно?

• Много лишних вопросов

Опрос участников мероприятия, по мнению Полины, должен составлять или продакт, или аналитик, или они вместе. То есть те люди, которые знают, что спрашивать, зачем спрашивать, какими формулировками и как использовать полученные данные в дальнейшем. 

Например, вы задаёте вопросы про площадку. Что вы хотите узнать и для чего? Удобна/неудобна она была для участников? Вы реально собираетесь менять площадку, если 1/25 часть аудитории скажет, что в ней не слишком комфортно? А есть на что менять, особенно в регионах, где, как нам известно, «площадку выбрать легко, она там одна»? Если нет — тогда зачем этот вопрос?

Избыточность отнимает силы, время и желание проходить опросник. Есть некоторая вероятность, что человек или не дойдёт до ответа на действительно важные для нас вопросы, или ответит кое-как, просто потому что он уже устал на первых 15 пунктах.

 

Качество аналитики

Допустим, на конференции присутствовало 1500 человек, из них опрос прошли, скажем, 300 человек. То есть опрос уже прошли не все, то есть есть некая гипотеза, что ответы не совсем репрезентативны. 

Далее. Допустим, что 150 участников написали, что хотелось бы более хардовую программу конференции. И мы уже тянемся менять программу мероприятия под «хардкор». Стоп. А кто эти 150? Потому что «hard» для разных людей — это разное.

И тут было бы здорово посмотреть на общую картину:

• сколько участников, какого уровня и из каких компаний были на конференции — сегментировать их 
• посмотреть на уровень зрелости этих компаний
• посчитать долю присутствия каждой группы 
• посмотреть, какая доля какой группы отзывов приходится на каждую группу
• посмотреть на статистические выбросы (кажется, что инсайты могут быть именно там)
• подумать, что бы это всё могло значить — проверить ряд гипотез, покрутив разные данные под разными углами зрения.

Что ещё полезно:

• посмотреть, как менялась аудитория на дистанции 
• как менялось содержание программы мероприятия
• попытаться понять, почему это произошло/происходит и какие в этом есть риски для конференции в среднесрочной перспективе.

Может, мы сдвинули фокус и теперь собираем другую публику? Это не хорошо и не плохо — это надо осознать. А, осознав, прикинуть риски.

«Ивентология» есть в Telegram! Подписывайтесь на наш канал и читайте самый свежий и полезный контент об организации мероприятий от нашей команды.

 

Все врут

Плохая новость заключается в том, что мы никогда не получим честные и полные ответы на поставленные вопросы. Это нереально. Потому что люди живые: человек заполняет анкету уставшим, под впечатлением от последнего спонсорского кофе, хочет выглядеть умным или просто уже торопится на такси. Его мнение искажено памятью, эмоцией, социальной одобряемостью и усталостью. Это реальность.

Хорошая новость: если помнить о том, что все люди лукавят (даже не подозревая об этом), то жизнь становится проще и приятнее. Мы перестаём требовать от цифр священной истины и начинаем с ними работать.

Что делать?

• Относиться к опросу участников мероприятия как к генератору гипотез, а не к источнику истины. Гипотеза: «Сеньорам не хватило глубины». Ок, проверяем.
• Копать глубже. Нашли сегмент, который недоволен? Не гадайте, почему. Возьмите 5-7 человек из этого сегмента и проведите короткие интервью: «Эй, вот ты написал про «хардкор». А что это для тебя? Приведи пример, как это должно быть в идеале». Это даст в 100 раз больше, чем тысяча анкет.
• Смотреть на поведение, а не на слова. 

Самый честный фидбек — это то, как люди голосовали ногами. Какие сессии были забиты под завязку, а на какие зашло 5 человек? Какой был процент ухода в середине доклада?

Суть в том, чтобы смотреть на всю картину целиком, а не на какой-то один фрагмент.