Искажения на карте

Всем привет! Я сомневался, стоит ли публиковать этот пост. Но, задав себе вопрос, будет ли правильно, если все-таки опубликую, я честно ответил себе, что да, будет. Поэтому поехали.

Прежде всего должен сказать, что хоть я и сижу в ридонли с первого года существования TJ, зарегистрировался я только неделю назад и только для того, чтобы поддержать одного из участников конкурса. Зайдя в мой профиль легко понять, за кого, срыва покровов нет.

Начинается все с двух комментариев к посту с объявлением конкурса:

То есть в прошлый раз редакцию «обвиняли в том, что представители TJ как-то не так голосовали». И в этот раз было решено передать функцию выбора зарегистрированным участникам, но вот методологию выбрали в корне неправильную.

Так почему же механика голосования крайне неудачная? Читайте ответ ниже.

Социологи, которые подходят к составлению опросов профессионально, никогда не предложат вам выбирать 1 вариант среди 20. Человеческая психика имеет ограничения на восприятие 20-ти номинальных (т.е. равнозначных, как, например, имена) объектов одновременно и, тем более на их сравнение.

Что можно было бы сделать: изначально пропустить в финал не больше 9-11 вариантов. Это край, за которым наш мозг полностью теряется, начинает лениться и выбирает то, что попалось на глаза раньше, чтобы избежать дискомфорта (о возрастающем при увеличении вариантов психологическом дискомфорте и стремлении от него избавиться замечательно рассказывает психолог Барри Шварц). Я называю число 11, потому что это - максимальное число вариантов для единичного выбора по шкале известного американского социолога Луиса Терстоуна (правда он предлагал выбирать между шкалируемыми объектами по типу «от негативного к позитивному», «от холодного к теплому», но само количество интервалов, между которыми можно выбирать, было равно 5, 7, 9, но не больше 11).

Вывод: предлагать людям выбирать из 5-7 номинальных вариантов – хорошо и оптимально, из 9-11 – приемлемо, из 20 одновременно – неприемлемо.

Таким образом, мы выяснили, что с большой долей вероятности голосующие просто не могут «уместить» в голове все варианты одновременно, и поэтому мы наблюдаем имеющееся сейчас искажение – а именно: за верхние варианты голосуют больше, а за нижние – меньше. И линия тренда поможет нам это доказать:

Однако, вы можете возразить мне, что на линию тренда мог повлиять вариант «Зюзино», который имеет максимальное количество голосов с отрывом. А давайте возьмем и поставим варианту «Зюзино» чисто для эксперимента усредненное количество голосов, равное 18 (получаем, поделив 360 (общее количество голосов) на 20 (количество участников)). И посмотрим на линию тренда снова:

Таким образом, линия тренда подсказывает нам, что искажение из-за порядка все равно присутствует: варианты сверху искусственно получают больше голосов, чем варианты снизу.

Что можно было сделать: раз уж организаторы на берегу договорились пропустить в финал 20 участников, нужно было обеспечить рандомное (т.е. случайное) перемешивание вариантов при каждом новом заходе на страницу. Текущее искажение в пользу первых вариантов довольно сильное с учетом относительно небольшого количества голосующих. И оно реально повлияло на окончательный результат.

Кстати, я писал об этом в комментариях, но меня проигнорировали:

А ведь прикрутить голосовалку с рандомизацией на сайт – это быстро.

Идем далее. Добавленные редакцией описания только усугубили проблему с большим количеством объектов для сравнения. Каждый объект превратился в 2 предложения, две фразы вместо одной. Из школьного курса мы помним, что предложение – это законченная мысль. То есть выбирать стало нужно из 20-ти сложных парных вариантов.

Кстати, если кто-то не читал посты участников в течение месяца либо хочет вспомнить, что это были за истории, он никогда не будет открывать 20 вкладок (возвращаемся к пункту, что финалистов должно было быть гораздо меньше). Человек будет просто читать название + описание от редакции.

А теперь сравните, пожалуйста, пары описаний от редакции:

Действительно, здесь есть кое-что, что в машинном обучении называют эмоциональным тоном текста или сентемент-тоном. Эти описания эмоционально окрашены и, тем самым, создают искажения для восприятия. Но не будем использовать нейросети. Будет достаточно проанализировать редакционные описания на коленке:

Как видим, они задают разный эмоциональный тон, и, таким образом, помогают одним вариантам набирать больше, а другим (в т.ч. и очень крутым) – становиться скучными и неинтересными для голосования.

Что нужно было сделать: отказаться от описаний. Так было бы минимизировано негативное влияние слишком большого количества объектов для выбора, и мы бы избежали искажений из-за разного эмоционального тона описаний.

Здесь нужно задаться правильным вопросом: а не влияет ли эмоциональная окраска или фишка названия конкурсного текста на то, как за него проголосуют? Ответ – да, влияет, и, возможно, даже больше чем то, фотографии какого качества представил автор или какой текст написал. Но это право автора называть свою работу. И да, тут некоторые схитрили с названиями. Но у пользователей есть право по своему усмотрению оценивать работы, а у авторов – право оформлять их в соответствии с правилами. Не запрещено = разрешено. Я же в этой статье хотел рассказать об искажениях, которые, как я верю, были допущены редакцией несознательно, но которые все-таки сильно изменили итоги конкурса. Двигаемся дальше. Там интересно и коротко.

Я хотел бы еще сказать про эффект новизны, который также дал колоссальное искажение. Если кратко, то после обнуления голосования два добавленных конкурсанта резко схватили много голосов (между прочим, второе и поделенное с другим постом третье места) просто потому, что пользователи увидели новые объекты для выбора в самом верху опроса.

И предлагаю посмотреть на графики-картинки. Пикча первая: 2 участника, добавленных в верх опроса 8 сентября демонстрируют отличие от всех (кроме странного Занзибара, у которого 3 дизлайка и 3 голоса) остальных участников. У них у единственных (кроме Занзибара) голосов внезапно намного больше, чем лайков.

И еще одна интересная диаграмма. Отсортируем слева-направа уже не по голосам, как на предыдущей пикче, а по лайкам под оригинальными постами по убыванию:

Искажение есть? Есть, причем настолько сильное, что эти люди подвинули явных фаворитов с очень сильными работами на 4-ое и т.д. места. Все мы понимаем, о ком речь. Люди блин костюмы к черту на куличики тащили ради одной фотки или реально ездили на край света, несмотря на расстояния и холод. Я сейчас, конечно, сам добавляю искажений, но уже как обычный юзер, который скромно делится мнением.

В общем, извините меня за простыню текста. Неправильно будет понимать, будто я считаю, что вы голосовали неправильно. Нет. Правильно будет говорить, что вам неосознанно создали такие условия для выбора, в которых искажения все похерили.

А теперь вопрос: будем дальше считать, что голосование получилось правильным?

blog comments powered by Disqus

Добавить комментарий



Последние посты

Авторы