Мудрость толпы не всегда совершенна. Но двое ученых из Лаборатории нейроэкономики Слоана Массачусетского технологического института вместе с коллегой из Принстонского университета нашли способ улучшить ситуацию.
Их метод, описанный в недавно опубликованной статье, использует метод, который исследователи называют «удивительно популярным» алгоритмом, чтобы лучше извлекать правильные ответы из больших групп людей. Таким образом, он мог бы улучшить опросы общественного мнения, которые используются в политическом и экономическом прогнозировании, а также во многих других коллективных мероприятиях, от ценообразования произведений искусства до оценки предложений научных исследований.
Новый метод прост. Для заданного вопроса людей спрашивают о двух вещах: каков, по их мнению, правильный ответ, и каким, по их мнению, будет общественное мнение. Разница между двумя совокупными ответами указывает на правильный ответ.
«В ситуациях, когда в толпе достаточно информации, чтобы определить правильный ответ на вопрос, этот ответ будет тем, [который] больше всего превосходит ожидания», - говорит соавтор статьи Дрейзен Прелек, профессор MIT Sloan School of Management, а также Департамент экономики и Департамент мозга и когнитивных наук.
Документ основан как на теоретической, так и на эмпирической работе. Исследователи сначала получили свой результат математически, а затем оценили, как это работает на практике, с помощью опросов, охватывающих ряд тем, включая столицы штатов США, общие знания, медицинские диагнозы дерматологов и оценки аукционов произведений искусства..
Во всех этих областях исследователи обнаружили, что «удивительно популярный» алгоритм уменьшил количество ошибок на 21.3 процента по сравнению с простым большинством голосов и на 24,2 процента по сравнению с базовым взвешенным по достоверности голосованием (где люди выражают свою уверенность в своих ответах). И это уменьшило количество ошибок на 22,2 процента по сравнению с другим типом голосования, взвешенного по достоверности, когда ответы брали с самым высоким средним уровнем достоверности.
Документ «Решение проблемы мудрости толпы с одним вопросом» опубликован сегодня в журнале Nature. Авторы Prelec; Джон Маккой, докторант кафедры мозга и когнитивных наук Массачусетского технологического института; и Х. Себастьян Сеунг, профессор неврологии и информатики Принстонского университета и бывший преподаватель Массачусетского технологического института. Прелек и Маккой также являются исследователями в лаборатории нейроэкономики Массачусетского технологического института, где Прелек является главным исследователем.
Отличная идея
Чтобы увидеть, как алгоритм работает на практике, рассмотрим случай, проверенный исследователями. Группе людей задали вопрос «да» или «нет»: является ли Филадельфия столицей Пенсильвании? Их также попросили предсказать распространенность голосов «да».
Филадельфия не является столицей Пенсильвании; правильный ответ Гаррисберг. Но большинство людей считают Филадельфию столицей, потому что это «большой, исторически значимый город». Более того, люди, ошибочно считавшие Филадельфию столицей штата, в основном думали, что другие люди ответят тем же. Поэтому они предсказали, что очень высокий процент людей ответит «да».
Между тем, определенное количество респондентов знали, что правильный ответ - Harrisburg. Однако большая часть этих людей также ожидала, что многие другие люди неправильно сочтут, что столицей является Филадельфия. Таким образом, люди, которые сами ответили «нет», по-прежнему ожидали очень высокого процента ответов «да».
Это означает ответ на два вопроса - Является ли Филадельфия столицей? Будут ли так думать другие люди? - расходились. Почти все ожидали, что другие люди ответят «да». Но реальный процент людей, ответивших «да», был значительно ниже. По этой причине ответ «нет» оказался «на удивление популярным», поскольку он отклонялся от ожидаемого ответа.
И поскольку «удивительно популярный» ответ отличался в сторону «нет», это говорит нам о правильном ответе: Нет, Филадельфия не столица.
Тот же принцип применяется независимо от того, в каком направлении ответы отклоняются от ожиданий. Когда людей спросили, является ли Колумбия столицей Южной Каролины, произошло обратное: больше людей ответили «да» по сравнению с их ожиданиями относительно того, сколько людей ответит «да». Таким образом, на удивление популярный ответ был правильным: Да, Колумбия - столица.
Мудрость подмножеств толпы
В этом смысле принцип «удивительной популярности» не просто вытекает из мудрости толпы. Вместо этого он использует знания хорошо информированной подгруппы людей в большей толпе в качестве мощного диагностического инструмента, который указывает на правильный ответ.
"Многие мнения толпы одинаково взвешивают людей", - объясняет Маккой. «Но некоторые люди обладают более специализированными знаниями». И эти люди - если они обладают верной информацией и правильным пониманием общественного мнения - имеют большое значение.
Это происходит во всех сценариях, протестированных исследователями. Рассмотрим искусство. Исследователи попросили профессионалов в области искусства угадать диапазон цен на различные современные произведения искусства. По отдельности искусствоведы выбирали ценовые диапазоны, которые, как правило, были слишком низкими, возможно, потому, что выбор более низкого диапазона является разумным и безопасным ответом для произведения искусства, которое эксперт не распознает. В совокупности это делает мнение большинства экспертов еще более предвзятым в сторону низких цен.
И здесь принцип «удивительной популярности» имеет значение, поскольку он не зависит от мнения абсолютного большинства экспертов. Вместо этого предположим, что относительно небольшое число экспертов считает, что произведение было продано за 100 000 долларов, в то же время ожидая, что большинство других людей решит, что оно было продано за меньшую цену. В этом случае оценки этих экспертов приведут к «удивительно популярному» ответу, что произведение искусства было дороже, чем думало большинство людей.
«Аргумент в этой статье, в очень грубом смысле, заключается в том, что люди, которые ожидают быть в меньшинстве, заслуживают некоторого дополнительного внимания», - говорит Прелек.
Восстановление правды
Ученые признают, что «удивительно популярный» алгоритм теоретически не является надежным на практике. По крайней мере, можно предположить, что люди могли бы предвидеть «удивительно популярное» мнение и попытаться ниспровергнуть его, хотя это было бы очень трудно осуществить. Дело также в том, как они пишут в газете Nature, что «эти утверждения являются теоретическими и не гарантируют успеха на практике, поскольку реальные респонденты не будут соответствовать идеалу».
Тем не менее, сами исследователи надеются, что их работа будет проверена в различных условиях. В документе они выражают уверенность в том, что принцип «удивительной популярности» окажется долговечным, утверждая: «Такие знания можно использовать для восстановления истины, даже когда традиционные методы голосования не работают."