Миллион прогнозов показал, где люди ошибаются
Израильские исследователи выяснили, когда коллективные оценки полезны и почему они не гарантируют знание будущего.
Представьте, что сотня событий получила вероятность 70%. Если приблизительно семьдесят из них действительно произошли, прогнозы можно считать хорошо откалиброванными. Это не означает, что кто-то заранее знал исход каждого случая. Но показывает: оценки вероятности в больших массивах совпадают с тем, что происходит на самом деле. Именно такую закономерность обнаружили израильские исследователи.
Команда Школы психологических наук Тель-Авивского университета под руководством профессора Михаэля Гилеада проанализировала 1 014 122 прогнозные записи с платформ Polymarket, Kalshi, Manifold и Metaculus. Наблюдения охватили десять лет, двенадцать тематических областей и события, развязка которых наступала как через несколько часов, так и спустя годы. Результаты опубликованы в научном журнале Proceedings of the National Academy of Sciences (PNAS).
Эти платформы собирают ожидания участников разными способами: где-то люди торгуют контрактами на исход событий, где-то непосредственно оценивают их вероятность. Полученные числа позволяют проверить не только попадание в конкретный результат, но и качество вероятностной оценки. И здесь выяснилось, что усреднённая точность скрывает заметные перекосы.
События, связанные с военными конфликтами и международными отношениями, участники чаще считали более вероятными, чем следовало из последующих результатов. Подобное завышение исследователи обнаружили и в технологической сфере. В прогнозах по выборам проявлялась обратная тенденция: вероятность некоторых исходов, особенно оценённых изначально как маловероятные или умеренно вероятные, недооценивали. Эти особенности не отменяют общую закономерность, но предупреждают против доверия к одному красивому проценту.
Учёные проверили также, как оценки меняются по мере приближения развязки. Прогнозы становились информативнее, поскольку участники лучше различали события, которые действительно случатся, и те, которые не произойдут. Однако соответствие заявленных вероятностей реальной частоте исходов было заметно уже после прохождения примерно четверти срока прогнозирования. Значит, коллективные оценки способны нести полезную информацию задолго до финала.
У исследования есть и граница применимости. Проверялись прогнозы с известным исходом, сделанные участниками конкретных площадок. Это не универсальный закон для любых вопросов о будущем и тем более не способ определить, что произойдёт с отдельным человеком. Вероятность 70% всё ещё оставляет 30% на другой исход. Для решений, где цена ошибки велика, важны и источник оценки, и тип события, и то, насколько она свежая.
Главное открытие работы не в том, что будущее стало прозрачным. Оно в различии между вероятностью и обещанием: коллективная оценка может быть надёжной в совокупности прогнозов, но один конкретный прогноз при этом всё равно окажется неверным. Поэтому научный вопрос звучит не «кто угадал», а «насколько верно были рассчитаны шансы».
Фото: редакция ИЗНАНКИ.
