Калибровка прогнозов: оценивать вероятность, а не уверенный тон

Прогноз должен допускать однозначный расчёт

«В следующем году бизнесу будет непросто» нельзя аккуратно проверить: у фразы нет порога, даты и источника итога. Учебный прогноз лучше записать так: «С вероятностью 70% опубликованная годовая выручка условной компании превысит прошлогоднюю по тому же периметру». Далее укажите валюту, отчёт, срок разрешения вопроса и обработку пересчётов. Здесь важна культура записи, а не предсказание конкретной бумаги.

Методология оценки прогнозов различает проверку одного прогноза, сравнение нескольких подходов и объединение прогнозов. Такие задачи требуют подходящих метрик: ошибка точечного числа и качество вероятности события — не одно и то же. Исследование профессиональных прогнозистов также подчёркивает, что одна точечная оценка сама по себе не сообщает неопределённость автора.[1][2]

Журнал, который трудно переписать задним числом

Для каждой записи нужны дата создания, формулировка, вероятность, основание, предельная дата и правило определения исхода. Первоначальную запись не удаляют при обновлении. Новая информация может обоснованно изменить вероятность, но это уже новая версия с собственной датой. Если прогноз отменяется из-за изменения отчётного периметра, следует сохранить и причину отмены, а не незаметно исключить неудобное наблюдение.

Пустая таблица нередко полезнее сложной модели. Разделите предположение о факте и решение о действии: высокая вероятность роста выручки не означает привлекательности цены акции. Вероятность можно проверять независимо от инвестиционного результата. Вопрос о цене и риске относится к ожидаемой ценности решения, а не решается одной уверенностью в событии.

Небольшой расчёт оценки Брайера

Для двоичного события возьмём квадрат разницы между вероятностью и исходом: единица означает, что событие произошло, ноль — что нет. Среднее таких квадратов — оценка Брайера; меньшее значение соответствует меньшей квадратичной ошибке. На четырёх вымышленных событиях вероятности равны 0,8; 0,6; 0,3; 0,1, а исходы — 1; 0; 1; 0. Ошибки равны 0,04; 0,36; 0,49; 0,01. Их среднее составляет 0,225.

Постоянный прогноз 50% на тех же исходах дал бы 0,25. Разница в этой игрушечной таблице есть, но четыре наблюдения не подтверждают устойчивое преимущество. Особенно нельзя считать их независимыми, если все события относятся к одному макроэкономическому шоку. Прежде чем сравнивать числа, проверьте одинаковость списка событий: автор, отбиравший только лёгкие вопросы, получил другую задачу.

Калибровка и полезная различимость

Калибровка означает соответствие заявленных вероятностей наблюдаемым частотам в сопоставимой группе прогнозов. Например, среди двадцати событий с заявленной вероятностью 70% произошло четырнадцать. Это согласуется с уровнем 70%, но не доказывает точности на следующей серии: группа мала и может быть зависимой. Нужны интервалы неопределённости и заранее определённые правила группировки.

Можно быть неплохо калиброванным и малоинформативным, постоянно сообщая базовую частоту. Поэтому дополнительно проверяйте, различает ли подход события, которые случаются чаще и реже. Не повышайте искусственно уверенность ради эффектного разделения: слишком смелая ошибочная вероятность получает большой штраф. Объединение нескольких мнений тоже не гарантирует улучшения, особенно если они используют одну исходную модель.

Разбор ошибки вместо конкурса предсказателей

После разрешения вопроса спросите, ошиблись ли данные, причинная модель или степень уверенности. Отдельно отметьте, было ли событие вообще корректно сформулировано. Не оценивайте вероятность по одному исходу: событие с шансом 10% иногда должно происходить. Однако систематическое превращение «маловероятных» событий в частые — повод пересмотреть модель и качество исходных сведений.

В первичных исследованиях ищите описание выборки, функции потерь и правил обновления, а не только рейтинг точности. Для собственных наблюдений заранее зафиксируйте простую базовую модель и храните весь журнал. Важный результат этой практики — более честное описание неопределённости, а не лицензия прогнозировать цены с гарантированной прибылью. Проверку надёжности исходных публикаций продолжает карточка финансового источника.

Проверка до начала журнала

Сделайте пробное разрешение вопроса: смогут ли два читателя независимо определить один и тот же исход по указанному документу? Если один выберет первоначальную публикацию, а другой позднюю корректировку, инструкция недостаточна. Уточните её до того, как станет известен результат. Такая работа кажется менее интересной, чем назначение вероятности, но именно она делает последующую оценку содержательной.

Отдельно запишите базовую частоту и способ её получения. Она должна быть доступна на дату прогноза и относиться к похожим случаям, а не вычисляться по будущей выборке. После этого можно сравнивать собственную оценку с простым ориентиром. Определения калибровки и оценки Брайера нужны для разных вопросов: согласования частот и размера квадратичной ошибки. Хороший журнал сохраняет оба аспекта, не подменяя ими анализ причин.

Источники и границы проверки

[1] Forecast Evaluation and Combination. Сопоставление прогнозов, включая вероятностные; собственные учебные расчеты отдельно.

[2] Comparing the Point Predictions and Subjective Probability Distributions of Professional Forecasters. Точечная оценка не раскрывает неопределенность.