Оценка Брайера
Средний квадрат разности между заявленной вероятностью двоичного события и его фактическим исходом.
Как понимать термин
Для двоичного исхода обозначим событие единицей, его отсутствие нулём, а прогноз вероятности буквой p. Учебная оценка ошибки равна квадрату разности p и исхода. Среднее по одной и той же серии вопросов позволяет сравнивать вероятностные подходы; меньшая величина означает меньшую квадратичную ошибку. Выбор функции потерь относится к методологии оценки прогнозов.[1]
Пример
Вероятность 80% при произошедшем событии даёт ошибку 0,04, при непроизошедшем — 0,64. Слишком уверенная ошибочная оценка наказывается сильнее. Числа получены по формуле, а не по данным финансового рынка.
Ограничение сравнения
Нельзя сравнивать итоговые оценки авторов на разных наборах вопросов как один турнир. Простые и сложные события имеют разные базовые частоты. Нужны общий набор, заранее записанные вероятности и сопоставимый момент доступа к информации.
Метрика не измеряет денежную прибыль и не заменяет анализ зависимости наблюдений. Пример с несколькими событиями и базовым прогнозом находится в руководстве по калибровке.
[1] Diebold, Lopez, Forecast Evaluation and Combination; общий подход к выбору и сопоставлению оценок.
Первичные материалы
Основания и границы объяснения
Общее учебное определение
- Forecast Evaluation and Combination · NBER
Сопоставление прогнозов, включая вероятностные; собственные учебные расчеты отдельно.
Сверка источников и автоматизированная редакционная помощь не означают профессиональной финансовой или юридической экспертизы. Как готовятся материалы.