Sens et formule
Pour un résultat binaire, notons l’événement 1, son absence 0 et la probabilité prévue p. Le score d’erreur pédagogique est le carré de l’écart entre p et le résultat. La moyenne calculée sur une même série de questions permet de comparer des approches probabilistes ; une valeur plus faible signifie une erreur quadratique plus faible. Le choix de la fonction de perte relève de la méthodologie d’évaluation des prévisions.[1](#source-rm-forecast-evaluation)
Exemple
Une probabilité de 80 % donne une erreur de 0,04 lorsque l’événement se produit et de 0,64 lorsqu’il ne se produit pas. Une prévision erronée et trop sûre d’elle est davantage pénalisée. Les nombres proviennent de la formule, et non de données du marché financier.
Limites de la comparaison
Ne comparez pas les scores finaux d’auteurs établis sur des ensembles de questions différents comme s’il s’agissait d’un seul tournoi. Les événements simples et difficiles ont des fréquences de base différentes. Il faut un ensemble commun, des probabilités consignées à l’avance et un moment comparable d’accès à l’information.
La métrique ne mesure pas le profit monétaire et ne remplace pas l’analyse de la dépendance entre les observations. Un exemple avec plusieurs événements et une prévision de référence figure dans le [guide de calibration des prévisions](/guides/forecast-calibration/).
[Forecast Evaluation and Combination](https://www.nber.org/papers/t0192)