Comment apparaît un gagnant aléatoire
Le surajustement du backtest apparaît lorsque le choix des paramètres, de la période ou des règles est adapté aux particularités d’une histoire historique. Parmi de nombreux essais, un gagnant aléatoire peut sembler convaincant. L’article original de Bailey et de ses coauteurs étudie la probabilité de cette erreur et les limites d’un test classique sur un échantillon réservé dans les problèmes d’investissement.[108](#source-cv-backtest)
Un modèle de probabilité illustratif
Dans un modèle statistique pédagogique distinct, vingt tests indépendants ayant chacun une probabilité de 5 % de succès fictif donnent environ 64,15 % de probabilité d’obtenir au moins un faux succès. Il ne s’agit pas de la probabilité d’échec d’une stratégie réelle : ses essais peuvent être dépendants et avoir une autre structure d’erreur.
Tester avec davantage de prudence
Pour contrôler le résultat, conservez toutes les variantes, le critère de sélection, l’ordre dans lequel les données ont été consultées et des coûts réalistes. Régler de nouveau la stratégie après avoir vu la période réservée transforme cette période en partie de l’apprentissage. La stabilité de paramètres voisins est utile, mais ne garantit pas un rendement futur. Une explication économique peut aussi être inventée après la découverte du résultat ; il vaut donc mieux consigner les hypothèses et les limites à l’avance.