Chaque modification est un essai
Changer période, actifs, seuil, fréquence ou exclusion crée une nouvelle tentative. Après avoir vu le résultat, modifier la méthode utilise déjà l’histoire. Tenez un journal des variantes rejetées et des hypothèses ; sinon le modèle publié semble choisi à l’avance.
Les multiples tests trouvent des gagnants fortuits
Si chaque test indépendant a 5 % de faux positif, vingt tests donnent 1−0,95²⁰≈64,15 % de probabilité d’au moins un résultat trompeur ; cent donnent environ 99,41 %. Ces chiffres supposent indépendance et niveau d’erreur ; ils ne se transfèrent pas à un backtest différent.
Contamination du test et fragilité
Regarder plusieurs fois un échantillon réservé puis modifier la stratégie le transforme en donnée de réglage. Mélanger l’ordre temporel peut aussi casser les dépendances. Testez paramètres voisins, coûts, délais, instruments et dates de départ. L’explication économique ne remplace pas le test statistique.
Métrique et spécifications
Passer du rendement au drawdown, puis aux années ou à un ratio choisi, change le critère de victoire. Fixez la métrique avant comparaison. Les spécifications fictives doivent préserver les clôtures disponibles jusqu’à t, l’exécution au plus tôt à l’observation suivante et les seuils avant l’échantillon témoin. Documentez moyenne 3/5, z=(P−L)/(U−L), triple écran, états d’ordre, coûts et alternatives.
Cycle de position, spread et portefeuille
Définissez entrée, attente, position, sortie, quarantaine, durée d’ordre et exécutions partielles. Un seuil de −3 % ou +4 % ne garantit pas le prix en cas de gap ; si les deux seuils apparaissent dans une barre, montrez les deux résultats. Dix signaux semblables ne sont pas dix risques indépendants. Pour S=F₁−hF₂, avec multiplicateur 10, h=1 et passage (100,96) à (103,98), ΔS=1 et le résultat brut vaut 10 ; coûts et exécution décalée demeurent. Une transaction illustrative ne valide pas la méthode.