Переобучение бэктеста
Подбор стратегии к особенностям исторических данных, из-за которого прошлый успех плохо переносится на новые наблюдения.
Переобучение бэктеста возникает, когда выбор параметров, периода или правил подстраивается под особенности одной истории. Среди множества попыток случайный победитель может выглядеть убедительно. Оригинальная статья Bailey и соавторов исследует вероятность такой ошибки и ограничения обычного отложенного теста в инвестиционных задачах.108
В отдельной учебной статистической модели двадцать независимых проверок с вероятностью ложного успеха пять процентов каждая дают около 64,15% вероятности хотя бы одного ложного успеха. Это не вероятность провала реальной стратегии: её попытки могут быть зависимы и иметь другую структуру ошибок.
Для проверки сохраняют все варианты, критерий выбора, порядок просмотра данных и реалистичные расходы. Повторная настройка после знакомства с отложенным отрезком превращает его в часть обучения. Устойчивость соседних параметров полезна, но не гарантирует будущий доход. Экономическое объяснение тоже может быть придумано после обнаружения результата, поэтому гипотезы и ограничения лучше записывать заранее.
Основания и границы объяснения
Общие финансовые понятия; не индивидуальная рекомендация
- The Probability of Backtest Overfitting — оригинальная статья, версия 27.02.2015 · David H. Bailey, Jonathan M. Borwein, Marcos López de Prado, Qiji Jim Zhu
Множественный подбор исторических стратегий повышает риск ложных открытий; обычный holdout не панацея. Концептуальная образовательная опора; не текущие ставки, оценки эмитентов или нормы РФ.
Сверка источников и автоматизированная редакционная помощь не означают профессиональной финансовой или юридической экспертизы. Как готовятся материалы.