Переобучение бэктеста: сколько попыток скрывается за одной красивой кривой

Красивая историческая кривая может быть победителем соревнования тысяч случайных вариантов. Если исследователь показывает только лучший, читатель не видит цену отбора. Оригинальная статья Bailey, Borwein, López de Prado и Zhu рассматривает вероятность переобучения бэктестов и ограниченность привычного разделения данных в инвестиционных задачах.108 Этот материал объясняет механизм, а не предлагает готовую прибыльную модель.

Попыткой считается не только новый алгоритм

Изменение периода, набора активов, порога, частоты торговли и правила исключения наблюдений тоже создаёт новую попытку. Если после просмотра результата автор корректирует метод, информация из истории уже повлияла на выбор. Смена названия стратегии не обнуляет предыдущий поиск. Даже полностью честный исследователь может недооценить число решений, принятых после знакомства с данными.

Важно вести журнал отвергнутых вариантов и гипотез. Без него единственная опубликованная модель выглядит заранее выбранной, хотя фактически является итогом поиска. Читатель не сможет оценить, насколько исключителен результат, если ему неизвестно количество сравниваемых возможностей и порядок отбора.

Почему много проверок находят случайные победы

В отдельной условной статистической задаче каждая независимая проверка имеет пятипроцентную вероятность ложного положительного вывода. Для двадцати независимых проверок вероятность хотя бы одного такого результата равна 1 − 0,95²⁰, примерно 64,15%. Для ста — около 99,41%. Это не оценка вероятности провала конкретной торговой системы: независимость и уровень ошибки здесь специально заданы.

Реальные варианты часто зависимы, а результат отбора сложнее простой формулы. Пример показывает только принцип: один впечатляющий результат значит меньше, когда за ним стоит много возможностей случайного успеха. Нельзя переносить приведённые проценты на чужой бэктест без соответствующей модели и данных.

Почему отдельный тестовый период можно испортить

Если исследователь многократно смотрит на отложенный отрезок и меняет стратегию, этот отрезок постепенно становится частью настройки. Он больше не является независимой проверкой. Случайное перемешивание временных наблюдений также может нарушить зависимости и порядок доступности данных. Для финансовых рядов сохранение времени существенно, но одно деление по календарю ещё не устраняет все проблемы.

В статье о переобучении предлагается специальная схема сравнения результатов на разных частях данных. Она требует собственных предпосылок и не является сертификатом будущей прибыли.108 Не следует заменять подробный разбор качества данных и экономического механизма названием статистической процедуры.

Проверка на хрупкость

Посмотрите соседние параметры. Если только один порог даёт хороший результат, а небольшое изменение разрушает его, это повод исследовать устойчивость. Затем меняйте реалистичные расходы, задержку исполнения, доступный набор инструментов и начальную дату. Ухудшение не нужно скрывать выбором наиболее удобного варианта отчёта.

Экономическое объяснение полезно, но не отменяет статистическую проверку. Историю легко придумать после обнаружения красивой зависимости. Запишите механизм заранее и укажите, какое независимое наблюдение могло бы его опровергнуть. Фактические результаты после выбора метода нужно отделять от гипотетической истории; такое различие подчёркивает SEC.27

Итог исследовательского отчёта содержит весь поиск, критерий выбора, незатронутую проверку, расходы и ограничения. Если история поиска утрачена, это существенная неопределённость, а не техническая мелочь. Отсутствие заметного переобучения не гарантирует будущую доходность: режим рынка может измениться. Задача проверки — уменьшить уверенность в случайной находке, а не выдать статистическое разрешение инвестировать реальные деньги.

Проверять выбор метрики успеха

Если стратегия сначала не выиграла по доходности, затем оценивалась по просадке, потом по отдельным годам и наконец по специально выбранному коэффициенту, изменялся не только параметр, но и критерий победы. Такой поиск также использует историю. Метрику и допустимые ограничения полезно записать до сравнения вариантов, сохранив причины последующих изменений.

Не следует исправлять проблему простым увеличением числа показателей в итоговом отчёте. Несколько метрик помогают описать результат, но каждая может стать новой возможностью выбрать удачный угол представления. Нужны цель исследования и прозрачный порядок отбора, а не длинная таблица с выделенной зелёной ячейкой.

Для независимой проверки полезно отделить автора гипотезы от проверяющего данные и реалистичность исполнения. Это организационное предложение, не математическая гарантия. Оно помогает заметить решения, которые основной исследователь уже считает естественными и поэтому не включает в журнал. Полнота такого журнала определяет, насколько интерпретируемой остаётся одна опубликованная кривая.

Связанные основы: Как читать финансовый график без иллюзии прогноза; Риск портфеля: потери, сроки и совместное движение активов.

Семейства правил: что именно отправляется на проверку

Ниже не торговые рекомендации, а искусственные спецификации исследовательских объектов. Числа выбраны для воспроизводимости и не оптимизированы по рынку. Для всех вариантов доступны только закрытия до момента t включительно; гипотетическая заявка возможна не раньше следующего наблюдения. Порог и выход фиксируют до просмотра контрольной выборки. Общая альтернатива — отсутствие преимущества перед заранее выбранным сопоставимым по риску контролем после расходов. Работа Bailey и соавторов обосновывает необходимость учитывать весь перебор, но не подтверждает перечисленные ниже параметры.[RBT]

Трендовое правило. Вычислить простые средние последних 3 и 5 закрытий. Событие — переход короткой средней из положения не выше длинной в положение выше. При ряде 10, 9, 8, 9, 10, 11 на пятом наблюдении средние равны 9 и 9,2, на шестом — 10 и 9,4. Событие известно на шестом, а не на вершине будущего движения. Контргипотеза: разность средних просто запаздывает и не меняет распределения следующих пяти доходностей. При смене знака можно зарегистрировать отдельную гипотезу разворота позиции, но не дописывать её только после неудачного теста.

Диапазонное правило. На предыдущих 20 закрытиях, исключая текущее, вычислить L — минимум, U — максимум. При U=L наблюдение не классифицируется. Координата z=(P−L)/(U−L). Учебное событие z≤0,1 при отсутствии заранее заданного трендового признака; измеряется следующее пятидневное изменение, а не «рост до тех пор, пока не получилось». Например, L=80, U=100, P=82 дают z=0,1. Альтернатива — продолжение снижения за границу, а не восстановление. Границы нельзя растягивать задним числом вслед за ценой.

Тройной экран. Смысл конструкции — разные функции трёх фильтров, не магическое число. Первый экран допускает только недели, у которых средняя трёх завершённых недель выше предыдущего значения этой средней. Второй отмечает дневное закрытие ниже средней пяти завершённых дней. Третий регистрирует превышение вчерашнего максимума следующим завершённым часовым баром. Все три условия должны быть доступны к моменту регистрации; текущая незавершённая неделя запрещена. При отсутствии часовых данных такой вариант нельзя честно назвать проверенным. Сравните его не только с бездействием, но и с тем же первым экраном без двух остальных: так измеряется добавка фильтров. Это одна авторская операционализация архитектуры, не реконструкция книжной системы.

Жизненный цикл позиции и портфельный предел

Механическая система — автомат состояний: «вне позиции», «ожидание исполнения», «позиция», «ожидание выхода», «карантин до повторного входа». До теста задайте срок жизни заявки, обработку частичного исполнения и приоритет событий. Учебный план: вход после события; выход при первом из трёх условий — пять наблюдений, снижение от цены исполнения на 3%, рост на 4%; повторный вход только после нового пересечения и двух полных наблюдений вне позиции. Пороги определяют попытку выхода, не гарантируют цену: разрыв рынка может дать больший убыток. Если по одному дневному бару достигнуты оба порога, порядок неизвестен; используйте более подробные данные либо покажите обе границы результата. Нельзя всегда засчитывать удобный исход.

Условная позиция 10 единиц по 100 при плановом выходе 97 имеет расчётный убыток 30 до расходов. Если доступная следующая цена 95, фактическая потеря уже 50. Портфельный протокол отдельно ограничивает суммарную экспозицию и совпадающие риски нескольких позиций: десять похожих сигналов не равны десяти независимым рискам. Размер не увеличивают автоматически после убытка. Кривая капитала помогает заметить просадку и восстановление, но добавление её скользящей средней как выключателя создаёт новую систему со своими задержкой и числом попыток; это не бесплатное «улучшение» исходного теста.

Спред: сезонность, фундаментальный канал и честная база

Для двух условных контрактов зададим S=F₁−hF₂, где h и денежные множители заданы заранее. При одинаковом множителе 10, h=1, переходе цен с 100 и 96 к 103 и 98 изменение S равно 1, валовой результат одной пары — 10 денежных единиц. Два контракта требуют расходов по обеим ногам; разновременное исполнение добавляет риск. При разных множителях простая разность котировок уже не денежный результат.

Фундаментальная гипотеза связывает спред с наблюдаемыми запасами, издержками хранения или переработки; у каждого показателя нужна дата публикации. Сезонная гипотеза сравнивает одинаковое положение относительно месяца поставки и число дней до экспирации, а не любые январские и июльские цены. Учебный тест: среднее изменение спреда на фиксированном окне до поставки оценить по прошлым годам, знак прогноза заморозить до нового года, сравнить с нулём и несезонным контролем. Историческое сходство графиков — самостоятельный фильтр с заранее заданной метрикой расстояния и без выбора похожего года после исхода.

Для метода последовательных максимумов и минимумов отдельно задайте локальный экстремум через строгое сравнение с обоими соседями и задержку подтверждения на одно наблюдение. Два следующих подтверждённых максимума и два минимума выше предшествующих определяют восходящую метку; оба ниже — нисходящую, остальные случаи остаются неопределёнными. Коридор ограничен линиями через две последние подтверждённые вершины и два минимума; при пересечении линий или недостатке точек коридора нет. Это конкретный описательный вариант, не доказательство продолжения.

Технические варианты для того же S можно определить как выход за максимум предыдущих 20 значений, пересечение линии регрессии по прошлому окну или возврат из коридора. Поддержка и сопротивление здесь функции спреда, а не безусловные ценовые стены. План исследования хранит: объясняющий канал, точную формулу, календарь, выход, повторный вход, бюджет риска и все неудачи. Комбинация фундаментального, сезонного и технического условий проверяется как новый вариант с отдельным учётом перебора. Пример сделки иллюстрирует денежный расчёт и исполнение, но один пример никогда не валидирует метод.

[RBT] Bailey, Borwein, López de Prado, Zhu, «The Probability of Backtest Overfitting», источник cv-backtest. Поддерживает методологическое предупреждение; все конкретные спецификации и числа этого дополнения авторские.