Выжившие и знание будущего: две ошибки, которые незаметно улучшают бэктест

Исторический тест может быть математически безошибочным и всё же описывать невозможную стратегию. Две частые причины — отбор только сохранившихся объектов и использование данных раньше, чем они стали доступны. Первый эффект меняет исследуемую совокупность, второй даёт исследователю знание будущего. SEC относит бэктест к гипотетическим результатам: он не показывает фактически совершённые операции и требует отдельной проверки предпосылок.27

Ошибка выживших — проблема состава

Если взять сегодняшние успешные компании и посмотреть их прошлое, из выборки могут исчезнуть банкроты, поглощённые и исключённые участники. Получится ответ на вопрос «как вели себя нынешние выжившие», а не «что получил бы инвестор по прежнему правилу». Для фондов закрытые продукты создают похожую проблему. Исчезновение записи из современного справочника не означает отсутствия потери у исторического владельца.

В условной выборке было четыре одинаковых вложения. Их результаты за период составили плюс двадцать, плюс десять, минус десять и минус сто процентов. Средний результат равен минус двадцати процентам. Если последняя компания исчезла из базы и исследователь оставил только три сохранившиеся, среднее становится примерно плюс 6,67%. Почти двадцать семь процентных пунктов возникли из отбора, а не из мастерства.

Ошибка знания будущего — проблема времени

Предположим, отчёт о годовой прибыли опубликован в конце марта, а стратегия использует его показатель для покупки в начале января. Даже если прибыль относится к прошедшему году, в январе она могла быть неизвестна. Дата экономического периода не равна дате доступности информации. Нужны версии данных, существовавшие на момент каждого решения.

То же касается пересмотренной отчётности, исправленных рядов и будущего состава индекса. Если тест каждый месяц выбирает участников по списку, утверждённому только позднее, он использует недоступный тогда фильтр. Изменение технической даты в таблице не исправит отсутствующие исторические версии: ограничение следует признать открыто.

Корпоративные события тоже требуют календаря

Дробления, дивиденды, поглощения и исключение из торгов должны обрабатываться согласованно. Скорректированная цена удобна для доходности, но её нельзя бездумно применять как реально наблюдавшуюся цену заявки или порог отбора. Для ушедшего инструмента нужен реалистичный результат завершения позиции, а не молчаливое удаление строки.

Отдельно проверьте момент исполнения. Решение по цене закрытия после её появления не может автоматически исполняться по той же цене без дополнительных условий. Лаг, ликвидность и расходы меняют гипотетический результат. Чем меньше запас преимущества, тем важнее эти детали.

Как организовать проверку данных

Сохраните правила включения и исключения, полный исторический список объектов, даты публикаций и источники изменений. Разделите поля «период данных», «публикация», «получение исследователем» и «использование стратегией». Если одну из дат восстановить нельзя, ограничьте утверждение вместо придумывания удобного момента доступности.

Проверка данных не решает проблему многократного подбора самой стратегии. Оригинальная работа Bailey и соавторов рассматривает риск исторического переобучения отдельно: даже корректная база может дать красивый случайный результат после большого числа попыток.108 Поэтому очищенные данные — необходимое условие, но не доказательство устойчивой доходности.

Итог аудита — перечень возможных смещений, исправленные варианты теста и неизвестные, которые остались. Если результат заметно ухудшился после включения исчезнувших объектов или задержки публикации, это важное открытие, а не повод вернуть прежнюю методику. Материал учит проверять исследование, не рекомендует торговую систему и не обещает, что отсутствие двух ошибок сделает будущую стратегию прибыльной.

Не путать доступность источника с правом стратегии знать данные

Современная база может быть качественной для сегодняшнего анализа и непригодной для точного восстановления прошлых решений. Исправленная отчётность и очищенные классификации полезны исследователю, но в историческом тесте требуют дат версий. Если их нет, можно честно описать приблизительный эксперимент, не называя его точной реконструкцией доступной тогда стратегии.

Для выборки выживших проверьте не только исчезнувшие компании, но и способ завершения владения. Поглощение может дать выплату или новые бумаги; закрытие фонда — отдельный денежный итог. Универсальная нулевая доходность для любой исчезнувшей записи тоже будет ошибкой. Нужны реальные правила события либо явно обозначенная неопределённость.

Полезный контроль — повторить расчёт на небольшой вручную проверенной истории с несколькими разными событиями. Совпадение не сертифицирует всю базу, но позволяет обнаружить систематическую ошибку обработки до масштабного теста. Такая проверка важнее дополнительного знака после запятой в итоговой доходности.

Связанные основы: Как читать финансовый график без иллюзии прогноза; Риск портфеля: потери, сроки и совместное движение активов.