Проверка стратегии вне выборки и Walk-Forward анализ

Почему обычного бэктеста недостаточно

Обычный исторический тест часто используется одновременно для создания идеи, выбора индикаторов, настройки правил, оптимизации параметров, исключения неудачных периодов и итоговой оценки системы. В таком процессе стратегия оценивается на тех же данных, под которые она разрабатывалась. Это похоже на подготовку к экзамену по учебнику с известными ответами и последующую оценку знаний по тем же вопросам.

Хороший результат на участке разработки показывает, что стратегия хорошо описывает известную историю. Но он не отвечает на главный вопрос инвестора: будет ли логика сохраняться, когда рынок перейдет в новый режим, изменится волатильность, расширится спред или серия сделок пойдет в другом порядке. Для этого нужен независимый участок данных, который не участвовал в создании правил, выборе фильтров и решении о том, оставить стратегию или удалить.

Обучающий и проверочный период

Обучающий период - это участок исторических данных, на котором создается логика стратегии, выполняется оптимизация, сравниваются варианты и выбирается итоговая конфигурация. Термин используется не только в машинном обучении. В алгоритмической торговле так называют и период разработки обычной торговой системы с фиксированными правилами.

Проверочный период - это независимый участок данных, который не используется при подборе параметров. На нем проверяется, сохраняется ли положительное математическое ожидание, остается ли просадка приемлемой, не исчезает ли средняя сделка и ведет ли себя стратегия в новых условиях так, как предполагает торговая логика.

Что такое проверка стратегии вне выборки

Out-of-Sample - это данные вне выборки, которые не использовались для разработки и оптимизации стратегии. Проверка вне выборки означает запуск уже сформированной и зафиксированной торговой системы на таком независимом участке истории.

1. Разделить историю. До оптимизации определить обучающий и проверочный участки.
2. Работать только с обучающим периодом. На нем строится идея и выбираются параметры.
3. Зафиксировать стратегию. Правила, фильтры, риск и критерий выбора должны быть закрыты для изменений.
4. Запустить тест вне выборки. Проверочный участок используется один раз как независимый экзамен.
5. Сравнить результаты. Важно не равенство прибыли, а сохранение преимущества и приемлемого риска.

Тест вне выборки снижает риск переоптимизации торговой стратегии, но не устраняет его полностью. Стратегия может случайно хорошо пройти один проверочный участок. Поэтому полезно проверять несколько последовательных участков через Walk-Forward анализ.

Как правильно разделить исторические данные

Универсальной пропорции обучающей и проверочной выборки не существует. Часто встречаются ориентиры 70/30, 60/40 или 80/20, но они не являются стандартом для всех стратегий. Выбор зависит от общего объема истории, количества сделок, таймфрейма, типа стратегии, числа оптимизируемых параметров и предполагаемой частоты переоптимизации.

Для торговых данных обычно используется хронологическое разделение: ранний период для разработки, следующий по времени период для проверки. Случайное перемешивание баров или сделок между выборками без учета временной структуры может привести к попаданию информации из будущего в обучающий период.

Обучающий период должен содержать достаточное количество сделок, разные фазы волатильности, трендовые движения, боковые участки и изменения рыночного режима. Слишком короткое окно повышает зависимость от случайных событий, а слишком длинное может смешивать устаревшие и современные условия. Проверочный период должен быть достаточно длинным, чтобы оценить просадку и среднюю сделку, но не настолько длинным, чтобы процесс перестал соответствовать реальной частоте переоптимизации.

Какой длины должен быть обучающий период

Длину обучающего окна нельзя выбирать только по календарю. Для внутридневной стратегии несколько месяцев могут дать тысячи сделок и несколько режимов волатильности. Для долгосрочной дневной системы даже пять лет иногда дают слишком мало независимых торговых ситуаций. Поэтому важны не только годы, но и количество сделок, распределение результатов, разнообразие рыночных условий и число параметров, которые нужно оценить.

Слишком короткий обучающий период часто создает иллюзию точности. Параметры выглядят убедительно, потому что они хорошо описали небольшой участок истории, но любая необычная серия сделок может резко изменить вывод. Слишком длинный период тоже не всегда лучше: рынок может структурно измениться, ликвидность стать другой, а старые режимы перестают иметь практическую ценность. В таком случае стратегия получает усредненные параметры, которые уже не подходят ни старому, ни текущему рынку.

Какой длины должен быть проверочный период

Проверочный период должен соответствовать тому сроку, в течение которого выбранные параметры предполагается использовать без повторной оптимизации. Если стратегия в реальности будет переоптимизироваться раз в квартал, проверочное окно на несколько лет может плохо описывать практический процесс. Если же стратегия рассчитана на редкие сделки и долгие удержания, слишком короткий квартальный тест не даст статистически осмысленной картины.

На проверочном участке нужно получить достаточно сделок, чтобы одна прибыльная или убыточная позиция не определяла весь вывод. При этом результат не обязан повторять обучающий период. Нормально, если вне выборки прибыль ниже, просадка выше, а сделки менее ровные. Опасность возникает тогда, когда исчезает сама структура преимущества: средняя сделка становится меньше издержек, просадка выходит за риск-план, а прибыль зависит от одного случайного эпизода.

Что анализировать на проверочном периоде

Проверка торговой стратегии вне выборки не должна ограничиваться чистой прибылью. Прибыль легко исказить одним сильным месяцем или редкой сделкой. Гораздо важнее сравнить качество поведения на обучающем и проверочном периодах.

• чистую прибыль и доходность;
• максимальную и текущую просадку;
• среднюю сделку после комиссий и спреда;
• Profit Factor и долю прибыльных сделок;
• количество сделок и серийность убытков;
• стабильность параметров и логики входа;
• соответствие результата риск-плану;
• поведение стратегии в новых режимах рынка.

Если прибыль вне выборки ниже, но средняя сделка остается положительной, просадка контролируема, а логика сделок сохраняется, результат может быть приемлемым. Если же прибыль держится на одном эпизоде, а остальная история убыточна, стратегия требует дополнительной проверки, даже если итоговая цифра выглядит хорошо.

Практическая проверка начинается с вопроса, что именно должно сохраниться. Для трендовой стратегии допустимы длинные периоды ожидания и редкие крупные сделки, но критично, чтобы она не разрушалась в боковом рынке. Для возвратной модели важнее качество средней сделки, контроль серии убытков и устойчивость к расширению спреда. Для портфельной системы значимы не только показатели отдельных стратегий, но и совместная просадка.

Также важно сравнивать периоды одинаково. Если обучающий участок вдвое длиннее проверочного, нельзя напрямую сравнивать абсолютную прибыль без нормализации. Лучше смотреть доходность за период, прибыль на сделку, просадку, восстановление после убытков и отношение результата к риску. Для оценки робота или стратегии полезно дополнительно сверять выводы с показателями из статьи как оценить торгового робота по показателям.

Что такое Walk-Forward анализ

Walk-Forward - это последовательная пошаговая оптимизация и проверка стратегии на следующих участках истории. Вместо одного разделения данных процесс повторяется циклически: стратегия оптимизируется на обучающем окне, параметры фиксируются, затем тестируются на следующем проверочном окне, после чего вся процедура сдвигается вперед.

Практический смысл Walk-Forward анализа в том, что он ближе к реальной эксплуатации стратегии. Разработчик не просто выбирает один удачный момент разделения истории, а проверяет, сохраняется ли преимущество при нескольких последовательных переносах параметров на новые данные.

В каждом цикле проверочный период должен быть новым по отношению к выбранным параметрам. Если после просмотра 2020 года разработчик меняет критерий оптимизации для цикла 2, этот год уже перестает быть независимым. Поэтому перед началом Walk-Forward теста важно описать регламент: длину окон, критерий выбора параметров, допустимые ограничения по просадке, торговые издержки и правила отклонения стратегии.

Закрепленное и скользящее окно

В Walk-Forward тесте обучающее окно можно строить по-разному. Закрепленное окно сохраняет начальную точку истории и постепенно расширяется. Такой подход дает больше данных, но может медленнее реагировать на изменения рынка. Скользящее окно каждый раз сдвигает и начало, и конец обучающего периода. Оно лучше отражает свежие условия, но может терять полезную долгосрочную статистику.

Выбор зависит от природы стратегии. Для медленных систем на дневных данных может быть важна длинная история. Для внутридневных моделей, чувствительных к микроструктуре рынка, слишком старые данные иногда ухудшают адаптацию. Главное - выбрать метод до анализа результата, а не после подгонки под красивую матрицу.

Закрепленное окно удобно, когда предполагается, что старая история сохраняет информационную ценность. Например, долгосрочная стратегия на ликвидных фьючерсах может использовать разные кризисные и спокойные режимы, чтобы параметры не зависели от одного рынка. Но если инструмент изменил торговые часы, спред, ликвидность или поведение участников, старые данные могут искажать оценку.

Скользящее окно лучше подходит, когда модель должна быть ближе к текущей структуре рынка. Его ограничение в том, что из выборки постоянно удаляется старая информация. Если сделок мало, параметры могут стать нестабильными и начать реагировать на случайные серии. Поэтому выбор окна должен быть связан не с желанием получить лучший отчет, а с реальным планом эксплуатации стратегии.

Как строится вневыборочная кривая

Каждый Walk-Forward цикл дает отдельный проверочный участок. Чтобы оценить устойчивость торговой стратегии, эти участки объединяют в одну вневыборочную кривую капитала. В ней нет сделок из обучающих окон, потому что они использовались для выбора параметров. Такая кривая показывает, что происходило бы, если бы стратегия периодически переоптимизировалась по заранее заданному регламенту.

Если объединенная кривая растет только за счет одного цикла, а остальные периоды слабые, вывод должен быть осторожным. Более надежно выглядит результат, где несколько независимых проверочных участков дают умеренно согласованное поведение без экстремальной зависимости от одного рыночного эпизода.

Объединенная вневыборочная кривая особенно полезна для анализа просадки. Отдельный цикл может выглядеть приемлемо, но при соединении нескольких участков становится видно, как долго стратегия восстанавливается после серии убытков и не возникает ли повторяющаяся деградация после каждой переоптимизации. Это ближе к опыту инвестора, который видит непрерывный путь капитала, а не набор отдельных отчетов.

При этом такую кривую нельзя смешивать с обучающими участками. Если в итоговый график добавить оптимизационные периоды, результат станет красивее, но потеряет смысл. Цель Walk-Forward не в том, чтобы показать максимальную историческую прибыль, а в том, чтобы оценить, как фиксированные решения работали после переноса на следующий участок.

Эффективность Walk-Forward

Эффективность Walk-Forward часто рассчитывают как отношение результата проверочных участков к результату обучающих участков. Например, если стратегия на обучающих окнах показала 100 единиц прибыли, а на проверочных 55 единиц, условная эффективность составит 55%. Это не универсальный проходной балл, а ориентир для сравнения конфигураций и понимания деградации результата после переноса на новые данные.

Низкая эффективность может означать переоптимизацию, слишком короткое окно, слабую торговую идею или сильную смену рыночного режима. Очень высокая эффективность тоже не всегда хороша: иногда она возникает из-за короткого проверочного участка или одного редкого события. Поэтому показатель нужно рассматривать вместе с количеством сделок, просадкой, средней сделкой и устойчивостью соседних конфигураций.

Какие результаты можно считать приемлемыми

Приемлемость результата зависит от задачи. Для консервативного портфеля важнее умеренная просадка, стабильная средняя сделка и низкая зависимость от одного цикла. Для исследовательской стратегии на ранней стадии может быть достаточно признаков положительного ожидания, если риск запуска минимален и впереди настоящий форвард-тест. Нельзя устанавливать универсальный порог эффективности Walk-Forward, который подходит всем рынкам, таймфреймам и торговым логикам.

Хороший признак - согласованность нескольких показателей. Например, вневыборочная кривая не обязана быть идеально гладкой, но она не должна полностью разрушать тезис стратегии. Просадка может быть выше обучающей, но должна оставаться в пределах заранее заданного риска. Прибыль может снизиться, но средняя сделка должна сохранять запас над комиссиями, спредом и проскальзыванием.

Плохой признак - когда стратегия проходит только один критерий. Например, чистая прибыль положительная, но достигнута одной сделкой; Profit Factor выглядит высоким, но сделок слишком мало; просадка приемлемая, но торговля почти прекратилась; матрица показывает одну яркую ячейку, но соседние конфигурации проваливаются. Такие ситуации не означают автоматический отказ, но требуют дополнительного анализа.

Перед принятием решения полезно записать вывод в виде инвестиционного тезиса: почему стратегия должна работать, какой риск считается нормальным, при каких условиях тест считается проваленным и какие данные нужны для следующего этапа. Такой документ защищает процесс от эмоциональной переоценки после одного удачного или неудачного периода. Если критерии заранее не описаны, любой результат можно объяснить задним числом, а это уже не исследование устойчивости, а поиск удобной интерпретации.

Что показывает матрица Walk-Forward

Матрица Walk-Forward сравнивает разные длины обучающих и проверочных окон. Она помогает понять, зависит ли результат от одного удачного выбора периодов или сохраняется в широкой области соседних конфигураций.

В этом условном примере интереснее не максимальное значение 67%, а область вокруг 24-36 месяцев обучения и 6-9 месяцев проверки. Если соседние клетки дают близкие результаты, стратегия менее чувствительна к точному выбору окна.

Матрица полезна только тогда, когда она используется как инструмент устойчивости, а не как новый способ подгонки. Если исследователь запускает десятки комбинаций окон и выбирает единственную лучшую, он фактически переносит переоптимизацию на уровень процесса проверки. Более профессиональный подход - заранее определить разумный диапазон окон, а затем смотреть, существует ли широкая область приемлемых результатов.

Также нужно учитывать экономический смысл окон. Комбинация может выглядеть лучшей в матрице, но быть непригодной для реальной торговли. Например, стратегия требует переоптимизации каждые две недели, но в реальности такой режим невозможен из-за операционных ограничений, комиссий, задержек внедрения или риска частой смены параметров. В таком случае матрица показывает интересный исторический результат, но не готовый инвестиционный процесс.

Как выбирать параметры в каждом цикле

Параметры в каждом цикле нужно выбирать по заранее заданному критерию. Плохой подход - брать максимальную прибыль. Более устойчивый вариант - искать плато: область, где соседние значения параметров дают похожий результат при ограниченной просадке и достаточном числе сделок. Это снижает вероятность того, что выбран один случайно удачный набор.

Также важно анализировать стабильность параметров между циклами. Если оптимальные значения каждый раз скачут от минимального края диапазона к максимальному, стратегия может не иметь устойчивой структуры. Если параметры меняются умеренно и остаются внутри логически объяснимого диапазона, это лучше согласуется с идеей устойчивой торговой системы.

Критерий выбора параметров должен быть простым и воспроизводимым. Например: выбрать область с положительной доходностью, просадкой ниже заранее установленного уровня, достаточным числом сделок и близкими результатами соседних значений. Если критерий меняется от цикла к циклу, итоговый Walk-Forward тест становится трудно интерпретировать. Неясно, что именно проверялось: стратегия или способность исследователя каждый раз находить новый удачный фильтр.

Отдельно стоит проверять, не выбираются ли параметры на границе диапазона. Если оптимум постоянно оказывается в минимальном или максимальном значении, диапазон мог быть задан неправильно, либо модель ищет экстремальное поведение вместо устойчивой области. Такой результат требует расширения исследования, но новый диапазон уже должен проверяться на другом независимом материале.

Настоящий форвард-тест стратегии

Исторический Walk-Forward анализ не является настоящим форвард-тестом. Даже если проверочные окна не использовались при подборе параметров внутри цикла, разработчик все равно видит полную историческую базу и может косвенно принимать решения по прошлым данным. Настоящий форвард-тест стратегии проходит на новых данных, которых не было в момент разработки.

На форвардном тестировании важно сравнивать не только прибыль, но и совпадение сделок с моделью, качество исполнения, проскальзывание, спред, комиссию, среднюю сделку и развитие просадки. Хороший Walk-Forward результат может быть основанием для осторожного запуска с минимальным риском, но не заменяет наблюдение за реальной торговлей.

Настоящий форвард-тест особенно важен для стратегий с небольшой средней сделкой. На истории модель может учитывать условный спред и комиссию, но реальное исполнение добавляет задержки, частичные исполнения, расширение спреда в новостные периоды и различия между источниками котировок. Если средняя сделка невелика, даже небольшое ухудшение исполнения может изменить математическое ожидание.

Форвардный запуск лучше начинать с минимального риска. Задача первого этапа - не максимизировать прибыль, а проверить совпадение реальной торговли с моделью: время входа, направление сделок, размер позиции, частоту сигналов, величину издержек и реакцию на нестандартные условия. Только после накопления достаточного числа новых сделок можно обсуждать постепенное увеличение объема.

Walk-Forward анализ портфеля

Для портфеля алгоритмических стратегий проверяется не только каждая система отдельно, но и совместное поведение. Две стратегии могут проходить тест вне выборки по отдельности, но одновременно терять деньги в стрессовых режимах. Поэтому в портфельном анализе оценивают корреляцию доходностей, совпадение просадок, распределение капитала и вклад каждой стратегии в общий риск.

Walk-Forward анализ портфеля полезно сочетать с диверсификацией торговых стратегий, Монте-Карло тестами и проверкой максимальной просадки. Такой набор не гарантирует будущую прибыль, но помогает увидеть, не зависит ли портфель от одного инструмента, одного режима рынка или одного удачного периода.

Портфельный Walk-Forward может показать проблему, которую не видно на уровне отдельных систем. Например, три стратегии проходят проверку вне выборки, но их убыточные периоды совпадают. На уровне отчета каждой стратегии риск выглядит приемлемым, а на уровне портфеля возникает глубокая совместная просадка. Поэтому важно анализировать не только независимые кривые капитала, но и общую динамику капитала после распределения весов.

Если веса портфеля также оптимизируются, их нужно проверять по тем же принципам. Нельзя подобрать веса на всей истории, а затем считать портфельный результат независимым. Весовые коэффициенты, лимиты риска и правила исключения стратегий должны фиксироваться до проверки следующего участка.

Сравнение методов проверки

Типичные ошибки

• Разделение истории после просмотра результатов.
• Повторная настройка стратегии по проверочному участку.
• Слишком короткий проверочный период и мало сделок.
• Выбор одного удачного разделения истории.
• Анализ только чистой прибыли без просадки и средней сделки.
• Выбор лучшей ячейки матрицы без соседних конфигураций.
• Постоянная смена критерия оптимизации.
• Несоответствие Walk-Forward процесса реальной торговле.
• Игнорирование комиссий, спреда и проскальзывания.
• Использование данных из будущего.
• Игнорирование стабильности параметров.
• Подмена настоящего форвард-теста историческим анализом.

Большинство ошибок сводится к одному: проверка перестает быть независимой, когда результат начинает влиять на правила. Если после неудачного теста разработчик добавляет фильтр, меняет период, исключает инструмент или выбирает другую метрику, нужно начинать новый независимый цикл проверки.

Еще одна распространенная ошибка - сравнивать разные методы так, будто они отвечают на один вопрос. Бэктест показывает соответствие известной истории. Проверка вне выборки показывает перенос фиксированной стратегии на один новый участок. Walk-Forward анализ оценивает повторяемый процесс переоптимизации. Форвард-тест проверяет поведение на данных, которых не было в момент разработки. Если смешивать эти роли, легко получить уверенный, но неверный вывод.

Также опасно игнорировать торговые издержки. Стратегия может успешно проходить матрицу Walk-Forward до учета комиссии и проскальзывания, но терять преимущество после реалистичной модели исполнения. Особенно это касается частых внутридневных систем, скальпирующих моделей и роботов с небольшой средней сделкой. В таких случаях проверка должна включать ухудшенные условия, а не только оптимистичный базовый сценарий.

Наконец, нельзя считать один хороший результат доказательством устойчивости торгового робота. Устойчивость - это совокупность признаков: логичная идея, достаточная выборка сделок, сохранение средней сделки, контролируемая просадка, стабильные параметры, разумная матрица, стресс-тесты и подтверждение на новых данных. Каждый отдельный тест может ошибаться, поэтому методы должны дополнять друг друга.

Как использовать Walk-Forward вместе с Монте-Карло

Walk-Forward анализ отвечает на вопрос, сохраняется ли стратегия при переносе параметров на следующие исторические участки. Монте-Карло отвечает на другой вопрос: насколько результат чувствителен к случайному порядку сделок, ухудшению исполнения, пропуску части сигналов или изменению торговых условий. Эти методы не заменяют друг друга.

Практический процесс может выглядеть так: сначала стратегия проходит тест вне выборки и несколько Walk-Forward циклов, затем объединенная вневыборочная кривая и список сделок используются для стресс-тестов. Если Монте-Карло показывает, что небольшое ухудшение спреда или изменение порядка сделок приводит к неприемлемой просадке, стратегия требует более осторожного риск-плана, даже если базовый Walk-Forward отчет выглядит положительно.

Важно не подгонять параметры Монте-Карло после просмотра результата. Если сначала увеличивать допустимое проскальзывание, затем уменьшать его, менять правила исключения сделок и выбирать наиболее удобный сценарий, стресс-тест превращается в еще один уровень оптимизации. Лучше заранее определить набор стрессов: изменение порядка сделок, увеличение издержек, пропуск части прибыльных сделок, ухудшение средней цены и проверку более длинных серий убытков.

Полный алгоритм проверки стратегии

1. Сформулировать торговую идею. Правила должны иметь понятную рыночную логику.
2. Подготовить данные. Проверить котировки, комиссии, спред и модель исполнения.
3. Определить периоды. Разделить историю до оптимизации.
4. Зафиксировать критерий выбора. Например, устойчивое плато при ограничении просадки.
5. Оптимизировать на обучающем участке. Не использовать проверочные данные.
6. Выполнить тест вне выборки. Не менять правила после результата.
7. Провести Walk-Forward анализ. Использовать несколько последовательных циклов.
8. Построить матрицу. Проверить соседние длины окон.
9. Оценить параметры. Найти стабильные диапазоны, а не одну точку.
10. Объединить проверочные участки. Построить вневыборочную кривую капитала.
11. Провести стресс-тесты. Учесть Монте-Карло, ухудшенные издержки и просадку.
12. Запустить настоящий форвард-тест. Использовать новые данные и минимальный риск.

Итоговый проверочный список

• Данные разделены до оптимизации.
• Проверочный участок не использовался при разработке.
• В обучающем и проверочном периодах достаточно сделок.
• История включает разные рыночные режимы.
• Правила и критерий выбора параметров зафиксированы.
• Вне выборки сохраняется положительное ожидание.
• Средняя сделка превышает торговые издержки.
• Просадка соответствует риск-плану.
• Проведено несколько Walk-Forward циклов.
• Построена объединенная вневыборочная кривая.
• Прибыль не зависит от одного цикла.
• Матрица показывает устойчивую область соседних окон.
• Параметры стабильны между циклами.
• Учтены комиссии, спред и проскальзывание.
• Проведен настоящий форвард-тест перед ростом риска.
• Методика не менялась после просмотра результата.

Материалы по теме