Как оценить торгового робота по показателям

Какие показатели торговой стратегии действительно важны

Показатели торговой стратегии полезны только тогда, когда они отвечают на разные вопросы. Прибыль показывает итог, просадка показывает путь к этому итогу, коэффициенты риска помогают сравнить доходность с изменчивостью, а количество сделок говорит о том, насколько убедительна статистика.

Карта ключевых метрик перед глубоким анализом

Перед тем как разбирать отчет подробно, полезно быстро разделить показатели торгового робота по их роли. Это снижает риск подменить комплексную оценку одной красивой цифрой. Каждая метрика отвечает только за часть картины: одни показатели описывают доходность, другие — риск, третьи — качество выборки и устойчивость результата.

Общая прибыль торгового робота

Общая, или чистая, прибыль показывает финансовый результат стратегии за весь анализируемый период. В корректном отчете она рассчитывается после вычитания убыточных сделок, комиссий, спреда, свопов и других торговых издержек, если они учтены в тестировании.

Этот показатель кажется главным, но сам по себе он малоинформативен. Доходность торгового робота зависит от начального капитала, длины теста, размера позиции, кредитного плеча, управления капиталом, количества сделок и уровня принятого риска.

Например, робот А заработал 100 000 долларов за десять лет, а робот Б заработал 80 000 долларов за три года. Без знания стартового капитала, просадки и размера позиции нельзя утверждать, что робот А лучше. Возможно, робот Б показал более высокую среднегодовую доходность при меньшей просадке.

Важно различать прибыль в деньгах, доходность в процентах, доходность с учетом реинвестирования и доходность относительно принятого риска. Общая прибыль показывает итоговый результат, но не показывает, какой риск потребовался для его получения.

Среднегодовая доходность CAGR

CAGR — это среднегодовая сложная доходность. Она показывает, с какой постоянной среднегодовой скоростью должен был бы расти капитал, чтобы от начального значения прийти к конечному результату за рассматриваемый период.

Если начальный капитал составлял 100 000 долларов, а через пять лет вырос до 180 000 долларов, CAGR будет примерно 12,5% в год. Это удобнее общей прибыли, потому что позволяет сравнивать стратегии с разной длиной теста и учитывает сложный процент.

Но CAGR не показывает максимальную просадку, не отражает колебания капитала и не говорит, насколько равномерно распределена прибыль. Две стратегии с одинаковым CAGR могут иметь совершенно разный риск: стратегия А может показывать 20% годовых при просадке 10%, а стратегия Б — те же 20% при просадке 45%.

Максимальная просадка

Максимальная просадка — это самое глубокое снижение капитала от ранее достигнутого максимума до последующего минимума. Она показывает не просто убыток, а историческую глубину падения счета в неблагоприятный период.

Просадка помогает оценить возможную глубину снижения капитала, психологическую нагрузку, необходимый резерв, допустимый размер позиции и риск прекращения торговли в худший момент. Именно поэтому анализ торговой стратегии без просадки почти всегда неполон.

Историческая максимальная просадка не является гарантированным пределом будущих потерь. В реальной торговле она может быть превышена из-за изменения рыночного режима, проскальзывания, расширения спреда, ухудшения исполнения, короткого тестового периода, переоптимизации или случайной серии убыточных сделок. Подробно эта тема разобрана в статье о максимальной просадке торговой стратегии.

Profit Factor

Profit Factor — это отношение общей прибыли прибыльных сделок к общей сумме убытков. Под валовым убытком обычно используют абсолютное положительное значение всех убыточных сделок.

Если прибыльные сделки принесли 150 000 долларов, а убыточные потеряли 100 000 долларов, Profit Factor равен 1,5. Значение ниже 1,0 означает убыточную стратегию, около 1,0 — почти отсутствие преимущества, 1,2-1,4 — небольшой запас, 1,5-2,0 — потенциально хороший результат. Значения существенно выше 2,0 выглядят привлекательно, но требуют особенно тщательной проверки.

Эти диапазоны являются ориентировочными, а не универсальным стандартом. Profit Factor не учитывает длительность теста, глубину просадки, последовательность сделок и может быть завышен на небольшой выборке. Profit Factor 2,5 на 25 сделках менее убедителен, чем Profit Factor 1,6 на 1 000 сделках и разных рыночных режимах.

Коэффициент Шарпа

Коэффициент Шарпа показывает, сколько дополнительной доходности стратегия получает на единицу общей изменчивости результатов. В упрощенном виде он сравнивает доходность стратегии с безрисковой доходностью и делит разницу на стандартное отклонение доходности.

Ориентировочно значение ниже 0 говорит о слабом результате, 0-1 — о невысоком соотношении доходности и изменчивости, 1-2 — о приемлемом или хорошем уровне, 2-3 — об очень хорошем, а выше 3 — о выдающемся значении, которое нужно проверять особенно внимательно.

Ограничение коэффициента Шарпа в том, что он одинаково учитывает положительные и отрицательные колебания. Он зависит от периода расчета, частоты данных, редких экстремальных результатов и методики пересчета в годовое значение. Сравнивать коэффициенты Шарпа корректно только тогда, когда они рассчитаны по сопоставимой методике, на одинаковой частоте данных и за сопоставимые периоды.

Коэффициент Сортино

Коэффициент Сортино похож на коэффициент Шарпа, но концентрируется на отрицательных отклонениях доходности. Он пытается отделить обычные положительные колебания от действительно нежелательной волатильности.

Отрицательное отклонение — это изменчивость только неблагоприятных результатов, которые находятся ниже выбранного минимального уровня. Для торговых стратегий с редкими крупными прибылями коэффициент Сортино иногда дает более осмысленную оценку, чем коэффициент Шарпа.

Однако он зависит от выбранного минимального уровня доходности, методики расчета и качества выборки. Высокий коэффициент Сортино не заменяет анализ максимальной просадки и не отменяет проверку стабильности торговой стратегии.

Коэффициент Кальмара

Коэффициент Кальмара связывает среднегодовую доходность с максимальной просадкой. В классическом практическом применении он показывает, сколько единиц CAGR приходится на одну единицу исторической просадки.

Если CAGR составляет 20%, а максимальная просадка — 10%, коэффициент Кальмара равен 2,0. Если CAGR те же 20%, но просадка 40%, коэффициент Кальмара снижается до 0,5. Для инвестора это важный сигнал: одинаковая доходность может требовать совершенно разного риска.

Ограничение коэффициента Кальмара в том, что он зависит от одного максимального исторического падения. Если тест короткий или не содержит стрессовых периодов, показатель может выглядеть лучше, чем стратегия заслуживает.

Математическое ожидание и средняя сделка

Математическое ожидание показывает средний исторический результат одной сделки с учетом вероятности прибыли и убытка. Проще говоря, это ответ на вопрос: сколько стратегия в среднем зарабатывала или теряла на одну сделку в прошлом тесте.

Если стратегия выигрывает в 55% случаев, средняя прибыльная сделка равна 200 долларов, а средняя убыточная — 150 долларов, ожидание будет положительным. Но если прибыльных сделок 80%, а средний убыток в несколько раз больше средней прибыли, итоговое ожидание может быть слабым или отрицательным.

Средняя сделка полезна для проверки торговых издержек. Если средняя прибыль на сделку слишком мала, комиссия, спред и проскальзывание могут легко уничтожить преимущество. Поэтому статистика торгового робота должна оцениваться с реалистичными затратами, а не только на идеальном бэктесте.

Процент прибыльных сделок

Процент прибыльных сделок показывает долю сделок, закрытых с прибылью. Этот показатель легко воспринимается, поэтому его часто используют в рекламных описаниях торговых систем. Но высокий процент прибыльных сделок не означает безопасную стратегию.

Стратегия может закрывать 85% сделок в плюс, но периодически получать крупные убытки, которые перекрывают большую часть прибыли. И наоборот, трендовая стратегия может иметь только 35-45% прибыльных сделок, но зарабатывать за счет крупных движений, где средняя прибыльная сделка значительно больше средней убыточной.

Процент прибыльных сделок нужно анализировать вместе с Profit Factor, средней прибылью, средним убытком, математическим ожиданием и просадкой. Сам по себе он описывает частоту успеха, но не размер последствий.

Количество сделок

Количество сделок влияет на убедительность всех коэффициентов. Небольшая выборка может случайно дать красивый результат: высокий Profit Factor, высокий коэффициент Шарпа, низкую просадку и стабильную кривую капитала. Но это не обязательно означает устойчивость торговой системы.

Универсального минимального числа сделок нет. Для долгосрочной стратегии на дневных данных 150-300 сделок могут быть значимой историей, а для внутридневной системы этого часто мало. Важно оценивать не только количество сделок, но и их распределение по годам, инструментам, рыночным режимам и независимым участкам теста.

Если стратегия совершила 40 сделок за десять лет, любой показатель будет чувствителен к одной-двум крупным сделкам. Если сделок 1 000, но все они пришлись на один благоприятный рыночный режим, статистика тоже может быть переоценена.

Стабильность результатов по годам

Стабильность торговой стратегии видно не только по итоговой прибыли, но и по распределению результата во времени. Хороший бэктест должен показывать, как стратегия проходила разные годы: трендовые периоды, боковые рынки, всплески волатильности, периоды низкой ликвидности и резкие изменения условий.

Если большая часть прибыли была получена за один год, а остальные годы около нуля или в убытке, итоговый CAGR может выглядеть сильнее, чем реальное качество стратегии. Важно смотреть на годовые результаты, месячные просадки, длительность восстановления и форму кривой капитала.

Стабильная кривая капитала также требует осторожности. Иногда она выглядит гладко из-за усреднения, мартингейла, скрытого открытого убытка или особенностей отчета. Поэтому перед выводами нужно проверить качество исходного отчета: котировки, комиссии, спред, проскальзывание, свопы, реалистичность размера позиции, отсутствие заглядывания в будущее и наличие независимого тестового участка. О базовой проверке теста подробнее рассказано в статье про бэктест торговой стратегии.

Проверка достоверности отчета торгового робота

Перед тем как интерпретировать коэффициенты, нужно проверить качество исходного отчета. Точные формулы не имеют практической ценности, если они рассчитаны на недостоверном тесте. Бэктест торговой стратегии может выглядеть профессионально, но при этом не учитывать реальные издержки, использовать слишком короткий период или опираться на параметры, подобранные под прошлую историю.

Первый блок проверки — данные. Нужно понимать источник котировок, качество исторических данных, таймфрейм, наличие пропусков, корректность торговых сессий и соответствие цен Bid и Ask. Для роботов, которые работают внутри дня, качество данных особенно важно: небольшие ошибки в цене входа, спреде или исполнении могут сильно изменить итоговую статистику торгового робота.

Второй блок — торговые издержки. Отчет должен учитывать комиссии, спред, свопы, проскальзывание и реалистичное исполнение. Если стратегия зарабатывает в среднем несколько пунктов на сделку, даже небольшое ухудшение условий может превратить прибыльную модель в слабую или убыточную. Поэтому средняя сделка и математическое ожидание должны оцениваться после издержек, а не до них.

Третий блок — независимость проверки. Желательно видеть не только оптимизированный участок, но и независимый тестовый период, форвардную проверку, стресс-тесты, моделирование случайного порядка сделок и сравнение с реальной торговлей. Если стратегия хорошо работает только на одном специально выбранном периоде, устойчивость торговой системы остается под вопросом.

• источник и качество котировок;
• учет комиссий, спреда и свопов;
• моделирование проскальзывания;
• реалистичный размер позиции;
• отсутствие заглядывания в будущее;
• наличие независимого тестового участка;
• длительность теста и количество сделок;
• результаты стресс-тестирования;
• устойчивость параметров;
• сопоставление бэктеста с реальной торговлей.

Как сравнить двух торговых роботов

Сравнение двух систем должно учитывать не только прибыльность торгового робота, но и соотношение доходности и риска. Ниже условный пример: он не объявляет победителя, а показывает, какие вопросы нужно задать перед выбором.

Робот А выглядит привлекательнее по доходности и проценту прибыльных сделок, но имеет более глубокую просадку и меньшую выборку. Робот Б скромнее по доходности, зато показывает больше сделок и более умеренный риск. Окончательный выбор зависит от целей инвестора, допустимой просадки и качества исходного теста.

Какие показатели нельзя анализировать отдельно

Любой показатель можно сделать привлекательным, если выбрать удобный период, завысить риск, исключить издержки или провести чрезмерную оптимизацию. Поэтому оценка торгового робота должна начинаться с проверки достоверности отчета.

Бэктест и реальная торговля: что сравнивать после запуска

Даже качественное историческое тестирование остается моделью прошлого. После запуска важно сравнивать реальные сделки с логикой бэктеста: совпадают ли точки входа и выхода, похожи ли средний размер сделки, проскальзывание, длительность удержания позиции, частота сигналов и поведение в периоды повышенной волатильности.

Небольшое отличие реальной торговли от теста нормально. Рынок меняется, исполнение не бывает идеальным, а спред и ликвидность зависят от времени суток и инструмента. Проблема возникает тогда, когда реальные результаты систематически хуже модели: сделки открываются позже, убытки растут быстрее, средняя прибыль уменьшается, а просадка развивается глубже, чем предполагал отчет.

Для спокойной оценки полезно вести отдельную таблицу наблюдений: дата сделки, сигнал стратегии, цена входа, цена выхода, комиссия, проскальзывание, причина закрытия и отличие от расчетной модели. Такой журнал помогает понять, проблема в самой торговой логике, в брокерских условиях, в настройках робота или в том, что исходный бэктест был слишком оптимистичным.

Если реальная торговля пока короткая, не стоит делать окончательные выводы по нескольким сделкам. Но уже на раннем этапе можно проверять техническое соответствие: робот должен исполнять правила так, как они описаны, не менять риск без причины, не открывать лишние позиции и не нарушать ограничения по капиталу. Это практическая часть анализа, которую не заменяет ни один коэффициент в историческом отчете.

Хорошая практика — заранее определить, какие отклонения считаются нормальными, а какие требуют остановки и повторной проверки. Например, рост средней комиссии можно принять как рыночную особенность, но резкое увеличение просадки, изменение частоты сделок или систематическое ухудшение исполнения должны стать поводом для отдельного анализа.

Итоговый алгоритм оценки торгового робота

1. Проверить качество данных. Убедиться, что учтены реальные торговые издержки и используется достаточный исторический период.
2. Оценить доходность. Проверить общую прибыль, доходность в процентах и CAGR.
3. Оценить риск. Изучить максимальную просадку, длительность просадки и восстановление капитала.
4. Проверить соотношение доходности и риска. Сравнить коэффициенты Шарпа, Сортино и Кальмара.
5. Оценить качество сделок. Проверить Profit Factor, математическое ожидание, среднюю сделку, среднюю прибыль и средний убыток.
6. Проверить статистическую достаточность. Оценить количество и независимость сделок.
7. Проверить стабильность. Проанализировать результаты по годам, рыночным режимам и отдельным инструментам.
8. Провести стресс-тестирование. Проверить устойчивость к увеличению издержек, изменению параметров и другой последовательности сделок.
9. Сравнить тест с реальной торговлей. Проверить, соответствуют ли реальные сделки логике и результатам исторической модели.

Внутренние материалы по теме

Для более глубокой проверки торговой системы полезно продолжить с этих материалов: