El principal problema de optimizar una estrategia es qué combinación paramétrica elegir y si esa combinación específica es capaz de proyectar a futuro un porcentaje apreciable de la performance obtenida en la región optimizada del histórico.

 Para contextualizar esta cuestión vamos a utilizar un sistema sencillo cuyas reglas ya describimos el artículo "Cómo mejorar sistemas empleando técnicas de programación genética" (Hispatrading, Nº 23). El sistema ST36 es de tipo intradiario, con una alta cadencia operativa y ha sido diseñado para trabajar índices en time frames relativamente pequeños de 10 a 20 minutos. Las reglas de esta estrategia son:

•  ENTRAR LARGOS:

Si el cierre actual cruza por encima de una EMA de 500 barras, es mayor que una EMA de 25 barras y el RSI de 14 barras está por encima del nivel 50.

•  ENTRAR CORTOS:

 Lógica Inversa.

•  CERRAR LARGOS:

Si el cierre actual cae por debajo de una EMA de 25 barras.

• CERRAR CORTOS:

Lógica inversa.

 

• El sistema es de tipo reverse: No es necesario esperar al cierre de una posición para entrar en sentido contrario.

En los ejemplos que veremos a continuación aplicaremos el sistema los siguientes futuros sobre índices estadounidenses: ES, YM, TF y NQ,  en un  time frame de 15 min. y con un histórico de 2001 a 2015.

Los parámetros optimizables son cuatro: EMA Larga, EMA Corta, RSI Up y RSI Down. Una vez realizada la evaluación In-Sample, obtenemos la siguiente zona robusta y valores de salto:

Nótese que la ventana de optimización del RSI Up/Down es muy estrecha. Esto es así porque en el diseño de la lógica lo que se buscan son cortes ascendentes y descendentes con el valor central de 50 del RSI. Sin embargo, nosotros los incorporamos como parámetros para añadir más diversidad.

El número de combinaciones paramétricas es:

CP = (400/10) * 30 *10 * 10 = 120.000

No hace falta que perdamos el tiempo explorándolas todas. Nos valdrá con una muestra aleatoria de 5.000. Realizaremos nuestro experimento del siguiente modo:

-   Región In-Sample (IS) a optimizar: 2001-2007

-   Región Out-Sample (OS): 2008-2015.

-    Ratio diana: SQN.

Generamos un conjunto de 5.000 combinaciones paramétricas aleatorias y las ordenamos en un ranking según el SQN. Seleccionamos las mejores combinaciones, las peores y las situadas en la mediana. Acto seguido aplicamos dichas combinaciones a la región Out-Sample.

Adviértase que para mitigar el efecto de la sobreoptimización, elegimos una generosa región IS de 7 años de histórico, en la que se realizan en promedio 498 operaciones por mercado. Con un pico de 1310 y un mínimo de 473.    

Realizamos este pequeño experimento para responder a dos preguntas:

1)      ¿Las mejores combinaciones paramétricas en el IS siguen siendo una buena elección para el OS?

2)      ¿Elegir los mejores parámetros del IS conducirá inexorablemente a  sistemas sobreoptimizados?

En los siguientes gráficos mostramos el resultado de optimizar los parámetros de la zona robusta en el periodo IS y aplicar las mejores combinaciones de valores (verde), peores (rojo) y próximas a la mediana (azul) al período OS en los activos: ES, NQ, TF, YM:

Como puede apreciarse, las combinaciones paramétricas de máximo rendimiento en el IS son también la mejor opción para el OS. Si elegimos combinaciones paramétricas próximas a la mediana (IS) y las aplicamos al (OS) tampoco obtenemos una mejora significativa, salvo en el caso del YM. Por lo que se refiere a las combinaciones de mínimo rendimiento en el IS, en todos los casos se observa una mejora en el OS, pero con un rendimiento inferior al de las combinaciones próximas a la mediana y de máximo rendimiento.

Así que por ahora, la respuesta a la primera pegunta es afirmativa, pero con las salvedades que veremos más adelante. En lo referente a sobreoptimización, en este caso no apreciamos que las mejores combinaciones generen necesariamente resultados pobres en el OS, sino más bien al contrario.

Seguidamente analizaremos con más detalle el caso del ES:

Si analizamos la distribución del beneficio medio por operación (BMO) de la muestra aleatoria de combinaciones paramétricas en la región IS,  obtenemos la siguiente distribución:

• BMO Máximo = $59,24
• BMO Mínimo = $12,94
• BMO Mediana = $36,09

El hecho de que todas las combinaciones de parámetros tengan BMO positivo y que no haya demasiada dispersión, nos está indicando que la zona robusta ha sido correctamente delimitada en la región IS.

Veamos qué ocurre en el OS:

• BMO Máximo = $56,74
• BMO Mínimo = $14,14
• BMO Mediana = $39,17

Observamos una distribución más irregular y alejada de la normalidad. Sin embargo el BMO está en terreno positivo para todas las combinaciones y no se aprecia mayor dispersión. Por tanto, en este tramo del histórico el sistema seguirá funcionando dentro de la zona robusta.

En este gráfico podemos las curvas del beneficio acumulado en IS de las tres mejores combinaciones paramétricas, las tres peores y las tres más próximas a la mediana:

Todas las combinaciones paramétricas de la zona robusta se encuentran dentro del cono formado por las curvas de máximo y mínimo rendimiento. El BMO oscila entre un máximo de 59,24$ y un mínimo de 12,94$.

Seguidamente veremos si esas distancias se mantienen en la región no optimizada o si las curvas de máximo y mínimo rendimiento tienden a converger hacia la mediana, así como si se aprecia una reducción del BMO en cada grupo de combinaciones que podamos imputar al desgaste de la lógica.

El siguiente grafico muestra la aplicación de las mismas combinaciones paramétricas a la región OS. El beneficio medio no varía sustancialmente, aunque las curvas aparecen más escarpadas, el DD es mayor en las tres categorías y el ratio de Sharpe también:

Como puede apreciarse, las combinaciones de máximo rendimiento siguen ofreciendo los mejores resultados en OS. Las combinaciones próximas a la mediana son las que mayor variabilidad experimentan, situándose en un caso por encima y en los otros dos por debajo. Las combinaciones de peor rendimiento, mantienen su comportamiento mediocre en OS, si bien el BMO mejora algo respecto al IS.

Por último, vamos a analizar mediante una matriz de validación cruzada el rendimiento de las combinaciones paramétricas en cortes de tres años. La evaluación se realiza del siguiente modo:

-   Dividimos el histórico 2001-2015 en 5 cortes de 3 años: 2001-03, 2004-06, 2007-09, 2010-12 y 2013-15.

-   Modelo de optimización (IS): Optimizamos cada uno de los 5 cortes tomando como base la zona robusta anteriormente mencionada y como ratio diana el SQN.

-   Validación cruzada (OS): Se aplican las 3 combinaciones paramétricas mejores, peores y próximas a la mediana a cada uno de los cinco cortes.

-    Se construye una matriz de validación considerando el SQN, Net Profit y BMO en cada corte.

Esta es la matriz resultante para cada grupo de parámetros:

Las celdas sombreadas en la diagonal de la tabla son los cortes IS con los mejores parámetros de la optimización. Como podemos apreciar, al aplicar cada una de esas combinaciones paramétricas a los demás cortes (regiones  OS) la diferencia es siempre negativa. No se aprecia sobreoptimización, pero sí una pérdida más o menos acusada del rendimiento en cada corte trianual.

El comportamiento es el que cabe esperar de un sistema cuya lógica no está rota y todavía tiene una notable capacidad de proyectar. No apreciamos una diferencia significativa al aplicar las combinaciones paramétricas en sentido "forward" y "backward", tampoco en los períodos próximos o lejanos al IS. En este caso concreto parece que las diferencias se deben únicamente a factores como la volatilidad y/o tendencialidad de cada corte temporal.

En las siguientes tablas mostramos la validación cruzada empleando las combinaciones paramétricas próximas a la mediana:

La pauta es la que ya hemos observado previamente: Los resultados en los cortes OS son más pobres que si utilizamos las combinaciones de máximo rendimiento. Sin embargo la variabilidad es menor. Con respecto a la pérdida o mejora de la performance, comprobamos que no hay una pauta fija: al aplicar en OS las combinaciones próximas a la mediana, unas veces los resultados mejoran y otras empeoran.

Por último, repetimos la validación cruzada con las combinaciones de mínimo rendimiento en el IS. Observamos que en todos los casos los resultados OS son peores a los que se obtienen con las combinaciones próximas a la mediana y de máximo rendimiento. Sin embargo, como podemos ver en las tablas, se observa una ligera mejora en todas las regiones OS con respecto al IS.   La pequeña mejora observada, no justifica en absoluto el empleo de combinaciones de mínimo rendimiento: 

En definitiva:

- Cuando la zona robusta está bien acotada, las combinaciones de máximo rendimiento tienden a funcionar mejor en OS.

-  La clave para delimitar correctamente la zona robusta es hacer la evaluación IS en un histórico largo y que recoja de manera no sesgada la variabilidad de los mercados: Tramos alcistas, bajistas y laterales, junto con marcoépocas de alta y baja volatilidad.

-  Cuando un sistema no está sobreoptimizado existe una alta probabilidad de que las mejores combinaciones paramétricas sean las que proyectan mejores resultados en OS.

-  La elección de combinaciones paramétricas próximas a la mediana o por debajo de esta generan de manera consistente peores resultados en OS que las combinaciones de máximo rendimiento.

Este es un estudio empírico a pequeña escala. Sus resultados no deben extrapolarse a todo tipo de sistemas  y mercados. Para corroborar estas conclusiones debería hacerse un estudio de base mucho más amplia con lógicas muy distintas (tendenciales, antitendenciales, patrones, etc.) en una muestra amplia de mercados y time frames.

Andrés A. García.

 © Tradingsys.org , 2016

Si usted es ciudadano o residente en los EE.UU. debe leer la siguiente advertencia.

IMPORTANT RISK DISCLOSURE

Futures based investments are often complex and can carry the risk of substantial losses. They are intended for sophisticated investors and are not suitable for everyone. The ability to withstand losses and to adhere to a particular trading program in spite of trading losses are material points which can adversely affect investor returns.

Past performance is not necessarily indicative of future results. Data and graph above are intended to be mere examples and are for educational and illustrative purpose only, and do not represent any trading recommendation.

Please read carefully the CFTC required disclaimer regarding hypothetical results below.

HYPOTHETICAL PERFORMANCE RESULTS HAVE MANY INHERENT LIMITATIONS, SOME OF WHICH ARE DESCRIBED BELOW. NO REPRESENTATION IS BEING MADE THAT ANY ACCOUNT WILL OR IS LIKELY TO ACHIEVE PROFITS OR LOSSES SIMILAR TO THOSE SHOWN; IN FACT, THERE ARE FREQUENTLY SHARP DIFFERENCES BETWEEN HYPOTHETICAL PERFORMANCE RESULTS AND THE ACTUAL RESULTS SUBSEQUENTLY ACHIEVED BY ANY PARTICULAR TRADING PROGRAM. ONE OF THE LIMITATIONS OF HYPOTHETICAL PERFORMANCE RESULTS IS THAT THEY ARE GENERALLY PREPARED WITH THE BENEFIT OF HINDSIGHT. IN ADDITION, HYPOTHETICAL TRADING DOES NOT INVOLVE FINANCIAL RISK, AND NO HYPOTHETICAL TRADING RECORD CAN COMPLETELY ACCOUNT FOR THE IMPACT OF FINANCIAL RISK OF ACTUAL TRADING. FOR EXAMPLE, THE ABILITY TO WITHSTAND LOSSES OR TO ADHERE TO A PARTICULAR TRADING PROGRAM IN SPITE OF TRADING LOSSES ARE MATERIAL POINTS WHICH CAN ALSO ADVERSELY AFFECT ACTUAL TRADING RESULTS. THERE ARE NUMEROUS OTHER FACTORS RELATED TO THE MARKETS IN GENERAL OR TO THE IMPLEMENTATION OF ANY SPECIFIC TRADING PROGRAM WHICH CANNOT BE FULLY ACCOUNTED FOR IN THE PREPARATION OF HYPOTHETICAL PERFORMANCE RESULTS AND ALL WHICH CAN ADVERSELY