Tras haber visto en la primera parte los factores que afectan a la selección de parámetros y abordar una validación multiescenario de amplio espectro, seguidamente analizaremos una cuestión que quedó sin respuesta: ¿Cómo responde el sistema a los distintos regímenes de los mercados?  Para ello analizaremos la robustez de las combinaciones paramétricas en los tramos históricos en que se produce un cambio de marcoépoca.

El primer paso es construir un modelo de cambio de régimen consecuente con el activo o conjunto de activos en los que estamos evaluando la estrategia. Todos los modelos tienen dos componentes: Las métricas empleadas para caracterizar los cambios (retornos, volatilidades, correlaciones) y número de estados posibles. Muchos modelos construidos con carácter predictivo son binarios (alcista/bajista) o a lo sumo (alcista/lateral/bajista). Es difícil encontrar modelos que caractericen múltiples estados (por ejemplo combinando tendencias y umbrales de volatilidad) debido a que la matriz de probabilidades para calcular las transiciones de régimen se hace cada vez más compleja e inconsistente.

ELECCIÓN DEL MODELO DE CAMBIO DE RÉGIMEN

Básicamente tenemos cuatro tipos de modelos de cambio de régimen:

• Modelos Inferenciales: En los que el proceso de cambio de régimen deriva de variables exógenas; por ejemplo variaciones en los tipos de interés o en los ciclos macroeconómicos.
• Modelos lineales: Analizan la evolución de las series de precios para encontrar cambios significativos en las medias y varianzas que permitan caracterizar cada estado.  Algunos desarrollos más sofisticados utilizan procesos tipo ARIMA (Harvey, 1985) o de cointegración (Engle, 1987)
• Modelos probabilísticos o markovianos: Basados en una matriz de transición con probabilidad continua o variable. Con Hamilton (1989) se popularizó el modelo markov-switching empleado para predecir transiciones de fase en la media/varianza de las series.
• Modelos basados en Machine Learning: Utilizan algoritmos de aprendizaje no supervisado (K-means, DBSCAN) o supervisado (ej. Naive Bayes) para clasificar los datos identificando clusters o series de datos agrupados en el tiempo que tienen rasgos diferenciales bien definidos y sirven para caracterizar un régimen.

Dejamos una descripción detallada de estos modelos para futuros artículos. Bástenos decir que nuestro modelo es de tipo hamiltoniano y se basa en la identificación regímenes específicos de tendencia y volatilidad que se extiendan en un marco temporal lo suficientemente amplio para permitirnos acotar regiones in-sample (IS) y out-sample (OS) en las que evaluar la estrategia. 

El modelo permite identificar en el futuro del SP500 (ES) diversas configuraciones de volatilidad y tendencia que sintetizamos en los siguientes gráficos: 

Y estas son las marcoépocas en las que vamos a realizar el análisis multiescenario:

ANÁLISIS DE MARCOÉPOCAS

El siguiente paso será analizar el rendimiento de la estrategia en cada marcoépoca empleando el procedimiento SPR (System Parameter Randomization). Para ello realizaremos una validación multiescenario tomando como base la tabla horquillas paramétricas mencionadas en la primera parte de este artículo y obtendremos 1000 muestras aleatorias. Seguimos utilizando el SQN como ratio de referencia, si bien debido a la disparidad de tamaños de los cortes temporales anclamos el divisor a un valor fijo de 200 operaciones por período.

1.- Marcoépoca BVM:

En este primer periodo, con estructura bajista y volatilidad media obtenemos los siguientes resultados:

2.- Marcoépoca BVA:

La segunda marcoépoca tiene una estructura fuertemente bajista y de alta volatilidad, con picos de volatilidad extrema. Estos son los resultados:

3.- Marcoépoca LVM:

En el histórico analizado obtenemos dos subperíodos caracterizados por falta de tendencia claramente definida y volatilidad media: ene-15 a nov-16 y feb-18 a mar-19. Suelen ser períodos de corta duración y generalmente de transición entre fases.

Como podemos ver los resultados no son homogéneos: El período LVM1 obtiene en general peores métricas que el período LVM2. Esto es debido, como podemos apreciar en la ilustración 2, a que el segundo periodo tiene picos de volatilidad mayores.

4.- Marcoépoca AVM:

Se trate de un período con tendencia globalmente alcista y volatilidad media. Estos pedidos son infrecuentes en los mercados y aparecen cuando los precios salen de un fuerte retroceso como el ocurrido entre 2008 y 2009. Los mercados tienden a subir, pero en los primeros compases la recuperación es más nerviosa y con dientes de sierra pronunciados.

 5.- Marcoépoca AVB:

En este activo identificamos desde 2001 tres periodos alcistas de baja volatilidad: abr-03/sep.07, ene-12/dic-14 y dic-16/ene-18.  Estos tramos suelen ser complejos para sistemas intradiarios ya que la amplitud diaria del rango es muy pequeña, con lo que el BMO se reduce bastante respecto a otras marcoépocas:

SELECCIÓN DE PARÁMETROS

Una vez analizado el rendimiento del sistema en cada período mediante el procedimiento SPR procedemos a seleccionar las combinaciones paramétricas representativas del cuartil Q3 que utilizaremos en la validación cruzada.  Tal y como vimos en la primera parte del artículo para seleccionar los valores más representativos utilizaremos como referencia la moda, o valor que más se repite dentro del tercer cuartil. Estas son las combinaciones seleccionadas:

VALIDACIÓN MULTIESCENARIO

Podríamos construir una matriz completa de validación cruzada, pero el proceso consumiría mucho tiempo ya que tendríamos que resolver V_8,2= 56 escenarios con un enfoque bidireccional y C_8,2=28 si asumimos direccionalidad o flecha del tiempo. Esta es la situación en una tabla ordenada cronológicamente:

En lugar de ello, vamos a analizar un conjunto reducido de escenarios que responden a una lógica tipo walk-forward. O sea, con prelación cronológica y contigüidad temporal:

1.- BVM (ene-01/mar-03) → AVB1 (abr-03/sep-07)

2.- AVB1 (abr-03/sep-07) → BVA (oct-07/abr-09)

3.- BVA (oct-07/abr-09) → AVM (abr-09 /dic.11)

4.- AVM (abr-09/dic-11) → AVB2 (ene-12/dic-14)

5.- LVM1 (ene-15/nov-16) → AVB3 (dic-16/ene-18)

Naturalmente, una validación IS→OS completa en los 56 escenarios posibles permitiría simular con mucho más detalle el comportamiento de la estrategia en las diferentes marcoépocas.

• Escenario 1: BVM → AVB1

Analizamos el tránsito de un escenario bajista y con volatilidad media a un escenario alcista y de baja volatilidad. Como ya hemos realizado una evaluación In-sample a cada marcoépoca, no tenemos más que aplicar la combinación paramétrica Q3 de BVM al período AVB1.

Como vemos, el resultado del OS queda ligeramente por debajo de la mediana, evidenciando que el comportamiento del sistema se resiente en este cambio de marcoépoca.

• Escenario 2: AVB1 → BVA

Este es el tránsito de marcoépoca más abrupto del histórico. Pasamos de una época alcista y de muy baja volatilidad al escenario fuertemente bajista y de desconfianza generalizada ocasionado por la crisis subprime de 2008.  Estos son los resultados:

En este caso el resultado de OS se sitúa claramente por encima de la mediana evidenciando que el tránsito de marcoépoca de baja a alta volatilidad no supone una degradación seria de la performance del sistema.

• Escenario 3: BVA  → AVM

En este escenario analizamos el tránsito de un mercado fuertemente bajista y con elevada volatilidad a otra marcoépoca alcista en la que se inicia una recuperación titubeante y con niveles elevados de volatilidad para lo que suele ser un movimiento alcista de larga duración.

• Escenario 4: AVM → AVB2
  

En este escenario se produce una consolidación del movimiento alcista de la fase anterior. Por tanto estamos evaluando el tránsito de una etapa alcista y de volatilidad media a otra también alcista, pero mucho más con fiada y tranquila, con niveles de volatilidad más contenidos.

El resultado es muy flojo. La configuración paramétrica de AVM apenas proyecta sobre la marcoépoca AVB2, yéndose a los percentiles más bajos de la distribución. Esto nos puede poner sobre la pista –habría que hacer más pruebas- de que algunos sistemas ORB y VBO necesitan filtros de activación basados en umbrales de volatilidad. En otras palabras, no son aptos para operar en sesiones con un rango efectivo (ER) demasiado estrecho.

• Escenario 5: LVM1 → AVB3

Por último evaluamos en tránsito entre una marcoépoca lateral con volatilidad media y otra claramente alcista y con niveles muy bajos de volatilidad.

Aquí obtenemos el peor resultado de los cinco escenarios evaluados. Nuevamente, la escasa volatilidad hace que la configuración paramétrica procedente de LVM1 obtenga un comportamiento extremadamente pobre al ser aplicada a la nueva marcoépoca.

CONCLUSIONES:

Si agrupamos en un gráfico los datos de esta evaluación, en realidad una muestra incompleta  de todos escenarios posibles, obtenemos la siguiente imagen:

Como podemos ver las fluctuaciones del OS entre marcoépocas son enormes. Una parte del rendimiento esperado del sistema es estructural y tiene que ver con la distribución (volatilidad y tendencia) inherente al mercado en cada marcoépoca y, otra parte, con el propio proceso de evaluación.

Contemplando un gráfico multiescenario de este tipo podemos observar las fluctuaciones de la estrategia debidas al desempeño global de la lógica en cada marcoépoca, las cuales delimitan el rendimiento máximo que podemos esperar de la estrategia, y las fluctuaciones debidas a las transiciones entre periodos IS/OS.

Cuando utilizamos para el entrenamiento periodos pequeños del histórico estamos apostando, aún sin saberlo, por una estabilidad estructural del mercado en el tiempo. Esto quizá maximice las expectativas de retorno en el entorno cercano, pero dispara las posibilidades de una merma abrupta de la performance en las transiciones de fase. En mi opinión este enfoque no compensa. En el otro extremo, cuando elegimos periodos muy largos para el entrenamiento, estaremos penalizando el comportamiento de la estrategia en el entorno cercano. Si bien, a la larga, tendremos también un sistema menos sensible a los cambios bruscos de marcoépoca.

Por último, no todas las transiciones entre marcoépocas afectan de igual manera al rendimiento. En general, y con estrategias tipo ORB y VBO, la máxima penalización se obtiene en los tránsitos de media y alta volatilidad a muy baja volatilidad. De hecho para estos sistemas la volatilidad es un factor mucho más relevante  que la amplitud y duración de la tendencia.

Andrés A. García

© Tradingsys, 2019.