Entrenar el sistema en un histórico representativo de la evolución a largo plazo del mercado y que incluya varios ciclos alcistas, bajistas y laterales. Por ejemplo, para un sistema que opere en gráficos de 30 minutos, no menos de 50.000 barras. Para uno diario, de 7 a 10 años.
Reservar al 1/3 del espacio muestral del histórico para el backtesting.
Desconfiar de los sistemas con un alto número de parámetros. No más de 4 ó 5.
Los sistemas con mútiples medias móviles optimizables son más propensos a la sobreoptimización.
Probar la idoneidad del sistema en tiempo real durante un número considerable de sesiones (hay quien recomienda de 6 meses a un año) antes de lanzarse a operar con él.
Evaluar el grado de acople del sistema.
No centrar el criterio de optimización solo en la rentabilidad, considerar también el Drawdown.
Probar el comportamiento del sistema en diferentes mercados con los mismos parámetros.
Probar el comportamiento del sistema en diferentes escalas temporales.
Desconfiar de los ratios de fiabilidad elevados. Por ejemplo, en un sistema seguidor de tendencia, una fiabilidad de 40% a 55% es suficiente (siempre y cuando la ganancia media por negocio positivo sea considerablemente mayor que la pérdida média de los negativos). Por sentido común: Desconfiar siempre de fiabilidades anómalamente altas -la piedra filosofal es solo un mito escolástico- Fiabilidades superiores al 70% indicarán, casi indefectiblemente, alto grado de sobreoptimización