Sobreajuste en backtesting: cuando una estrategia encaja demasiado bien con el pasado

Un pasado perfecto puede ser una mala señal

Un backtest aplica unas reglas a datos históricos para observar cómo se habrían comportado. El sobreajuste aparece cuando esas reglas se modifican tantas veces que terminan capturando peculiaridades del pasado, en lugar de una relación que pueda repetirse.

El error suele empezar de forma inocente: cambiar un horario, un indicador o una condición porque mejora el resultado anterior. Si se prueban muchas combinaciones y solo se conserva la ganadora, alguna puede parecer excelente por casualidad. Bailey y sus coautores desarrollaron un método para estimar precisamente la probabilidad de sobreajuste en simulaciones de inversión.

Un resultado histórico atractivo no prueba por sí solo que la estrategia funcionará después. Por eso conviene separar los datos usados para crear las reglas de otros reservados para comprobarlas. A esa segunda parte se la llama muestra fuera de prueba: información que no participó en los ajustes.

En el diario anota cada variante probada, no solo la que quedó mejor. Guarda también fechas, costes incluidos y reglas descartadas. Así podrás distinguir una idea sencilla de una explicación fabricada después de mirar los datos. Relaciónalo con el sesgo retrospectivo, la revisión del diario y deja tus dudas en comentarios.

Fuente

Bailey, Borwein, López de Prado y Zhu: “The Probability of Backtest Overfitting”.