Data mining en backtesting: elegir solo la regla ganadora

Cuantas más variantes pruebas, más fácil es encontrar una casualidad

El data mining en un backtest aparece cuando se prueban muchas reglas, parámetros o periodos y después se muestra únicamente la combinación con mejor resultado. El gráfico final parece limpio, pero oculta cuántos intentos fallaron antes de encontrarlo.

La SEC advierte que el rendimiento histórico simulado puede sufrir este problema: con la ventaja de mirar hacia atrás, quien prueba puede examinar múltiples estrategias y seleccionar la que funcionó especialmente bien en un periodo concreto.

No significa que probar alternativas sea incorrecto. El error consiste en tratar al ganador como si hubiera sido la única hipótesis evaluada. Una coincidencia afortunada puede destacar entre cientos de pruebas aunque no exista una relación estable detrás.

Para detectarlo, registra antes de empezar qué variantes vas a comparar y conserva la tabla completa, no solo el primer puesto. Separa los datos usados para explorar de otros reservados para comprobar. Incluye costes y repite la evaluación en periodos distintos sin reajustar cada vez la regla.

El data mining selecciona entre muchos resultados; el sobreajuste adapta demasiado una regla a los datos. Pueden aparecer juntos, pero no son idénticos. Relaciónalo con la prueba fuera de muestra, consulta el diccionario y comparte dudas en comentarios.

Fuente

SEC, demanda civil sobre riesgos de data mining en resultados backtested.