Backtesting y Forward Testing: la importancia de la correlación
Los operadores que están ansiosos por probar una idea comercial en un mercado en vivo a menudo cometen el error de confiar completamente en los resultados del backtesting para determinar si el sistema será rentable. Si bien el backtesting puede proporcionar a los operadores información valiosa, a menudo es engañoso y es solo una parte del proceso de evaluación.
Las pruebas fuera de muestra y las pruebas de rendimiento anticipadas brindan una confirmación adicional con respecto a la efectividad de un sistema y pueden mostrar los colores reales de un sistema antes de que el efectivo real esté en juego. Una buena correlación entre los resultados de las pruebas de rendimiento backtesting, out-of-sample y forward es vital para determinar la viabilidad de un sistema comercial.
Conceptos básicos de backtesting
El backtesting se refiere a la aplicación de un sistema comercial a los datos históricos para verificar cómo se habría desempeñado un sistema durante el período de tiempo especificado. Muchas de las plataformas comerciales actuales admiten backtesting. Los operadores pueden probar ideas con unas pocas teclas y obtener información sobre la efectividad de una idea sin arriesgar fondos en una cuenta comercial. El backtesting puede evaluar ideas simples, como el rendimiento de un cruce de promedio móvil en datos históricos, o sistemas más complejos con una variedad de entradas y disparadores.
Siempre que se pueda cuantificar una idea, se puede contrastar. Algunos comerciantes e inversores pueden buscar la experiencia de un programador calificado para desarrollar la idea en una forma comprobable. Por lo general, esto implica que un programador codifique la idea en el lenguaje propietario alojado por la plataforma de negociación. El programador puede incorporar variables de entrada definidas por el usuario que permiten al operador «modificar» el sistema.
Un ejemplo de esto sería en el sistema de cruce de promedio móvil simple mencionado anteriormente: el operador podría ingresar (o cambiar) las longitudes de los dos promedios móviles utilizados en el sistema. El operador podría realizar una prueba retrospectiva para determinar qué longitudes de medias móviles se habrían desempeñado mejor en los datos históricos.
Estudios de optimización
Muchas plataformas comerciales también permiten estudios de optimización. Esto implica ingresar un rango para la entrada especificada y dejar que la computadora «haga los cálculos» para averiguar qué entrada habría funcionado mejor. Una optimización multivariable puede hacer los cálculos de dos o más variables para determinar qué combinaciones habrían logrado el mejor resultado.
Por ejemplo, los comerciantes pueden decirle al programa qué entradas les gustaría agregar a su estrategia; estos luego se optimizarían a sus pesos ideales dados los datos históricos probados.
El backtesting puede ser emocionante porque un sistema no rentable a menudo se puede transformar mágicamente en una máquina de hacer dinero con algunas optimizaciones. Desafortunadamente, ajustar un sistema para lograr el mayor nivel de rentabilidad pasada a menudo conduce a un sistema que funcionará mal en el comercio real. Esta sobreoptimización crea sistemas que solo se ven bien en papel.
El ajuste de curvas es el uso de análisis de optimización para crear el mayor número de operaciones ganadoras con el mayor beneficio sobre los datos históricos utilizados en el período de prueba. Aunque parece impresionante en los resultados de las pruebas retrospectivas, el ajuste de curvas conduce a sistemas poco confiables, ya que los resultados están esencialmente diseñados a la medida para ese período de tiempo y datos en particular.
El backtesting y la optimización brindan muchos beneficios a un comerciante, pero esto es solo una parte del proceso al evaluar un sistema comercial potencial. El siguiente paso de un comerciante es aplicar el sistema a los datos históricos que no se han utilizado en la fase inicial de backtesting.
Datos dentro de la muestra versus datos fuera de la muestra
Al probar una idea en datos históricos, es beneficioso reservar un período de tiempo de datos históricos para fines de prueba. Los datos históricos iniciales en los que se prueba y optimiza la idea se denominan datos en la muestra. El conjunto de datos que se ha reservado se conoce como datos fuera de muestra. Esta configuración es una parte importante del proceso de evaluación porque proporciona una forma de probar la idea en datos que no han sido un componente del modelo de optimización.
Como resultado, la idea no habrá sido influenciada de ninguna manera por los datos fuera de la muestra, y los comerciantes podrán determinar qué tan bien podría funcionar el sistema con nuevos datos, es decir, en el comercio de la vida real.
Antes de iniciar cualquier backtesting u optimización, los traders pueden reservar un porcentaje de los datos históricos para realizar pruebas fuera de la muestra. Un método consiste en dividir los datos históricos en tercios y segregar un tercio para usarlos en las pruebas fuera de la muestra. Solo los datos de la muestra deben usarse para la prueba inicial y cualquier optimización.
La siguiente figura muestra una línea de tiempo en la que un tercio de los datos históricos se reserva para pruebas fuera de la muestra y dos tercios se utilizan para las pruebas dentro de la muestra. Aunque la figura a continuación describe los datos fuera de la muestra al comienzo de la prueba, los procedimientos típicos tendrían la porción fuera de la muestra inmediatamente antes del desempeño futuro.
La correlación se refiere a las similitudes entre los resultados y las tendencias generales de los dos conjuntos de datos. Las métricas de correlación se pueden usar para evaluar los informes de desempeño de la estrategia creados durante el período de prueba (una característica que brindan la mayoría de las plataformas comerciales). Cuanto más fuerte sea la correlación entre los dos, mayor será la probabilidad de que un sistema funcione bien en las pruebas de rendimiento a futuro y en las operaciones en vivo.
La siguiente figura ilustra dos sistemas diferentes que se probaron y optimizaron con datos dentro de la muestra y luego se aplicaron a datos fuera de la muestra. El gráfico de la izquierda muestra un sistema que estaba claramente ajustado a la curva para funcionar bien con los datos dentro de la muestra y falló por completo en los datos fuera de la muestra. El gráfico de la derecha muestra un sistema que funcionó bien tanto en datos dentro como fuera de la muestra.
Una vez que se ha desarrollado un sistema de negociación utilizando datos dentro de la muestra, está listo para aplicarse a los datos fuera de la muestra. Los comerciantes pueden evaluar y comparar los resultados de rendimiento entre los datos dentro y fuera de la muestra.
Si hay poca correlación entre las pruebas dentro y fuera de la muestra, como el gráfico de la izquierda en la figura anterior, es probable que el sistema se haya optimizado en exceso y no funcione bien en las operaciones en vivo. Si existe una fuerte correlación en el desempeño, como se ve en el gráfico de la derecha, la siguiente fase de evaluación implica un tipo adicional de prueba fuera de la muestra conocida como prueba de desempeño hacia adelante.
Conceptos básicos de las pruebas de rendimiento avanzadas
Las pruebas de rendimiento a futuro, también conocidas como operaciones en papel, brindan a los operadores otro conjunto de datos fuera de la muestra para evaluar un sistema. Las pruebas de rendimiento a plazo son una simulación del comercio real e implica seguir la lógica del sistema en un mercado en vivo. También se denomina comercio en papel, ya que todas las operaciones se ejecutan únicamente en papel; es decir, las entradas y salidas de operaciones se documentan junto con cualquier ganancia o pérdida del sistema, pero no se ejecutan operaciones reales.
Un aspecto importante de las pruebas de rendimiento hacia adelante es seguir exactamente la lógica del sistema; de lo contrario, resulta difícil, si no imposible, evaluar con precisión este paso del proceso. Los comerciantes deben ser honestos acerca de las entradas y salidas de operaciones y evitar comportamientos como elegir operaciones o no incluir una operación en papel racionalizando que «nunca habría tomado esa operación». Si el comercio se hubiera producido siguiendo la lógica del sistema, debe documentarse y evaluarse.
Muchos corredores ofrecen una cuenta de negociación simulada donde se pueden realizar operaciones y calcular las pérdidas y ganancias correspondientes. El uso de una cuenta comercial simulada puede crear una atmósfera semi-realista en la que practicar el comercio y evaluar más el sistema.
La figura anterior también muestra los resultados de las pruebas de rendimiento avanzadas en dos sistemas. Una vez más, el sistema representado en el gráfico de la izquierda no funciona mucho más allá de las pruebas iniciales en los datos de la muestra. Sin embargo, el sistema que se muestra en el gráfico de la derecha sigue funcionando bien en todas las fases, incluida la prueba de rendimiento hacia adelante. Un sistema que muestra resultados positivos con una buena correlación entre las pruebas de rendimiento dentro de la muestra, fuera de la muestra y hacia adelante está listo para implementarse en un mercado en vivo.
La línea de fondo
El backtesting es una herramienta valiosa disponible en la mayoría de las plataformas comerciales. Dividir los datos históricos en varios conjuntos para proporcionar pruebas dentro y fuera de la muestra puede proporcionar a los operadores un medio práctico y eficiente para evaluar una idea y un sistema comerciales. Dado que la mayoría de los comerciantes emplean técnicas de optimización en backtesting, es importante evaluar el sistema con datos limpios para determinar su viabilidad.
Continuar con las pruebas fuera de muestra con pruebas de rendimiento avanzadas proporciona otra capa de seguridad antes de poner un sistema en el mercado arriesgando dinero real. Los resultados positivos y la buena correlación entre el backtesting dentro y fuera de la muestra y las pruebas de rendimiento a futuro aumentan la probabilidad de que un sistema funcione bien en la negociación real.