Método cuantitativo
Backtesting de previsiones para distribuidores: qué debe reproducir
El backtesting no consiste en ocultar el último 20 % de una tabla al azar. Debe reproducir la secuencia real de información, previsión y decisión de la empresa.
Un backtest fiable simula varios cierres históricos, usa únicamente datos disponibles entonces y compara el modelo con el método vigente al mismo horizonte y nivel de detalle.
Reconstruye el momento exacto de la decisión
Un distribuidor puede cerrar su previsión el día 20 para realizar pedidos que llegarán seis semanas después. Validar una previsión mensual generada al final de mes no representa esa decisión. El corte temporal, el horizonte y el lead time deben reflejar el calendario real.
También hay que decidir qué información estaba consolidada en ese momento. Ventas corregidas posteriormente, devoluciones registradas tarde o calendarios promocionales actualizados después del cierre no pueden entrar en el entrenamiento de una simulación histórica.
Evita la fuga de información
La fuga aparece cuando el modelo utiliza directa o indirectamente datos futuros. Es frecuente en variables agregadas calculadas sobre todo el histórico, imputaciones realizadas con información posterior o selecciones de producto que se definen después de conocer el resultado.
La solución es construir cada corte como un pequeño proyecto independiente: transformar, entrenar y estimar únicamente con la información disponible antes de la fecha simulada. Si una variable no podría conocerse en producción, tampoco debe existir en el backtest.
- Recalcular medias, tendencias y categorías en cada corte.
- Congelar maestros y calendarios tal como estaban disponibles.
- Registrar exclusiones y cambios de surtido de forma explícita.
Utiliza ventanas sucesivas, no una única partición
Una única ventana puede coincidir con una temporada fácil o con un evento excepcional. La validación rolling-origin repite el proceso avanzando el corte en el tiempo y genera una distribución de resultados.
Esto permite observar deterioro, estacionalidad y sensibilidad al volumen de histórico. También muestra cuántas veces gana el modelo frente al método actual, una señal más informativa que la media de una sola prueba.
Compara contra el proceso real, no contra una caricatura
Si el equipo comercial ajusta la previsión estadística, el baseline relevante puede ser la cifra final aprobada, no el cálculo automático previo. Si compras trabaja con mínimos de pedido, la comparación debe medir la decisión redondeada que habría terminado en la orden.
El modelo debe demostrar valor en el contexto donde será usado. En algunos casos la ganancia estará en reducir trabajo manual o detectar excepciones, aunque la mejora media de precisión sea moderada.
Entrega incertidumbre y fallos, no solo una puntuación
El informe de backtesting debe mostrar intervalos, segmentos donde la señal es débil y condiciones en las que el modelo falla. Una media sin dispersión puede ocultar meses con un riesgo operativo inaceptable.
La recomendación final puede ser desplegar, limitar el alcance, recopilar más información o mantener el método actual. Un backtest que también permite descartar una inversión es una herramienta de decisión, no una demostración comercial.
