Cómo saber si una previsión de demanda mejora el método actual

Empieza por una referencia que el negocio reconozca

El primer competidor de un modelo nuevo no es otro algoritmo: es la forma en la que la empresa planifica hoy. Puede ser la venta del mismo mes del año anterior, una media móvil, el presupuesto comercial o la cifra corregida manualmente por el equipo.

Esa referencia debe reproducirse de forma explícita. Si el método actual incorpora una corrección conocida por promociones, festivos o pedidos abiertos, la comparación debe incluirla. Un baseline artificialmente débil puede hacer que cualquier modelo parezca bueno sin demostrar una mejora real.

• Mismo horizonte de previsión para ambos métodos.
• Misma granularidad: referencia, familia, cliente o región.
• Misma información disponible en la fecha de decisión.

Separa el pasado como habría ocurrido en realidad

Validar sobre los mismos datos utilizados para ajustar el modelo solo mide capacidad de reconstrucción. Para estimar utilidad futura se necesita una simulación temporal: en cada corte histórico se entrena con el pasado, se genera la previsión que habría estado disponible y se compara con lo que ocurrió después.

Conviene repetir este proceso en varios cortes. Así se observa si el resultado depende de una campaña concreta o si se mantiene en temporadas altas, periodos tranquilos y cambios de tendencia. La estabilidad suele ser más importante que ganar unas décimas en una única ventana.

No reduzcas el resultado a una sola métrica

MAE, RMSE o WAPE resumen el tamaño del error, pero no cuentan toda la historia. En inventario, un modelo con error medio razonable puede generar un sesgo persistente a la baja y aumentar las roturas. En producción, unos pocos errores grandes pueden ser más costosos que muchos errores pequeños.

La evaluación debe conectar precisión y operación. La pregunta no es únicamente cuánto se equivocó la previsión, sino qué habría cambiado en compra, stock, capacidad o servicio si se hubiera utilizado.

• Error absoluto y error ponderado por volumen o valor.
• Sesgo: tendencia sistemática a sobreprever o infraprever.
• Roturas, exceso de stock, expediciones urgentes o capacidad ociosa.
• Resultado por segmentos, no solo en el agregado total.

Define antes qué significa ganar

Antes de ejecutar el backtest hay que acordar una regla de decisión. Por ejemplo: reducir el WAPE al menos un 10 %, mantener el sesgo dentro de un intervalo, mejorar el resultado en la mayoría de las familias relevantes y no empeorar el nivel de servicio.

Esta regla evita seleccionar un modelo porque funciona especialmente bien en el agregado mientras perjudica referencias críticas. También permite decidir con honestidad cuándo no merece la pena desplegarlo o cuándo conviene limitarlo a una parte del catálogo.

El resultado final debe ser una decisión reproducible

Una validación útil termina con una tabla clara: método actual, modelo propuesto, diferencia por segmento, incertidumbre y efecto operativo estimado. Debe quedar documentado qué datos se usaron, qué periodos se excluyeron y dónde falla el modelo.

Si la mejora es estable, el siguiente paso no es automatizarlo todo. Es ejecutar un piloto acotado, revisar las excepciones con el equipo y comprobar que la previsión llega a tiempo y en el formato necesario para decidir.