Drift: cómo detectar que tu modelo se está degradando

El drift es la degradación silenciosa: el modelo no cambia, los datos sí, y las predicciones se vuelven malas de forma gradual. Sin monitorización, nadie lo detecta hasta que el negocio lo nota — y para entonces el daño ya está hecho.

Tipos de drift que importan. Data drift (o covariate shift): la distribución de las variables de entrada cambia, pero la relación entre variables y etiqueta se mantiene. Concept drift: la relación entre variables de entrada y la etiqueta objetivo cambia (por ejemplo, el comportamiento de los clientes que impagan cambia después de una crisis económica). El primero es más fácil de detectar; el segundo requiere datos etiquetados recientes para confirmarse.

PSI como métrica práctica de drift. El Population Stability Index mide qué tan diferente es la distribución de una variable en producción respecto al perfil de referencia del entrenamiento. Se calcula comparando histogramas: para cada bin, PSI_bin = (actual - esperado) * ln(actual / esperado), y el PSI total es la suma de todos los bins. Valores menores de 0,1 indican distribuciones estables. Entre 0,1 y 0,2, hay drift moderado que vale la pena investigar. Por encima de 0,2, la distribución ha cambiado significativamente y el modelo probablemente se ha degradado.

Qué variables monitorizar. No todas las features importan igual. Las variables más predictivas del modelo (las de mayor importancia en SHAP o en feature_importances_) son las que más impactan si cambian. Empieza monitorizando esas, más las que por su naturaleza tienen más probabilidad de cambiar (demografía, precios, comportamiento de usuario).

Cómo construir un sistema de monitorización mínimo. Necesitas: un perfil de referencia construido sobre los datos de entrenamiento (percentiles, histogramas para numéricas; frecuencias para categóricas), un job que se ejecute periódicamente sobre el tráfico reciente (últimas 24h, última semana), las métricas de drift por feature expuestas a un sistema de alertas. Con Prometheus y Grafana, el drift de cada feature queda visible en un dashboard y se puede configurar una alerta cuando supera el umbral.

La diferencia entre detectar drift y actuar sobre él. Detectar drift es fácil con PSI. Decidir qué hacer es más difícil: ¿reentrenar con datos recientes? ¿ajustar el umbral de decisión? ¿revisar el pipeline de datos buscando errores? La respuesta depende del tipo de drift, de cuántos datos etiquetados recientes tienes y de cuánto ha cambiado el negocio. Lo que no puedes hacer es no detectarlo.