Publicado el 14 de marzo de 2025 · Patricia Flores Navarro · Verificación continua
Qué cambia cuando el sistema deja de estar en un entorno controlado y el informe firmado empieza a describir un modelo que ya no existe.
Un informe de auditoría tiene fecha de firma. El modelo que describe, no. Entre la entrega del documento y el momento en que alguien lo vuelve a abrir suelen pasar meses: se reentrenó con datos nuevos, se ajustó un umbral para bajar las falsas alarmas, se cambió la cámara de un acceso, se sumó una sede con iluminación distinta. Nada de eso aparece en el informe, y sin embargo todo eso mueve las métricas que el informe certificaba.
La verificación continua no es repetir la auditoría cada cierto tiempo. Es montar un sistema que detecte cuándo la foto dejó de coincidir con la realidad, y que deje rastro de por qué se decidió intervenir o no. Sin ese rastro, la siguiente auditoría empieza de cero y no puede reconstruir qué pasó en el medio.
No todo lo que se puede medir sirve para detectar deriva. En identificación, las señales que suelen dar aviso temprano son cuatro: la distribución de puntuaciones de similitud, la tasa de rechazos por baja calidad de captura, la proporción de comparaciones que caen cerca del umbral y la composición de la población que realmente está usando el sistema. Las dos primeras se calculan solas. Las otras dos requieren que alguien mire los datos con cierta periodicidad.
La precisión global, en cambio, es una mala señal de alarma. Se mueve tarde, se mueve poco y esconde exactamente los casos que importan. Un sistema puede mantener su exactitud agregada mientras empeora de forma sostenida sobre un subgrupo concreto, y esa degradación solo aparece cuando se desglosa.
Los umbrales no son una decisión técnica que se toma una vez. Son un acuerdo operativo entre quien despliega el sistema y quien asume el costo de equivocarse. Por eso conviene fijar de antemano una cadencia de revisión y un criterio de disparo: si la tasa de comparaciones cercanas al umbral sube de forma sostenida durante dos semanas, se revisa; si aparece un cambio en la composición de la población, se revisa; si se reentrena el modelo, se revisa sin esperar a la fecha programada.
Lo importante no es la frecuencia exacta, sino que la frecuencia esté escrita y que las excepciones queden documentadas. Un umbral que se ajusta sin registro es un umbral que nadie puede defender después.
Cada cambio en el modelo, en los datos de entrada o en la configuración del sistema debería dejar tres cosas: qué se cambió, con qué evidencia se decidió y qué se esperaba que pasara. No hace falta un formato elaborado. Una tabla con fecha, responsable, cambio y métrica observada antes y después cubre la mayor parte de las preguntas que aparecen en la siguiente auditoría.
El problema habitual no es la falta de registros, sino que están repartidos entre el repositorio, el ticket de operaciones y el correo de quien aprobó el cambio. Cuando eso ocurre, reconstruir la historia lleva más tiempo que volver a auditar el modelo.
Un panel con alertas no reemplaza a una persona. La monitorización detecta que algo se movió, pero no distingue entre una deriva real y un cambio legítimo en el uso del sistema. Si una sede empieza a operar de noche y las capturas empeoran, la alerta se dispara igual que si el modelo hubiera perdido capacidad de generalización. Decidir cuál de las dos cosas está pasando requiere contexto que no está en la métrica.
Por eso conviene reservar una revisión humana periódica, aunque las señales estén dentro de lo esperado. Sirve para dos cosas: confirmar que los umbrales siguen teniendo sentido para la operación actual y detectar cambios que ninguna métrica configurada estaba mirando.
Si hay que empezar por algún lado, empezar por lo aburrido: registrar cada cambio, definir una cadencia de revisión y elegir tres o cuatro señales que se puedan calcular sin esfuerzo. Con eso ya se puede responder la pregunta que más aparece cuando alguien retoma un informe viejo: qué cambió desde entonces y si eso afecta lo que el documento certificaba.
Los artículos de verificación continua los escribe el mismo equipo que audita los modelos. No hay redacción externa ni resúmenes de segunda mano: lo que se publica aquí sale de revisiones reales sobre sistemas en producción.
Patricia Flores Navarro dirige las auditorías de robustez y sesgo en AuditaIA. Antes trabajó en validación de modelos de visión dentro de entornos regulados, donde aprendió que un informe firmado caduca rápido si nadie vigila el modelo después. Escribe sobre umbrales, trazabilidad y las decisiones incómodas que aparecen cuando la monitorización automática ya no alcanza.