Medir sesgos algorítmicos sin caer en atajos

Un modelo puede alcanzar una precisión alta y, aun así, fallar de forma consistente sobre determinados grupos de personas. La cifra agregada que aparece en la mayoría de los informes resume miles de decisiones en un solo número, y ese número no distingue entre un acierto distribuido de forma pareja y un acierto que se concentra en los casos fáciles mientras los demás se resuelven a ciegas. Cuando el sistema decide sobre accesos, validaciones de identidad o controles fronterizos, esa diferencia importa más que el promedio.

La primera decisión de una auditoría de sesgos no es técnica, es de definición. Hay que acordar qué subgrupos se van a medir y por qué. Edad, género, tono de piel, presencia de elementos como gafas o barba, calidad de captura, condiciones de iluminación. No todos aplican a todos los sistemas. Lo que sí aplica siempre es justificar cada corte: si un subgrupo entra en el análisis, tiene que haber una razón operativa o una sospecha documentada, no una lista copiada de otro informe.

El segundo problema es el tamaño. Un subgrupo con treinta casos no permite afirmar nada serio sobre la tasa de error, por mucho que la diferencia parezca grande. Antes de reportar una brecha conviene fijar un mínimo de muestra por celda y, si no se alcanza, decirlo en el propio informe en lugar de rellenar el hueco con una estimación. Los intervalos de confianza hacen ese trabajo: muestran el rango donde probablemente cae el valor real y evitan que una diferencia de dos puntos se lea como una conclusión firme.

Por eso preferimos reportar intervalos y no un único número por subgrupo. Un modelo con 96 % de acierto global puede tener 94 % en un grupo y 98 % en otro, y ambos datos son compatibles con muchas explicaciones. Lo que cambia la lectura es ver si los intervalos se solapan o no, y si la brecha se mantiene al repetir la medición con otra partición de los datos. Una diferencia que desaparece al cambiar la semilla no es un sesgo, es ruido.

También conviene separar los tipos de error. Un falso positivo y un falso negativo no tienen el mismo coste en un sistema de identificación, y promediarlos esconde el problema real. Si el modelo rechaza con más frecuencia a un grupo, eso se ve en la tasa de falsos negativos, no en la exactitud. Reportar ambas tasas por subgrupo, junto con la distribución de puntuaciones, da una imagen mucho más útil que cualquier métrica única.

La lista de comprobación que usamos cierra el proceso sin convertirlo en una caja negra: subgrupos definidos y justificados por escrito, tamaño mínimo por celda acordado antes de mirar resultados, intervalos de confianza en cada cifra reportada, separación entre falsos positivos y falsos negativos, y una nota explícita sobre qué no se pudo medir y por qué. Si algún punto queda sin cubrir, se anota. Un informe de auditoría honesto incluye sus propios límites.