Muchos aciertos, poca discriminación: cómo evaluar a un clasificador

Imaginemos que alguien entrena un modelo de lenguaje para anticipar el resultado de las solicitudes de sexenio y anuncia que coincide con la comisión evaluadora en el 96 % de los casos. Parece una buena noticia. En la convocatoria ordinaria de 2025, sin embargo, se resolvieron 7.033 expedientes y el 97,6 % recibió evaluación favorable [1], de modo que una regla de una sola línea ("conceder siempre") coincide con la comisión más veces que ese modelo. Y no ha leído ninguna solicitud.

Esto representa un conjunto de casos desequilibrado, donde una categoría es claramente mayoritaria. Pasa lo mismo cuando se criban referencias para una revisión sistemática, en la que los estudios relevantes suelen ser una fracción pequeña de lo recuperado [2,3], o cuando se clasifican fraudes o averías poco frecuentes. En todos esos casos nos interesaría detectar si el agente que clasifica acierta más de lo que acertaría el azar en ese conjunto de elementos.

  Solemos imaginar el azar como una moneda al aire. Con esa imagen, una exactitud de 0,5 o un coeficiente de correlación de Matthews (MCC) de 0 marcarían el listón que hay que superar [4,5]. Pero esos valores son medias y el azar fluctúa. Cuánto fluctúa depende del tamaño del conjunto, de la proporción de cada categoría y de la métrica elegida [6].

¿Cuánto acertaría un dado con los sexenios de 2025?

Los 7.033 expedientes de 2025 (6.864 concesiones y 169 denegaciones) permiten hacer la prueba con datos reales [1]. Pensemos en un evaluador que no lee nada y decide con un dado trucado que dice "sí" 976 veces de cada 1.000, la misma proporción con la que concedió la comisión. Ese dado acabará denegando unos 169 expedientes, como la comisión, pero no los mismos. De las 169 denegaciones reales acertará por pura suerte unas 4 (la especificidad multiplicado por el número de expedientes denegados por la comisión). Es decir, repitiendo 10.000 veces la clasificación completa de los 7033 casos, el 95% de las veces el acuerdo de denegados está entre 1 y 8. Pero aun así coincidirá con la comisión en el 95 % de los expedientes, porque casi todos sus síes caen sobre solicitudes que también recibieron un sí.

  Comparemos ese dado con cuatro evaluadores. El primero lo aprueba todo. Los otros tres proponen denegar 170 expedientes, casi tantos como la comisión, y solo se diferencian en cuántas de las 169 denegaciones reales aciertan: 5, 10 y 150. Son evaluadores hipotéticos.

La columna que todo el mundo mira es el porcentaje de coincidencia (lo que técnicamente se llama exactitud). Según ella, quien aprueba todo sin leer supera al dado y a los evaluadores A y B. C solo es un 1.85% mejor. Pero quien aprueba todo no detecta ninguna denegación, A detecta las mismas que el dado, B alguna más y C reduce los desacuerdos casi el 77%. Como las denegaciones son el 2,4 % del total, acertarlas o fallarlas apenas mueve el porcentaje global. Es como valorar el funcionamiento de una alarma de incendios por las horas que pasa sin sonar.

El MCC corrige ese espejismo. Resume en un número si el evaluador acierta en las dos direcciones a la vez (concede lo que la comisión concedió y deniega lo que denegó), y vale 0 para quien decide al azar y 1 para quien coincide en todo. Quien lo aprueba todo ni siquiera obtiene un valor, A queda dentro de lo que produce el dado, B sale de esa banda por muy poco y C se aleja de ella con claridad.

B ilustra un matiz importante. Supera al azar acertando 10 de 169 denegaciones, apenas dos más que el mejor resultado habitual del dado. Superar al azar es una condición mínima, útil para descartar herramientas en una fase de prueba, pero no garantiza utilidad. Cuántos errores se pueden tolerar depende de lo que cueste cada uno, y eso no lo decide la estadística.

De forma análoga, una planta que fabrica componentes con un 2 % de piezas defectuosas recibe la oferta de un sistema de visión artificial que "acierta el 97 %". Un inspector que diera por buenas todas las piezas acertaría el 98 %. Puede que el sistema detecte defectos de verdad, pero el dato que ofrece el proveedor no lo demuestra. Lo sensato es pedir resultados sobre un lote ya clasificado, simular el azar con la misma proporción de defectos y el mismo ritmo de rechazo que tiene el sistema, y comprobar si su MCC queda fuera de esa banda. La detección de fraude en pagos o el primer filtro de un proceso de selección de revisión de literatura tienen la misma estructura.

Marin-Garcia et al. (2026) proponen estimar esa fluctuación por simulación: se generan 10.000 clasificadores que etiquetan al azar el mismo conjunto de casos, se calculan sus métricas y se toma el intervalo central del 95 %. Hay dos versiones del azar. La uniforme reparte etiquetas entre las categorías con la misma proporción (si hay dos categorías, convergería con conjuntos grandes de elementos a 50% de casos en cada categoría); la informada, conoce la proporción previsible de cada categoría y la reproduce, aunque sin saber a qué caso corresponde cada etiqueta. En el corpus de una revisión con 593 referencias y un 11,8 % de incluidas, un clasificador uniforme puede recuperar por pura suerte el 61 % de los estudios relevantes, o tener un MCC al azar de 0,083 en lugar de quedarse en 0. Una herramienta que no pase de ahí no ha demostrado ser mejor que el azar en ese corpus.

El procedimiento se distribuye con una plantilla de Excel y código en R y Python [7], y basta con saber cuántos casos hay y cuántos pertenecen a la categoría rara. Lo que sí exige es cambiar de pregunta: antes de discutir si un 95 % es mucho o poco, conviene saber cuánto habría sacado alguien que decide sin mirar. En los sexenios de 2025, ese alguien habría coincidido con la comisión en el 95 % de los expedientes.

Referencias

1. ANECA. (2026). Reporte CNEAI: resultados de la convocatoria ordinaria 2025 de evaluación de la actividad investigadora [título y fecha por confirmar]. Agencia Nacional de Evaluación de la Calidad y Acreditación. https://www.aneca.es/documents/20123/339218/REPORTE_CNEAI_maq.pdf/ceb2c0aa-2f36-2aee-c110-f50cd90428c3

2. Marin-Garcia, J. A., Martinez-Tomas, J., Juarez-Tarraga, A., & Santandreu-Mascarell, C. (2024). Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews. WPOM-Working Papers on Operations Management, 15, 172–208. https://doi.org/10.4995/wpom.22282

3. O'Mara-Eves, A., Thomas, J., McNaught, J., Miwa, M. y Ananiadou, S. (2015). Using text mining for study identification in systematic reviews: A systematic review of current approaches. Systematic Reviews, 4(1), 5. https://doi.org/10.1186/2046-4053-4-5

4. Brodersen, K. H., Ong, C. S., Stephan, K. E. y Buhmann, J. M. (2010). The balanced accuracy and its posterior distribution. En 2010 20th International Conference on Pattern Recognition (pp. 3121–3124). IEEE. https://doi.org/10.1109/ICPR.2010.764

5. Chicco, D. y Jurman, G. (2020). The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics, 21(1), 6. https://doi.org/10.1186/s12864-019-6413-7

6. Luque, A., Carrasco, A., Martín, A. y de las Heras, A. (2019). The impact of class imbalance in classification performance metrics based on the binary confusion matrix. Pattern Recognition, 91, 216–231. https://doi.org/10.1016/j.patcog.2019.02.023

7. Marin-Garcia, J. A., Martinez-Tomas, J., Díaz-Curbelo, A. y Alfalla-Luque, R. (2026). Does the classifier beat chance? A Monte Carlo simulation procedure for the empirical estimation of performance baselines in imbalanced datasets with annotated example. Working Papers on Operations Management. https://doi.org/10.4995/wpom.25846

Resumen

Cuando casi todos los casos pertenecen a la misma categoría, cualquier evaluador que se limite a confirmar la opción mayoritaria parece excelente. Este texto presenta un procedimiento de simulación Monte Carlo que estima el rendimiento de una clasificación al azar sobre un conjunto de casos concreto, tanto si ese azar reparte etiquetas a ciegas como si conoce la proporción real de cada categoría. Se incluye un ejemplo ambientado en la convocatoria ordinaria de sexenios de investigación de 2025, con 7.033 expedientes y un 97,6 % de evaluaciones favorables. Una persona que concediera expedientes positivos al azar en esa proporción coincidiría con la comisión en torno al 95 % de los casos, y quien aprobara todo sin leer nada superaría ese nivel en exactitud. El método propuesto se puede aplicar para personas evaluadoras y clasificadores basados en inteligencia artificial en decisiones de clasificación sobre sucesos poco frecuentes: el umbral del azar depende del conjunto evaluado y conviene calcularlo antes de celebrar como éxito un valor superior al 50%.

Palabras clave: azar informado; clasificación desequilibrada; simulación Monte Carlo; coeficiente de correlación de Matthews; evaluación de la investigación; sexenios.