Visibilidad en Google y en la IA · Panamá y España
Inteligencia artificial

Métricas de modelos predictivos: cuáles importan al negocio

Por Actualizado el 8 min de lectura
Respuesta rápida

Las métricas de un modelo predictivo que importan son las que reflejan el coste real de sus errores. En clasificación, mira precisión, sensibilidad (recall), F1 y el área bajo la curva, y comprueba la calibración de las probabilidades. En regresión, usa MAE o RMSE. Después, elige el umbral de decisión según lo que te cuesta cada error y mide los resultados por segmento.

Un modelo con un 99 % de aciertos puede ser inútil. Todo depende de qué intenta predecir, de cuántos casos positivos hay y de cuánto te cuesta cada tipo de error.

Puntos clave

  • La exactitud global engaña cuando el caso que te interesa es poco frecuente, como el fraude o la baja de un cliente.
  • Precisión y recall se compensan: subir una suele bajar la otra, y el umbral decide el equilibrio.
  • El umbral de 0,5 no es una ley; fíjalo según lo que te cuesta un falso positivo y un falso negativo.
  • Una probabilidad sin calibrar no sirve para presupuestar ni para priorizar.
  • Mide siempre contra una línea base sencilla y por segmentos de clientes.

Por qué la exactitud no basta

La exactitud de un modelo predictivo es el porcentaje de predicciones correctas sobre el total. Parece la medida obvia, pero falla justo en los casos que más interesan a una empresa: los poco frecuentes.

El curso de machine learning de Google lo ilustra con un ejemplo claro. Si solo el 1 % de los casos es positivo, un modelo que responde siempre «negativo» acierta el 99 % de las veces. Sin embargo, no detecta ni un solo caso de lo que buscabas, sea un fraude, un cliente a punto de irse o una avería.

Por eso Google recomienda usar la exactitud solo junto con otras métricas. Antes de elegirlas, necesitas entender de dónde salen todas: la matriz de confusión.

Las métricas de clasificación y qué responde cada una

Las métricas de clasificación se calculan a partir de cuatro números. Son los verdaderos positivos, los falsos positivos, los falsos negativos y los verdaderos negativos. Con ellos se construye la matriz de confusión, que scikit-learn genera con una sola función.

Métricas de clasificación: qué pregunta responden y cuándo usarlas
Métrica Qué responde Cuándo usarla
Precisión De los casos que el modelo marcó como positivos, ¿cuántos lo eran? Cuando actuar sobre un falso positivo es caro, como bloquear una tarjeta legítima.
Sensibilidad (recall) De los positivos reales, ¿cuántos detectó? Cuando se te escapa algo grave, como un fraude o una enfermedad.
F1 ¿Qué equilibrio hay entre precisión y recall? Con clases desbalanceadas y costes de error parecidos.
Exactitud equilibrada ¿Qué tal acierta en promedio en cada clase? Para comparar modelos sin que la clase mayoritaria lo tape todo.
AUC de la curva ROC ¿Ordena bien a los positivos por encima de los negativos? Para comparar modelos con independencia del umbral.
Precisión media (curva PR) ¿Cómo cambia la precisión al ir subiendo el recall? Con muy pocos positivos, donde la curva ROC puede ser demasiado optimista.
Log loss y puntuación de Brier ¿Qué tan buenas son las probabilidades, no solo las etiquetas? Cuando vas a usar la probabilidad para priorizar o presupuestar.

La precisión y el recall suelen moverse en direcciones opuestas. Google lo explica así: si subes el umbral de clasificación, bajan los falsos positivos pero suben los falsos negativos. En cambio, si lo bajas, ocurre lo contrario. Por eso no existe «el mejor modelo» sin saber para qué lo vas a usar.

El AUC merece una aclaración. Según Google, equivale a la probabilidad de que el modelo puntúe un positivo tomado al azar por encima de un negativo tomado al azar. Un AUC de 0,5 equivale a lanzar una moneda. Además, con datos muy desbalanceados, Google sugiere mirar también la curva de precisión y recall.

Métricas para predecir cantidades

Las métricas de regresión se usan cuando el modelo predice un número, como las ventas de la próxima semana o el valor de un cliente. scikit-learn incluye, entre otras, el error absoluto medio (MAE), la raíz del error cuadrático medio (RMSE), el error porcentual absoluto medio (MAPE) y el coeficiente R².

  • MAE: el error promedio en las mismas unidades que tu objetivo. Es fácil de explicar a dirección.
  • RMSE: castiga más los errores grandes. Úsalo si un fallo enorme es mucho peor que varios pequeños.
  • MAPE: expresa el error en porcentaje. Ojo, se dispara cuando los valores reales son cercanos a cero.
  • R²: indica cuánta variación explica el modelo frente a predecir siempre la media.

La documentación de scikit-learn añade un matiz útil. Primero decide qué quieres predecir, la media, la mediana o un cuantil. Después, usa una métrica coherente con ese objetivo, tanto para entrenar como para evaluar. Por ejemplo, el error absoluto encaja con la mediana.

Del modelo al negocio: umbral, costes y calibración

El valor de negocio de un modelo predictivo depende sobre todo de dos decisiones: dónde pones el umbral y si puedes fiarte de sus probabilidades. Las métricas técnicas son el punto de partida, no el final.

El umbral de decisión

Por defecto, scikit-learn marca un caso como positivo cuando la probabilidad supera 0,5. Su documentación advierte que ese valor ignora el coste relativo de cada error. Por ejemplo, en un caso de detección de tumores conviene avisar con probabilidades mucho más bajas. La herramienta TunedThresholdClassifierCV busca el umbral que maximiza la métrica que tú elijas. En un ejemplo de la propia documentación, con una métrica de utilidad de una aseguradora, el umbral óptimo baja hasta cerca de 0,02.

Traducir errores a dinero

La forma más directa de unir modelo y negocio es asignar un valor a cada casilla de la matriz de confusión. Calcula cuánto ganas con cada acierto positivo y cuánto pierdes con cada falso positivo y cada falso negativo. Después, elige el umbral que maximiza el resultado neto en datos de validación. Así, la discusión deja de ser «¿qué F1 tiene?» y pasa a ser «¿cuánto nos ahorra?».

La calibración de las probabilidades

Un modelo calibrado da probabilidades en las que puedes confiar. Según scikit-learn, si asigna cerca de 0,8 a un grupo de casos, alrededor del 80 % debería ser positivo. Esto importa si usas la probabilidad para priorizar llamadas o estimar ingresos. Para comprobarlo existen las curvas de calibración, y para corregirlo, métodos como el sigmoide o el isotónico.

¿Tienes un modelo y no sabes si está aportando valor?

Revisamos contigo métricas, umbral y costes para que cada predicción se traduzca en una decisión de negocio medible.

Ver la consultoría en IA en Panamá

Cómo elegir las métricas de tu proyecto

Las métricas de un proyecto se eligen antes de entrenar el modelo, no después de ver los resultados. Este orden evita que el equipo escoja la cifra que mejor queda.

  1. Escribe la decisión. ¿Qué harás con la predicción? Llamar a un cliente, revisar una transacción, ajustar un pedido.
  2. Estima el coste de cada error. Pon un valor aproximado al falso positivo y al falso negativo con ayuda de finanzas u operaciones.
  3. Elige una métrica principal y dos de control. Por ejemplo, recall como principal, y precisión y calibración como control.
  4. Define una línea base. Compara con una regla sencilla o un modelo trivial; scikit-learn ofrece estimadores «dummy» para eso.
  5. Separa bien los datos. Evalúa con datos que el modelo no vio, del periodo más reciente posible.
  6. Desagrega. Calcula las métricas por segmento, canal o región, como recomienda el marco de riesgos del NIST.

Este último paso conecta con otro problema: un modelo puede funcionar bien en promedio y mal para un grupo concreto. Lo explicamos en la guía sobre riesgos de sesgo en IA.

Errores comunes al evaluar un modelo

Los errores al evaluar un modelo predictivo suelen ser de proceso, no de matemáticas. Estos son los más frecuentes:

  • Evaluar con los datos de entrenamiento. El resultado siempre parecerá mejor de lo que será en producción.
  • Fuga de datos. Incluir variables que solo se conocen después del hecho que quieres predecir.
  • Ajustar el umbral con los mismos datos de entrenamiento. scikit-learn advierte que eso provoca sobreajuste.
  • Olvidar las etiquetas. Si las etiquetas de prueba tienen errores, todas las métricas mienten; revisa el proceso de etiquetado de datos.
  • No volver a medir. Los clientes y el mercado cambian, y el rendimiento del modelo también.

Por último, recuerda que las métricas del modelo no sustituyen a las del negocio. Si el modelo apoya una campaña, sigue midiendo también las métricas de marketing digital que ya usas. Encontrarás más guías como esta en la sección de inteligencia artificial.

Preguntas frecuentes

¿Cuál es la métrica más importante de un modelo predictivo?

No hay una única métrica válida para todos los casos. La más importante es la que refleja el error que más te cuesta: recall si se te escapan casos graves, precisión si actuar por error es caro. En regresión, MAE suele ser la más fácil de explicar al negocio.

¿Qué es un buen valor de AUC?

Depende del problema y de la línea base. Un AUC de 0,5 equivale a adivinar y 1,0 sería perfecto, pero lo útil es compararlo con tu modelo actual o con una regla simple. Además, un buen AUC no garantiza un buen umbral ni probabilidades calibradas.

¿Qué diferencia hay entre precisión y exactitud?

La exactitud mide el porcentaje de aciertos sobre todos los casos. La precisión mide qué parte de los casos marcados como positivos lo era de verdad. Con clases desbalanceadas pueden ser muy distintas, y la exactitud suele parecer mejor de lo que es.

¿Cada cuánto debo volver a evaluar un modelo en producción?

Hazlo con una frecuencia fija y cada vez que cambien los datos o el uso. Lo práctico es vigilar las métricas principales de forma continua y hacer una revisión completa, con datos nuevos etiquetados, cuando notes cambios en los clientes, los productos o el mercado.

Fuentes

  1. Metrics and scoring: quantifying the quality of predictions, scikit-learn (consultado el 21-10-2026).
  2. Tuning the decision threshold for class prediction, scikit-learn (consultado el 21-10-2026).
  3. Probability calibration, scikit-learn (consultado el 21-10-2026).
  4. Classification: Accuracy, recall, precision, and related metrics, Google for Developers (consultado el 21-10-2026).
  5. Classification: ROC and AUC, Google for Developers (consultado el 21-10-2026).
  6. Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST (consultado el 21-10-2026).