Un modelo aprende lo que le enseñan sus etiquetas. Si las etiquetas son confusas o contradictorias, ninguna técnica posterior arreglará del todo el resultado.
Puntos clave
- Las etiquetas humanas son la referencia, pero también tienen errores y sesgos.
- La calidad depende más de la guía de etiquetado que del número de anotadores.
- Mide el acuerdo entre anotadores: si las personas no coinciden, el modelo tampoco aprenderá bien.
- El enfoque híbrido, con preetiquetado automático y revisión humana, suele dar el mejor equilibrio entre coste y calidad.
Qué es el etiquetado manual y por qué es el estándar de oro
El etiquetado manual consiste en que una persona revise cada ejemplo y le asigne la respuesta correcta. Por ejemplo, marcar si un correo es una queja, si una foto muestra un defecto o qué intención tiene una consulta de un cliente. Con esos pares de ejemplo y etiqueta, el modelo aprende a predecir.
El curso de machine learning de Google llama «etiquetas de oro» a las que asignan personas y «etiquetas de plata» a las que asignan máquinas. Las de oro son la referencia porque una persona entiende matices, contexto e ironía que un sistema automático suele pasar por alto.
Sin embargo, Google advierte que eso no garantiza calidad. Errores, sesgos y hasta malicia pueden colarse al recoger o limpiar los datos. Por eso el estándar de oro no es «que lo haga una persona», sino un proceso de etiquetado bien diseñado y comprobado.
Manual, automático, híbrido o colaborativo: comparativa
El etiquetado de datos admite cuatro enfoques principales, y cada uno equilibra de forma distinta la calidad, el coste y la velocidad. Esta tabla te ayuda a elegir.
| Método | Ventajas | Límites | Cuándo usarlo |
|---|---|---|---|
| Manual con expertos | Máxima comprensión del contexto y de los casos difíciles. | Caro y lento; los expertos también discrepan. | Datos sensibles, casos con alto coste de error y conjuntos de prueba. |
| Automático (etiquetas de plata) | Rápido y barato a gran escala. | Calidad muy variable; puede repetir errores de forma sistemática. | Volúmenes grandes con categorías simples y revisión por muestreo. |
| Híbrido (preetiquetado más revisión) | Reduce el trabajo humano y mantiene el control. | El revisor tiende a aceptar la sugerencia de la máquina. | La mayoría de los proyectos de empresa. |
| Colaborativo o externalizado | Escala rápido con muchos anotadores. | Resultados inconsistentes sin instrucciones claras ni controles. | Tareas sencillas y bien definidas, con datos no sensibles. |
Los modelos de lenguaje también se usan hoy para etiquetar. En la terminología de Google, eso produce etiquetas de plata. Google recomienda revisarlas en busca de imprecisiones, sesgos y respuestas que no tienen sentido.
Cuándo merece la pena el etiquetado manual
El etiquetado manual de datos merece la pena cuando equivocarse sale caro o cuando la tarea exige criterio. En otros casos, un enfoque híbrido suele bastar.
- El conjunto de prueba: aunque entrenes con etiquetas automáticas, evalúa siempre con etiquetas humanas revisadas. Si no, tus métricas no son fiables.
- Casos ambiguos: sarcasmo en reseñas, quejas mezcladas con elogios o consultas con varias intenciones.
- Dominios especializados: salud, legal o finanzas, donde hace falta formación para decidir.
- Arranque de un proyecto: las primeras etiquetas humanas sirven para definir bien las categorías antes de automatizar.
Google señala otra ventaja menos obvia. Etiquetar a mano obliga a los dueños del conjunto de datos a definir criterios claros y coherentes. Ese ejercicio suele revelar que la pregunta de negocio estaba mal planteada.
Cómo organizar un proyecto de etiquetado
Un proyecto de etiquetado manual funciona cuando se trata como un proceso con control de calidad, no como una tarea suelta. Estos pasos sirven tanto para un equipo interno como para un proveedor.
- Define las categorías. Pocas, excluyentes y con una definición escrita de cada una.
- Escribe la guía de etiquetado. Incluye ejemplos claros, casos límite y qué hacer cuando nadie está seguro.
- Haz un piloto. Etiqueta una muestra pequeña con varias personas y revisa dónde discrepan.
- Ajusta la guía. Cada desacuerdo repetido es una instrucción que falta o que se entiende mal.
- Asigna varios anotadores por ejemplo. Al menos en una parte de los datos, para poder medir el acuerdo.
- Resuelve los desacuerdos. Usa un revisor experto o un criterio de mayoría documentado.
- Audita por muestreo. Revisa con regularidad una parte de lo etiquetado, también cuando el proyecto ya está en marcha.
- Documenta el conjunto de datos. Anota quién etiquetó, con qué guía, cuándo y con qué nivel de acuerdo.
El último paso tiene respaldo académico. El artículo «Datasheets for Datasets», de Gebru y otros autores, propone acompañar cada conjunto de datos de una ficha. Esa ficha recoge su motivación, composición, proceso de recogida y usos recomendados.
¿Vas a entrenar un modelo con tus propios datos?
Te ayudamos a definir categorías, guía de etiquetado y controles de calidad antes de invertir en el modelo.
Cómo medir la calidad de las etiquetas
La calidad de las etiquetas se mide comparando a los anotadores entre sí y con una referencia revisada. Sin esa medición, no sabes si tu modelo falla por culpa del algoritmo o de los datos.
El acuerdo entre anotadores
Google llama acuerdo entre evaluadores a la diferencia entre las decisiones de varias personas sobre el mismo ejemplo. Para medirlo menciona la kappa de Cohen, la correlación intraclase y el alfa de Krippendorff. La kappa de Cohen es la más común con dos anotadores.
Según la documentación de scikit-learn, la kappa va de −1 a 1. Un valor de 1 significa acuerdo total y uno de 0, un acuerdo no mejor que el azar. Su ventaja frente al simple porcentaje de coincidencia es que descuenta el acuerdo que se daría por casualidad.
La comprobación con una referencia
Google propone un control sencillo: etiqueta tú mismo unos 1.000 ejemplos y compáralos con los de tus evaluadores. Si hay diferencias, no des por hecho que los evaluadores tienen razón, sobre todo en juicios subjetivos. En ese caso, mejora las instrucciones y repite la prueba.
Las etiquetas de prueba son la base de todas las métricas del modelo. Si quieres saber qué medir después, revisa la guía sobre métricas de modelos predictivos.
Riesgos que conviene vigilar
Los riesgos del etiquetado manual se concentran en tres frentes: el sesgo, la privacidad y la deriva de criterios. Conviene preverlos desde el principio.
El primero es el sesgo de quien etiqueta. Si todos los anotadores comparten perfil, sus prejuicios pasan al modelo. Este problema se explica a fondo en la guía sobre riesgos de sesgo en IA.
El segundo es la privacidad. Etiquetar implica que otras personas vean datos de clientes, así que limita el acceso, anonimiza cuando puedas y firma acuerdos de confidencialidad. Cuando los datos reales son demasiado sensibles, algunas empresas exploran alternativas; lee antes sobre el uso crítico de datos sintéticos.
El tercero es la deriva. Con los meses, los anotadores reinterpretan las categorías. Por eso la auditoría por muestreo debe ser continua. Además, si tu sistema es de alto riesgo según el Reglamento europeo de IA, su artículo 10 exige gestionar expresamente la anotación y el etiquetado. También pide que los datos sean pertinentes, representativos y, en la medida de lo posible, sin errores. Encontrarás más guías en la sección de inteligencia artificial.
Preguntas frecuentes
¿Cuántos datos necesito etiquetar a mano?
No hay una cifra universal; depende de la tarea, del número de categorías y del modelo. Empieza con un piloto, mide cómo mejora el modelo al añadir más ejemplos y para cuando la mejora sea pequeña. Reserva siempre una parte revisada para evaluar.
¿Puedo usar un modelo de lenguaje para etiquetar mis datos?
Sí, como preetiquetado, pero revisa una muestra a mano. Google considera estas etiquetas de plata y recomienda comprobar imprecisiones y sesgos. Para evaluar el modelo final, usa etiquetas humanas revisadas.
¿Qué hago si los anotadores no se ponen de acuerdo?
Primero, revisa la guía de etiquetado, porque el desacuerdo suele indicar una instrucción ambigua. Después, decide con un revisor experto o por mayoría y documenta el criterio. Si el desacuerdo persiste, quizá la categoría no está bien definida.
¿Es mejor un equipo interno o un proveedor externo?
Depende de la sensibilidad de los datos y del conocimiento necesario. Con datos confidenciales o tareas especializadas suele convenir un equipo interno o un proveedor con controles estrictos. Para tareas simples a gran escala, un proveedor externo puede bastar si mides la calidad.
Fuentes
- Datasets: Labels, Google for Developers (consultado el 21-10-2026).
- Categorical data: Common issues, Google for Developers (consultado el 21-10-2026).
- cohen_kappa_score, scikit-learn (consultado el 21-10-2026).
- Reglamento de IA, artículo 10: datos y gobernanza de datos, AI Act Explorer (consultado el 21-10-2026).
- Datasheets for Datasets, Gebru y otros, arXiv / Communications of the ACM (consultado el 21-10-2026).