Etiquetado de datos con humano en el bucle para el entrenamiento de IA

Resumen

Diseñamos y construimos una solución de etiquetado de datos para una empresa de IA con sede en Londres, produciendo los datos de entrenamiento de alta calidad y validados por humanos de los que dependen los modelos de machine learning. El sistema orquesta todo el flujo de etiquetado (enrutamiento, captura, validación y ensamblaje del conjunto de datos) y sustituye el trabajo improvisado en hojas de cálculo por un pipeline repetible que produce conjuntos de entrenamiento listos para el modelo con una calidad medible.

Contexto

El cliente es una empresa de IA con sede en Londres que construye sistemas de ML cuyo rendimiento está limitado por la calidad de sus datos de entrenamiento. Su trabajo de etiquetado existente funcionaba sobre hojas de cálculo improvisadas y revisión informal. Eso bastaba a pequeña escala, pero cada vez era más el factor limitante de la calidad del modelo a medida que crecían. Necesitaban un flujo de trabajo de nivel de producción capaz de convertir datos brutos en conjuntos de entrenamiento evaluables, no solo en filas etiquetadas.

El reto

Los datos de entrenamiento de alta calidad no son solo datos etiquetados. Son datos etiquetados con una calidad medible. Eso requiere enrutar los elementos correctos a los revisores correctos, capturar las etiquetas en una forma estructurada que el entrenamiento posterior pueda consumir realmente, validar la calidad mediante el acuerdo entre revisores y comprobaciones puntuales estructuradas, y ensamblar todo en conjuntos de datos limpios con particiones de evaluación reservadas. Hacer esto manualmente no escala; hacerlo sin un ciclo de retroalimentación desperdicia cada corrección que hace un revisor.

Nuestro enfoque

• Enrutamos los elementos de datos brutos a revisores humanos con agrupación de tareas y asignación consciente de la calidad
• Capturamos etiquetas estructuradas en un esquema diseñado para el entrenamiento y la evaluación posteriores del modelo
• Validamos la calidad mediante el acuerdo entre revisores y comprobaciones puntuales estructuradas
• Ensamblamos el resultado corregido en conjuntos de datos aptos para el entrenamiento del modelo y la evaluación reservada
• Construimos el mismo ciclo de retroalimentación con humano en el bucle que usamos en otros proyectos, con las correcciones de los revisores retroalimentando el sistema para mejorar la siguiente ronda de resultados del modelo

Lo que entregamos

• Orquestación del flujo de etiquetado que cubre el enrutamiento, la agrupación y la asignación de revisores
• Captura de etiquetas estructuradas alineada con el esquema de entrenamiento posterior
• Capa de validación de calidad basada en el acuerdo entre revisores y comprobaciones puntuales
• Ensamblaje de conjuntos de datos listos para el modelo con particiones de evaluación reservadas
• Ciclo de reentrenamiento con retroalimentación de los revisores que convierte las correcciones en una mejora medible del modelo

El impacto

Un pipeline repetible que convierte datos brutos en conjuntos de entrenamiento listos para el modelo con una calidad medible, en lugar de trabajo improvisado en hojas de cálculo. Esto da al cliente la base de calidad de datos sobre la que descansa en última instancia el rendimiento de su modelo.