El suavizado de etiquetas es una t\u00e9cnica de regularizaci\u00f3n com\u00fanmente utilizada en modelos de aprendizaje autom\u00e1tico y aprendizaje profundo. Implica agregar una peque\u00f1a cantidad de incertidumbre a las etiquetas de destino durante el proceso de entrenamiento, lo que ayuda a evitar el sobreajuste y mejora la capacidad de generalizaci\u00f3n del modelo. Al introducir una forma m\u00e1s realista de distribuci\u00f3n de etiquetas, el suavizado de etiquetas garantiza que el modelo se vuelva menos dependiente de la certeza de las etiquetas individuales, lo que conduce a un mejor rendimiento en datos invisibles.<\/p>\n
El suavizado de etiquetas se introdujo por primera vez en el art\u00edculo de investigaci\u00f3n titulado "Rethinking the Inception Architecture for Computer Vision" de Christian Szegedy et al., publicado en 2016. Los autores propusieron el suavizado de etiquetas como una t\u00e9cnica para regularizar las redes neuronales convolucionales profundas (CNN) y mitigar el efectos adversos del sobreajuste, especialmente en el contexto de tareas de clasificaci\u00f3n de im\u00e1genes a gran escala.<\/p>\n
En el aprendizaje supervisado tradicional, el modelo est\u00e1 entrenado para predecir con absoluta certeza, con el objetivo de minimizar la p\u00e9rdida de entrop\u00eda cruzada entre las etiquetas predichas y verdaderas. Sin embargo, este enfoque puede conducir a predicciones excesivamente seguras, donde el modelo se vuelve excesivamente seguro acerca de predicciones incorrectas, lo que en \u00faltima instancia dificulta su capacidad de generalizaci\u00f3n sobre datos invisibles.<\/p>\n
El suavizado de etiquetas aborda este problema introduciendo una forma de etiquetado suave durante el entrenamiento. En lugar de asignar un vector codificado one-hot (con uno para la etiqueta verdadera y ceros para las dem\u00e1s) como objetivo, el suavizado de etiquetas distribuye la masa de probabilidad entre todas las clases. A la etiqueta verdadera se le asigna una probabilidad ligeramente menor que uno, y las probabilidades restantes se dividen entre otras clases. Esto introduce una sensaci\u00f3n de incertidumbre en el proceso de entrenamiento, lo que hace que el modelo sea menos propenso a sobreajustarse y sea m\u00e1s robusto.<\/p>\n
El funcionamiento interno del suavizado de etiquetas se puede resumir en unos pocos pasos:<\/p>\n
Codificaci\u00f3n en caliente:<\/strong> En el aprendizaje supervisado tradicional, la etiqueta de destino para cada muestra se representa como un vector codificado one-hot, donde la clase verdadera recibe un valor de 1 y todas las dem\u00e1s clases tienen un valor de 0.<\/p>\n<\/li>\n Suavizar las etiquetas:<\/strong> El suavizado de etiquetas modifica la etiqueta de destino codificada one-hot distribuyendo la masa de probabilidad entre todas las clases. En lugar de asignar un valor de 1 a la clase verdadera, asigna un valor de (1 \u2013 \u03b5), donde \u03b5 es una peque\u00f1a constante positiva.<\/p>\n<\/li>\n Distribuyendo la incertidumbre:<\/strong> La probabilidad restante, \u03b5, se divide entre otras clases, haciendo que el modelo considere la posibilidad de que esas clases sean las correctas. Esto introduce un nivel de incertidumbre, lo que fomenta que el modelo sea menos seguro acerca de sus predicciones.<\/p>\n<\/li>\n C\u00e1lculo de p\u00e9rdidas:<\/strong> Durante el entrenamiento, el modelo optimiza la p\u00e9rdida de entrop\u00eda cruzada entre las probabilidades predichas y las etiquetas objetivo suavizadas. La p\u00e9rdida de suavizado de etiquetas penaliza las predicciones excesivas y promueve predicciones m\u00e1s calibradas.<\/p>\n<\/li>\n<\/ol>\n Las caracter\u00edsticas clave del suavizado de etiquetas incluyen:<\/p>\n Regularizaci\u00f3n:<\/strong> El suavizado de etiquetas sirve como t\u00e9cnica de regularizaci\u00f3n que evita el sobreajuste y mejora la generalizaci\u00f3n del modelo.<\/p>\n<\/li>\n Predicciones calibradas:<\/strong> Al introducir incertidumbre en las etiquetas objetivo, el suavizado de etiquetas alienta al modelo a producir predicciones m\u00e1s calibradas y menos confiables.<\/p>\n<\/li>\n Robustez mejorada:<\/strong> El suavizado de etiquetas ayuda al modelo a centrarse en aprender patrones significativos en los datos en lugar de memorizar muestras de entrenamiento espec\u00edficas, lo que mejora la solidez.<\/p>\n<\/li>\n Manejo de etiquetas ruidosas:<\/strong> El suavizado de etiquetas puede manejar etiquetas ruidosas o incorrectas de manera m\u00e1s efectiva que los objetivos codificados tradicionales.<\/p>\n<\/li>\n<\/ol>\n Hay dos tipos comunes de suavizado de etiquetas:<\/p>\n Suavizado de etiquetas fijas:<\/strong> En este enfoque, el valor de \u03b5 (la constante utilizada para suavizar la etiqueta verdadera) se fija durante todo el proceso de entrenamiento. Permanece constante para todas las muestras del conjunto de datos.<\/p>\n<\/li>\n Suavizado de etiquetas de recocido:<\/strong> A diferencia del suavizado de etiquetas fijas, el valor de \u03b5 se templa o decae durante el entrenamiento. Comienza con un valor m\u00e1s alto y disminuye gradualmente a medida que avanza el entrenamiento. Esto permite que el modelo comience con un mayor nivel de incertidumbre y lo reduzca con el tiempo, afinando efectivamente la calibraci\u00f3n de las predicciones.<\/p>\n<\/li>\n<\/ol>\n La elecci\u00f3n entre estos tipos depende de la tarea espec\u00edfica y de las caracter\u00edsticas del conjunto de datos. El suavizado de etiquetas fijas es m\u00e1s sencillo de implementar, mientras que el suavizado de etiquetas de recocido puede requerir el ajuste de hiperpar\u00e1metros para lograr un rendimiento \u00f3ptimo.<\/p>\n A continuaci\u00f3n se muestra una comparaci\u00f3n de los dos tipos de suavizado de etiquetas:<\/p>\nAn\u00e1lisis de las caracter\u00edsticas clave del suavizado de etiquetas.<\/h2>\n
\n
Tipos de suavizado de etiquetas<\/h2>\n
\n