A suaviza\u00e7\u00e3o de r\u00f3tulos \u00e9 uma t\u00e9cnica de regulariza\u00e7\u00e3o comumente usada em modelos de aprendizado de m\u00e1quina e aprendizado profundo. Envolve adicionar uma pequena quantidade de incerteza aos r\u00f3tulos de destino durante o processo de treinamento, o que ajuda a evitar overfitting e melhora a capacidade de generaliza\u00e7\u00e3o do modelo. Ao introduzir uma forma mais realista de distribui\u00e7\u00e3o de r\u00f3tulos, a suaviza\u00e7\u00e3o de r\u00f3tulos garante que o modelo se torne menos dependente da certeza de r\u00f3tulos individuais, levando a um melhor desempenho em dados invis\u00edveis.<\/p>\n
A suaviza\u00e7\u00e3o de r\u00f3tulos foi introduzida pela primeira vez no artigo de pesquisa intitulado \u201cRethinking the Inception Architecture for Computer Vision\u201d de Christian Szegedy et al., publicado em 2016. Os autores propuseram a suaviza\u00e7\u00e3o de r\u00f3tulos como uma t\u00e9cnica para regularizar redes neurais convolucionais profundas (CNNs) e mitigar o efeitos adversos do overfitting, especialmente no contexto de tarefas de classifica\u00e7\u00e3o de imagens em grande escala.<\/p>\n
Na aprendizagem supervisionada tradicional, o modelo \u00e9 treinado para prever com certeza absoluta, visando minimizar a perda de entropia cruzada entre os r\u00f3tulos previstos e verdadeiros. No entanto, esta abordagem pode levar a previs\u00f5es excessivamente confiantes, onde o modelo se torna excessivamente confiante sobre previs\u00f5es incorretas, prejudicando, em \u00faltima an\u00e1lise, a sua capacidade de generaliza\u00e7\u00e3o em dados n\u00e3o vistos.<\/p>\n
A suaviza\u00e7\u00e3o de r\u00f3tulos resolve esse problema introduzindo uma forma de rotulagem suave durante o treinamento. Em vez de atribuir um vetor codificado one-hot (com um para o r\u00f3tulo verdadeiro e zeros para os outros) como alvo, a suaviza\u00e7\u00e3o do r\u00f3tulo distribui a massa de probabilidade entre todas as classes. Ao r\u00f3tulo verdadeiro \u00e9 atribu\u00edda uma probabilidade ligeiramente menor que um, e as probabilidades restantes s\u00e3o divididas entre outras classes. Isso introduz uma sensa\u00e7\u00e3o de incerteza no processo de treinamento, tornando o modelo menos sujeito a overfitting e mais robusto.<\/p>\n
O funcionamento interno da suaviza\u00e7\u00e3o de r\u00f3tulos pode ser resumido em algumas etapas:<\/p>\n
Codifica\u00e7\u00e3o One-Hot:<\/strong> Na aprendizagem supervisionada tradicional, o r\u00f3tulo alvo para cada amostra \u00e9 representado como um vetor codificado one-hot, onde a classe verdadeira recebe o valor 1 e todas as outras classes recebem o valor 0.<\/p>\n<\/li>\n Suavizando os r\u00f3tulos:<\/strong> A suaviza\u00e7\u00e3o de r\u00f3tulo modifica o r\u00f3tulo alvo codificado one-hot, distribuindo a massa de probabilidade entre todas as classes. Em vez de atribuir um valor de 1 \u00e0 classe verdadeira, atribui um valor de (1 \u2013 \u03b5), onde \u03b5 \u00e9 uma pequena constante positiva.<\/p>\n<\/li>\n Distribuindo Incerteza:<\/strong> A probabilidade restante, \u03b5, \u00e9 dividida entre outras classes, fazendo com que o modelo considere a possibilidade dessas classes serem as corretas. Isto introduz um n\u00edvel de incerteza, encorajando o modelo a ter menos certeza sobre as suas previs\u00f5es.<\/p>\n<\/li>\n C\u00e1lculo de Perda:<\/strong> Durante o treinamento, o modelo otimiza a perda de entropia cruzada entre as probabilidades previstas e os r\u00f3tulos alvo suavizados. A perda de suaviza\u00e7\u00e3o do r\u00f3tulo penaliza previs\u00f5es excessivamente confiantes e promove previs\u00f5es mais calibradas.<\/p>\n<\/li>\n<\/ol>\n Os principais recursos de suaviza\u00e7\u00e3o de r\u00f3tulos incluem:<\/p>\n Regulariza\u00e7\u00e3o:<\/strong> A suaviza\u00e7\u00e3o de r\u00f3tulos serve como uma t\u00e9cnica de regulariza\u00e7\u00e3o que evita overfitting e melhora a generaliza\u00e7\u00e3o do modelo.<\/p>\n<\/li>\n Previs\u00f5es calibradas:<\/strong> Ao introduzir incerteza nos r\u00f3tulos alvo, a suaviza\u00e7\u00e3o dos r\u00f3tulos incentiva o modelo a produzir previs\u00f5es mais calibradas e menos confiantes.<\/p>\n<\/li>\n Robustez Melhorada:<\/strong> A suaviza\u00e7\u00e3o de r\u00f3tulos ajuda o modelo a se concentrar no aprendizado de padr\u00f5es significativos nos dados, em vez de memorizar amostras de treinamento espec\u00edficas, levando a uma maior robustez.<\/p>\n<\/li>\n Lidando com etiquetas barulhentas:<\/strong> A suaviza\u00e7\u00e3o de r\u00f3tulos pode lidar com r\u00f3tulos com ru\u00eddo ou incorretos de maneira mais eficaz do que os tradicionais alvos codificados one-hot.<\/p>\n<\/li>\n<\/ol>\n Existem dois tipos comuns de suaviza\u00e7\u00e3o de etiqueta:<\/p>\n Suaviza\u00e7\u00e3o de etiqueta fixa:<\/strong> Nesta abordagem, o valor de \u03b5 (a constante usada para suavizar o r\u00f3tulo verdadeiro) \u00e9 fixado durante todo o processo de treinamento. Permanece constante para todas as amostras no conjunto de dados.<\/p>\n<\/li>\n Suaviza\u00e7\u00e3o de etiqueta de recozimento:<\/strong> Ao contr\u00e1rio da suaviza\u00e7\u00e3o de r\u00f3tulo fixo, o valor de \u03b5 \u00e9 recozido ou deca\u00eddo durante o treinamento. Come\u00e7a com um valor mais alto e diminui gradativamente \u00e0 medida que o treinamento avan\u00e7a. Isso permite que o modelo comece com um n\u00edvel mais alto de incerteza e o reduza ao longo do tempo, ajustando efetivamente a calibra\u00e7\u00e3o das previs\u00f5es.<\/p>\n<\/li>\n<\/ol>\n A escolha entre esses tipos depende da tarefa espec\u00edfica e das caracter\u00edsticas do conjunto de dados. A suaviza\u00e7\u00e3o de r\u00f3tulo fixo \u00e9 mais simples de implementar, enquanto a suaviza\u00e7\u00e3o de r\u00f3tulo de recozimento pode exigir o ajuste de hiperpar\u00e2metros para atingir o desempenho ideal.<\/p>\n Abaixo est\u00e1 uma compara\u00e7\u00e3o dos dois tipos de suaviza\u00e7\u00e3o de r\u00f3tulo:<\/p>\nAn\u00e1lise dos principais recursos da suaviza\u00e7\u00e3o de r\u00f3tulos.<\/h2>\n
\n
Tipos de suaviza\u00e7\u00e3o de r\u00f3tulo<\/h2>\n
\n