Label-Gl\u00e4ttung ist eine Regularisierungstechnik, die h\u00e4ufig in Modellen f\u00fcr maschinelles Lernen und Deep Learning verwendet wird. Dabei wird den Zielbezeichnungen w\u00e4hrend des Trainingsprozesses eine kleine Unsicherheit hinzugef\u00fcgt, was dazu beitr\u00e4gt, eine \u00dcberanpassung zu verhindern und die Generalisierungsf\u00e4higkeit des Modells zu verbessern. Durch die Einf\u00fchrung einer realistischeren Form der Etikettenverteilung stellt die Etikettengl\u00e4ttung sicher, dass das Modell weniger von der Sicherheit einzelner Etiketten abh\u00e4ngig ist, was zu einer verbesserten Leistung bei unsichtbaren Daten f\u00fchrt.<\/p>\n
Die Label-Gl\u00e4ttung wurde erstmals in der 2016 ver\u00f6ffentlichten Forschungsarbeit mit dem Titel \u201eRethinking the Inception Architecture for Computer Vision\u201c von Christian Szegedy et al. eingef\u00fchrt. Die Autoren schlugen die Label-Gl\u00e4ttung als Technik zur Regularisierung tiefer Faltungs-Neuronaler Netzwerke (CNNs) und zur Abschw\u00e4chung des Problems vor nachteilige Auswirkungen einer \u00dcberanpassung, insbesondere im Zusammenhang mit umfangreichen Bildklassifizierungsaufgaben.<\/p>\n
Beim traditionellen \u00fcberwachten Lernen wird das Modell darauf trainiert, mit absoluter Sicherheit Vorhersagen zu treffen, mit dem Ziel, den Kreuzentropieverlust zwischen vorhergesagten und wahren Bezeichnungen zu minimieren. Allerdings kann dieser Ansatz zu zu selbstsicheren Vorhersagen f\u00fchren, bei denen das Modell bei falschen Vorhersagen \u00fcberm\u00e4\u00dfig zuversichtlich wird, was letztendlich seine F\u00e4higkeit zur Generalisierung auf unsichtbare Daten beeintr\u00e4chtigt.<\/p>\n
Die Etikettengl\u00e4ttung behebt dieses Problem durch die Einf\u00fchrung einer Form der Soft-Labeling w\u00e4hrend des Trainings. Anstatt einen One-Hot-codierten Vektor (mit einer f\u00fcr die wahre Bezeichnung und Nullen f\u00fcr andere) als Ziel zuzuweisen, verteilt die Etikettengl\u00e4ttung die Wahrscheinlichkeitsmasse auf alle Klassen. Der wahren Bezeichnung wird eine Wahrscheinlichkeit von etwas weniger als eins zugewiesen, und die verbleibenden Wahrscheinlichkeiten werden auf andere Klassen aufgeteilt. Dadurch entsteht ein Gef\u00fchl der Unsicherheit im Trainingsprozess, wodurch das Modell weniger anf\u00e4llig f\u00fcr \u00dcberanpassungen und robuster wird.<\/p>\n
Die interne Funktionsweise der Etikettengl\u00e4ttung l\u00e4sst sich in wenigen Schritten zusammenfassen:<\/p>\n
One-Hot-Codierung:<\/strong> Beim traditionellen \u00fcberwachten Lernen wird die Zielbezeichnung f\u00fcr jede Stichprobe als One-Hot-codierter Vektor dargestellt, wobei die wahre Klasse den Wert 1 erh\u00e4lt und alle anderen Klassen den Wert 0 haben.<\/p>\n<\/li>\n Die Etiketten mildern:<\/strong> Durch die Etikettengl\u00e4ttung wird die One-Hot-codierte Zielbezeichnung ge\u00e4ndert, indem die Wahrscheinlichkeitsmasse auf alle Klassen verteilt wird. Anstatt der wahren Klasse den Wert 1 zuzuweisen, weist sie einen Wert von (1 \u2013 \u03b5) zu, wobei \u03b5 eine kleine positive Konstante ist.<\/p>\n<\/li>\n Unsicherheit verteilen:<\/strong> Die verbleibende Wahrscheinlichkeit \u03b5 wird auf andere Klassen aufgeteilt, sodass das Modell die M\u00f6glichkeit ber\u00fccksichtigt, dass diese Klassen die richtigen sind. Dies f\u00fchrt zu einem gewissen Ma\u00df an Unsicherheit, was dazu f\u00fchrt, dass das Modell sich seiner Vorhersagen weniger sicher ist.<\/p>\n<\/li>\n Verlustberechnung:<\/strong> W\u00e4hrend des Trainings optimiert das Modell den Kreuzentropieverlust zwischen den vorhergesagten Wahrscheinlichkeiten und den abgeschw\u00e4chten Zielbezeichnungen. Der Etikettengl\u00e4ttungsverlust bestraft zu zuversichtliche Vorhersagen und f\u00f6rdert kalibriertere Vorhersagen.<\/p>\n<\/li>\n<\/ol>\n Zu den Hauptmerkmalen der Etikettengl\u00e4ttung geh\u00f6ren:<\/p>\n Regulierung:<\/strong> Die Etikettengl\u00e4ttung dient als Regularisierungstechnik, die eine \u00dcberanpassung verhindert und die Modellverallgemeinerung verbessert.<\/p>\n<\/li>\n Kalibrierte Vorhersagen:<\/strong> Durch die Einf\u00fchrung von Unsicherheit in die Zielbezeichnungen regt die Etikettengl\u00e4ttung das Modell dazu an, kalibriertere und weniger sichere Vorhersagen zu erzeugen.<\/p>\n<\/li>\n Verbesserte Robustheit:<\/strong> Durch die Etikettengl\u00e4ttung kann sich das Modell auf das Erlernen sinnvoller Muster in den Daten konzentrieren, anstatt sich bestimmte Trainingsbeispiele zu merken, was zu einer verbesserten Robustheit f\u00fchrt.<\/p>\n<\/li>\n Umgang mit verrauschten Etiketten:<\/strong> Die Etikettengl\u00e4ttung kann verrauschte oder falsche Etiketten effektiver verarbeiten als herk\u00f6mmliche One-Hot-codierte Ziele.<\/p>\n<\/li>\n<\/ol>\n Es gibt zwei g\u00e4ngige Arten der Etikettengl\u00e4ttung:<\/p>\n Feste Etikettengl\u00e4ttung:<\/strong> Bei diesem Ansatz wird der Wert von \u03b5 (die Konstante, die zur Abschw\u00e4chung der wahren Bezeichnung verwendet wird) w\u00e4hrend des gesamten Trainingsprozesses festgelegt. Sie bleibt f\u00fcr alle Proben im Datensatz konstant.<\/p>\n<\/li>\n Gl\u00e4ttung des Temperetiketts:<\/strong> Im Gegensatz zur Gl\u00e4ttung mit festen Etiketten wird der Wert von \u03b5 w\u00e4hrend des Trainings gegl\u00fcht oder abgeschw\u00e4cht. Er beginnt mit einem h\u00f6heren Wert und nimmt mit fortschreitendem Training allm\u00e4hlich ab. Dadurch kann das Modell mit einem h\u00f6heren Ma\u00df an Unsicherheit beginnen und dieses im Laufe der Zeit reduzieren, wodurch die Kalibrierung der Vorhersagen effektiv verfeinert wird.<\/p>\n<\/li>\n<\/ol>\n Die Wahl zwischen diesen Typen h\u00e4ngt von der spezifischen Aufgabe und den Merkmalen des Datensatzes ab. Die Gl\u00e4ttung fester Etiketten ist einfacher zu implementieren, w\u00e4hrend die Gl\u00e4ttung von Annealing-Etiketten m\u00f6glicherweise eine Optimierung der Hyperparameter erfordert, um eine optimale Leistung zu erzielen.<\/p>\n Nachfolgend finden Sie einen Vergleich der beiden Arten der Etikettengl\u00e4ttung:<\/p>\nAnalyse der wichtigsten Merkmale der Etikettengl\u00e4ttung.<\/h2>\n
\n
Arten der Etikettengl\u00e4ttung<\/h2>\n
\n