Die lineare Diskriminanzanalyse (LDA) ist eine statistische Methode, die beim maschinellen Lernen und bei der Mustererkennung verwendet wird, um eine lineare Kombination von Merkmalen zu finden, die zwei oder mehr Klassen am besten trennt. Ziel ist es, die Daten auf einen niedrigerdimensionalen Raum zu projizieren und gleichzeitig die klassendiskriminierenden Informationen beizubehalten. LDA hat sich in verschiedenen Anwendungen als leistungsstarkes Werkzeug erwiesen, darunter Gesichtserkennung, Bioinformatik und Dokumentenklassifizierung.<\/p>\n
Die Urspr\u00fcnge der linearen Diskriminanzanalyse lassen sich bis in die fr\u00fchen 1930er Jahre zur\u00fcckverfolgen, als Ronald A. Fisher erstmals das Konzept der linearen Diskriminanz nach Fisher vorstellte. Fishers urspr\u00fcngliche Arbeit legte den Grundstein f\u00fcr LDA und wurde weithin als grundlegende Methode auf dem Gebiet der Statistik und Musterklassifizierung anerkannt.<\/p>\n
Die lineare Diskriminanzanalyse ist eine \u00fcberwachte Technik zur Dimensionsreduktion. Dabei wird das Verh\u00e4ltnis der Streumatrix zwischen Klassen zur Streumatrix innerhalb der Klasse maximiert. Die Streuung zwischen Klassen stellt die Varianz zwischen verschiedenen Klassen dar, w\u00e4hrend die Streuung innerhalb der Klassen die Varianz innerhalb jeder Klasse darstellt. Durch die Maximierung dieses Verh\u00e4ltnisses stellt LDA sicher, dass die Datenpunkte verschiedener Klassen gut getrennt sind, was zu einer effektiven Klassentrennung f\u00fchrt.<\/p>\n
LDA geht davon aus, dass die Daten einer Gau\u00dfschen Verteilung folgen und dass die Kovarianzmatrizen der Klassen gleich sind. Es projiziert die Daten in einen niedrigerdimensionalen Raum und maximiert gleichzeitig die Klassentrennbarkeit. Die resultierenden linearen Diskriminanten werden dann verwendet, um neue Datenpunkte in die entsprechenden Klassen zu klassifizieren.<\/p>\n
Die interne Struktur der linearen Diskriminanzanalyse umfasst die folgenden Schritte:<\/p>\n
Compute-Klassenmittel<\/strong>: Berechnen Sie die mittleren Vektoren jeder Klasse im urspr\u00fcnglichen Merkmalsraum.<\/p>\n<\/li>\n Berechnen Sie Streumatrizen<\/strong>: Berechnen Sie die Streumatrix innerhalb der Klasse und die Streumatrix zwischen den Klassen.<\/p>\n<\/li>\n Eigenwertzerlegung<\/strong>: F\u00fchren Sie eine Eigenwertzerlegung f\u00fcr das Produkt der Umkehrung der Streumatrix innerhalb der Klasse und der Streumatrix zwischen den Klassen durch.<\/p>\n<\/li>\n W\u00e4hlen Sie Diskriminanten<\/strong>: W\u00e4hlen Sie die oberen k Eigenvektoren aus, die den gr\u00f6\u00dften Eigenwerten entsprechen, um die linearen Diskriminanten zu bilden.<\/p>\n<\/li>\n Projektdaten<\/strong>: Projizieren Sie die Datenpunkte auf den neuen Unterraum, der von den linearen Diskriminanten aufgespannt wird.<\/p>\n<\/li>\n<\/ol>\n Die lineare Diskriminanzanalyse bietet mehrere Schl\u00fcsselfunktionen, die sie zu einer beliebten Wahl bei Klassifizierungsaufgaben machen:<\/p>\n \u00dcberwachte Methode<\/strong>: LDA ist eine \u00fcberwachte Lerntechnik, was bedeutet, dass w\u00e4hrend des Trainings gekennzeichnete Daten erforderlich sind.<\/p>\n<\/li>\n Dimensionsreduktion<\/strong>: LDA reduziert die Dimensionalit\u00e4t der Daten und macht sie f\u00fcr gro\u00dfe Datens\u00e4tze recheneffizient.<\/p>\n<\/li>\n Optimale Trennung<\/strong>: Ziel ist es, die optimale lineare Kombination von Merkmalen zu finden, die die Klassentrennbarkeit maximiert.<\/p>\n<\/li>\n Einstufung<\/strong>: LDA kann f\u00fcr Klassifizierungsaufgaben verwendet werden, indem der Klasse mit dem n\u00e4chsten Mittelwert im niedrigerdimensionalen Raum neue Datenpunkte zugewiesen werden.<\/p>\n<\/li>\n<\/ol>\n Es gibt verschiedene Varianten der linearen Diskriminanzanalyse, darunter:<\/p>\n Fishers LDA<\/strong>: Die urspr\u00fcngliche Formulierung von RA Fisher, die davon ausgeht, dass die Klassenkovarianzmatrizen gleich sind.<\/p>\n<\/li>\n Regularisierte LDA<\/strong>: Eine Erweiterung, die Singularit\u00e4tsprobleme in den Kovarianzmatrizen durch Hinzuf\u00fcgen von Regularisierungstermen angeht.<\/p>\n<\/li>\n Quadratische Diskriminanzanalyse (QDA)<\/strong>: Eine Variante, die die Annahme gleicher Klassen-Kovarianzmatrizen lockert und quadratische Entscheidungsgrenzen erm\u00f6glicht.<\/p>\n<\/li>\n Multiple Diskriminanzanalyse (MDA)<\/strong>: Eine Erweiterung von LDA, die mehrere abh\u00e4ngige Variablen ber\u00fccksichtigt.<\/p>\n<\/li>\n Flexible Diskriminanzanalyse (FDA)<\/strong>: Eine nichtlineare Erweiterung von LDA, die Kernelmethoden zur Klassifizierung verwendet.<\/p>\n<\/li>\n<\/ol>\n Hier ist eine Vergleichstabelle dieser Typen:<\/p>\nAnalyse der Hauptmerkmale der linearen Diskriminanzanalyse<\/h2>\n
\n
Arten der linearen Diskriminanzanalyse<\/h2>\n
\n