Apache Hadoop ist ein leistungsstarkes Open-Source-Framework, das die Verarbeitung und Speicherung gro\u00dfer Datenmengen \u00fcber Cluster handels\u00fcblicher Hardware hinweg erleichtern soll. Die Urspr\u00fcnge von Hadoop wurden von Doug Cutting und Mike Cafarella entwickelt und lassen sich bis ins Jahr 2005 zur\u00fcckverfolgen, als es von Googles Pionierarbeit an den Konzepten MapReduce und Google File System (GFS) inspiriert wurde. Benannt nach dem Spielzeugelefanten von Doug Cuttings Sohn, war das Projekt zun\u00e4chst Teil der Websuchmaschine Apache Nutch und wurde sp\u00e4ter zu einem eigenst\u00e4ndigen Apache-Projekt.<\/p>\n
Wie bereits erw\u00e4hnt, ist Apache Hadoop aus dem Apache Nutch-Projekt hervorgegangen, dessen Ziel die Entwicklung einer Open-Source-Websuchmaschine war. Im Jahr 2006 hat Yahoo! spielte eine entscheidende Rolle bei der Weiterentwicklung von Hadoop, indem es es f\u00fcr umfangreiche Datenverarbeitungsaufgaben nutzte. Dieser Schritt trug dazu bei, Hadoop ins Rampenlicht zu r\u00fccken und seine Akzeptanz rasch auszuweiten.<\/p>\n
Apache Hadoop besteht aus mehreren Kernkomponenten, die jeweils zu unterschiedlichen Aspekten der Datenverarbeitung beitragen. Zu diesen Komponenten geh\u00f6ren:<\/p>\n
Hadoop Distributed File System (HDFS):<\/strong> Hierbei handelt es sich um ein verteiltes Dateisystem, das darauf ausgelegt ist, riesige Datenmengen zuverl\u00e4ssig auf handels\u00fcblicher Hardware zu speichern. HDFS unterteilt gro\u00dfe Dateien in Bl\u00f6cke und repliziert sie \u00fcber mehrere Knoten im Cluster und gew\u00e4hrleistet so Datenredundanz und Fehlertoleranz.<\/p>\n<\/li>\n Karte verkleinern:<\/strong> MapReduce ist die Verarbeitungs-Engine von Hadoop, die es Benutzern erm\u00f6glicht, parallele Verarbeitungsanwendungen zu schreiben, ohne sich \u00fcber die zugrunde liegende Komplexit\u00e4t verteilter Datenverarbeitung Gedanken machen zu m\u00fcssen. Es verarbeitet Daten in zwei Phasen: der Map-Phase, in der die Daten gefiltert und sortiert werden, und der Reduce-Phase, in der die Ergebnisse aggregiert werden.<\/p>\n<\/li>\n YARN (Noch ein weiterer Ressourcenverhandler):<\/strong> YARN ist die Ressourcenverwaltungsschicht von Hadoop. Es \u00fcbernimmt die Ressourcenzuweisung und Jobplanung im gesamten Cluster und erm\u00f6glicht so die Koexistenz mehrerer Datenverarbeitungs-Frameworks und die effiziente gemeinsame Nutzung von Ressourcen.<\/p>\n<\/li>\n<\/ol>\n Apache Hadoop arbeitet nach dem Prinzip der Verteilung von Daten und Verarbeitungsaufgaben \u00fcber einen Cluster handels\u00fcblicher Hardware. Der Prozess umfasst typischerweise die folgenden Schritte:<\/p>\n Datenaufnahme:<\/strong> Gro\u00dfe Datenmengen werden in den Hadoop-Cluster aufgenommen. HDFS unterteilt die Daten in Bl\u00f6cke, die im gesamten Cluster repliziert werden.<\/p>\n<\/li>\n MapReduce-Verarbeitung:<\/strong> Benutzer definieren MapReduce-Jobs, die an den YARN-Ressourcenmanager \u00fcbermittelt werden. Die Daten werden von mehreren Knoten parallel verarbeitet, wobei jeder Knoten eine Teilmenge der Aufgaben ausf\u00fchrt.<\/p>\n<\/li>\n Mittlerer Daten-Shuffle:<\/strong> W\u00e4hrend der Map-Phase werden Zwischenschl\u00fcssel-Wert-Paare generiert. Diese Paare werden gemischt und sortiert, um sicherzustellen, dass alle Werte mit demselben Schl\u00fcssel gruppiert werden.<\/p>\n<\/li>\n Verarbeitung reduzieren:<\/strong> Die Reduzierphase aggregiert die Ergebnisse der Kartenphase und erzeugt die endg\u00fcltige Ausgabe.<\/p>\n<\/li>\n Datenabruf:<\/strong> Verarbeitete Daten werden wieder in HDFS gespeichert oder k\u00f6nnen von anderen Anwendungen direkt abgerufen werden.<\/p>\n<\/li>\n<\/ol>\n Apache Hadoop verf\u00fcgt \u00fcber mehrere wichtige Funktionen, die es zur bevorzugten Wahl f\u00fcr den Umgang mit Big Data machen:<\/p>\n Skalierbarkeit:<\/strong> Hadoop kann horizontal skaliert werden, indem mehr Standardhardware zum Cluster hinzugef\u00fcgt wird, sodass Petabytes an Daten verarbeitet werden k\u00f6nnen.<\/p>\n<\/li>\n Fehlertoleranz:<\/strong> Hadoop repliziert Daten \u00fcber mehrere Knoten hinweg und stellt so die Datenverf\u00fcgbarkeit auch bei Hardwareausf\u00e4llen sicher.<\/p>\n<\/li>\n Kosteneffektivit\u00e4t:<\/strong> Hadoop l\u00e4uft auf handels\u00fcblicher Hardware und ist somit eine kosteng\u00fcnstige L\u00f6sung f\u00fcr Unternehmen.<\/p>\n<\/li>\n Flexibilit\u00e4t:<\/strong> Hadoop unterst\u00fctzt verschiedene Datentypen und -formate, einschlie\u00dflich strukturierter, halbstrukturierter und unstrukturierter Daten.<\/p>\n<\/li>\n Parallelverarbeitung:<\/strong> Mit MapReduce verarbeitet Hadoop Daten parallel und erm\u00f6glicht so eine schnellere Datenverarbeitung.<\/p>\n<\/li>\n<\/ol>\n Apache Hadoop gibt es in verschiedenen Distributionen, die jeweils zus\u00e4tzliche Funktionen, Support und Tools bieten. Zu den beliebten Distributionen geh\u00f6ren:<\/p>\nDie interne Struktur von Apache Hadoop: Wie Apache Hadoop funktioniert<\/h2>\n
\n
Analyse der Hauptfunktionen von Apache Hadoop<\/h2>\n
\n
Arten von Apache Hadoop<\/h2>\n