Apache Hadoop est un puissant framework open source con\u00e7u pour faciliter le traitement et le stockage de grandes quantit\u00e9s de donn\u00e9es sur des clusters de mat\u00e9riel standard. D\u00e9velopp\u00e9 par Doug Cutting et Mike Cafarella, les origines de Hadoop remontent \u00e0 2005 lorsqu'il a \u00e9t\u00e9 inspir\u00e9 par le travail pionnier de Google sur les concepts MapReduce et Google File System (GFS). Nomm\u00e9 d'apr\u00e8s l'\u00e9l\u00e9phant jouet du fils de Doug Cutting, le projet faisait initialement partie du moteur de recherche Web Apache Nutch, devenant plus tard un projet Apache autonome.<\/p>\n
Comme mentionn\u00e9 pr\u00e9c\u00e9demment, Apache Hadoop est issu du projet Apache Nutch, qui visait \u00e0 cr\u00e9er un moteur de recherche Web open source. En 2006, Yahoo! a jou\u00e9 un r\u00f4le central dans l'avancement du d\u00e9veloppement de Hadoop en l'utilisant pour des t\u00e2ches de traitement de donn\u00e9es \u00e0 grande \u00e9chelle. Cette d\u00e9cision a contribu\u00e9 \u00e0 mettre Hadoop sous les feux de la rampe et \u00e0 \u00e9tendre rapidement son adoption.<\/p>\n
Apache Hadoop est compos\u00e9 de plusieurs composants principaux, chacun contribuant \u00e0 diff\u00e9rents aspects du traitement des donn\u00e9es. Ces composants comprennent\u00a0:<\/p>\n
Syst\u00e8me de fichiers distribu\u00e9 Hadoop (HDFS)\u00a0:<\/strong> Il s'agit d'un syst\u00e8me de fichiers distribu\u00e9 con\u00e7u pour stocker de mani\u00e8re fiable d'\u00e9normes quantit\u00e9s de donn\u00e9es sur du mat\u00e9riel standard. HDFS divise les fichiers volumineux en blocs et les r\u00e9plique sur plusieurs n\u0153uds du cluster, garantissant ainsi la redondance des donn\u00e9es et la tol\u00e9rance aux pannes.<\/p>\n<\/li>\n MapR\u00e9duire\u00a0:<\/strong> MapReduce est le moteur de traitement de Hadoop qui permet aux utilisateurs d'\u00e9crire des applications de traitement parall\u00e8le sans se soucier de la complexit\u00e9 sous-jacente de l'informatique distribu\u00e9e. Il traite les donn\u00e9es en deux phases\u00a0: la phase Map, qui filtre et trie les donn\u00e9es, et la phase R\u00e9duire, qui agr\u00e8ge les r\u00e9sultats.<\/p>\n<\/li>\n YARN (encore un autre n\u00e9gociateur de ressources)\u00a0:<\/strong> YARN est la couche de gestion des ressources de Hadoop. Il g\u00e8re l'allocation des ressources et la planification des t\u00e2ches \u00e0 travers le cluster, permettant \u00e0 plusieurs cadres de traitement de donn\u00e9es de coexister et de partager efficacement les ressources.<\/p>\n<\/li>\n<\/ol>\n Apache Hadoop fonctionne sur le principe de la distribution des donn\u00e9es et des t\u00e2ches de traitement sur un cluster de mat\u00e9riel standard. Le processus implique g\u00e9n\u00e9ralement les \u00e9tapes suivantes\u00a0:<\/p>\n Ingestion de donn\u00e9es\u00a0:<\/strong> De grands volumes de donn\u00e9es sont ing\u00e9r\u00e9s dans le cluster Hadoop. HDFS divise les donn\u00e9es en blocs, qui sont r\u00e9pliqu\u00e9s sur le cluster.<\/p>\n<\/li>\n Traitement MapReduce\u00a0:<\/strong> Les utilisateurs d\u00e9finissent les t\u00e2ches MapReduce qui sont soumises au gestionnaire de ressources YARN. Les donn\u00e9es sont trait\u00e9es en parall\u00e8le par plusieurs n\u0153uds, chaque n\u0153ud ex\u00e9cutant un sous-ensemble de t\u00e2ches.<\/p>\n<\/li>\n M\u00e9lange de donn\u00e9es interm\u00e9diaire\u00a0:<\/strong> Pendant la phase Map, des paires cl\u00e9-valeur interm\u00e9diaires sont g\u00e9n\u00e9r\u00e9es. Ces paires sont m\u00e9lang\u00e9es et tri\u00e9es, garantissant que toutes les valeurs ayant la m\u00eame cl\u00e9 sont regroup\u00e9es.<\/p>\n<\/li>\n R\u00e9duire le traitement\u00a0:<\/strong> La phase R\u00e9duire regroupe les r\u00e9sultats de la phase Cartographie, produisant le r\u00e9sultat final.<\/p>\n<\/li>\n R\u00e9cup\u00e9ration de donn\u00e9es\u00a0:<\/strong> Les donn\u00e9es trait\u00e9es sont stock\u00e9es dans HDFS ou sont accessibles directement par d'autres applications.<\/p>\n<\/li>\n<\/ol>\n Apache Hadoop est dot\u00e9 de plusieurs fonctionnalit\u00e9s cl\u00e9s qui en font un choix privil\u00e9gi\u00e9 pour g\u00e9rer le Big Data\u00a0:<\/p>\n \u00c9volutivit\u00e9\u00a0:<\/strong> Hadoop peut \u00e9voluer horizontalement en ajoutant davantage de mat\u00e9riel standard au cluster, lui permettant ainsi de g\u00e9rer des p\u00e9taoctets de donn\u00e9es.<\/p>\n<\/li>\n Tol\u00e9rance aux pannes\u00a0:<\/strong> Hadoop r\u00e9plique les donn\u00e9es sur plusieurs n\u0153uds, garantissant ainsi leur disponibilit\u00e9 m\u00eame en cas de panne mat\u00e9rielle.<\/p>\n<\/li>\n Rentabilit\u00e9\u00a0:<\/strong> Hadoop fonctionne sur du mat\u00e9riel standard, ce qui en fait une solution rentable pour les organisations.<\/p>\n<\/li>\n La flexibilit\u00e9:<\/strong> Hadoop prend en charge diff\u00e9rents types et formats de donn\u00e9es, notamment les donn\u00e9es structur\u00e9es, semi-structur\u00e9es et non structur\u00e9es.<\/p>\n<\/li>\n Traitement parall\u00e8le\u00a0:<\/strong> Avec MapReduce, Hadoop traite les donn\u00e9es en parall\u00e8le, permettant un traitement plus rapide des donn\u00e9es.<\/p>\n<\/li>\n<\/ol>\n Apache Hadoop est disponible en diff\u00e9rentes distributions, chacune offrant des fonctionnalit\u00e9s, une assistance et des outils suppl\u00e9mentaires. Certaines distributions populaires incluent\u00a0:<\/p>\nLa structure interne d'Apache Hadoop\u00a0: comment fonctionne Apache Hadoop<\/h2>\n
\n
Analyse des principales fonctionnalit\u00e9s d'Apache Hadoop<\/h2>\n
\n
Types d'Apache Hadoop<\/h2>\n