Apache Hadoop \u00e9 uma poderosa estrutura de c\u00f3digo aberto projetada para facilitar o processamento e armazenamento de grandes quantidades de dados em clusters de hardware comum. Desenvolvido por Doug Cutting e Mike Cafarella, as origens do Hadoop remontam a 2005, quando foi inspirado no trabalho pioneiro do Google nos conceitos MapReduce e Google File System (GFS). Nomeado em homenagem ao elefante de brinquedo do filho de Doug Cutting, o projeto inicialmente fazia parte do mecanismo de busca na web Apache Nutch, tornando-se mais tarde um projeto Apache independente.<\/p>\n
Conforme mencionado anteriormente, o Apache Hadoop surgiu do projeto Apache Nutch, que tinha como objetivo criar um mecanismo de busca na web de c\u00f3digo aberto. Em 2006, o Yahoo! desempenhou um papel fundamental no avan\u00e7o do desenvolvimento do Hadoop, utilizando-o para tarefas de processamento de dados em grande escala. Essa mudan\u00e7a ajudou a trazer o Hadoop para o centro das aten\u00e7\u00f5es e expandiu rapidamente sua ado\u00e7\u00e3o.<\/p>\n
O Apache Hadoop \u00e9 composto por v\u00e1rios componentes principais, cada um contribuindo para diferentes aspectos do processamento de dados. Esses componentes incluem:<\/p>\n
Sistema de arquivos distribu\u00eddos Hadoop (HDFS):<\/strong> Este \u00e9 um sistema de arquivos distribu\u00eddo projetado para armazenar grandes quantidades de dados de maneira confi\u00e1vel em hardware comum. O HDFS divide arquivos grandes em blocos e os replica em v\u00e1rios n\u00f3s do cluster, garantindo redund\u00e2ncia de dados e toler\u00e2ncia a falhas.<\/p>\n<\/li>\n MapReduzir:<\/strong> MapReduce \u00e9 o mecanismo de processamento do Hadoop que permite aos usu\u00e1rios escrever aplicativos de processamento paralelo sem se preocupar com a complexidade subjacente da computa\u00e7\u00e3o distribu\u00edda. Ele processa os dados em duas fases: a fase Mapear, que filtra e classifica os dados, e a fase Reduzir, que agrega os resultados.<\/p>\n<\/li>\n YARN (mais um negociador de recursos):<\/strong> YARN \u00e9 a camada de gerenciamento de recursos do Hadoop. Ele lida com a aloca\u00e7\u00e3o de recursos e o agendamento de tarefas em todo o cluster, permitindo que v\u00e1rias estruturas de processamento de dados coexistam e compartilhem recursos de forma eficiente.<\/p>\n<\/li>\n<\/ol>\n O Apache Hadoop opera com base no princ\u00edpio de distribui\u00e7\u00e3o de dados e tarefas de processamento em um cluster de hardware comum. O processo normalmente envolve as seguintes etapas:<\/p>\n Ingest\u00e3o de dados:<\/strong> Grandes volumes de dados s\u00e3o ingeridos no cluster Hadoop. O HDFS divide os dados em blocos, que s\u00e3o replicados no cluster.<\/p>\n<\/li>\n Processamento MapReduce:<\/strong> Os usu\u00e1rios definem trabalhos MapReduce que s\u00e3o enviados ao gerenciador de recursos YARN. Os dados s\u00e3o processados em paralelo por v\u00e1rios n\u00f3s, com cada n\u00f3 executando um subconjunto de tarefas.<\/p>\n<\/li>\n Embaralhamento de dados intermedi\u00e1rio:<\/strong> Durante a fase Mapa, pares de valores-chave intermedi\u00e1rios s\u00e3o gerados. Esses pares s\u00e3o embaralhados e classificados, garantindo que todos os valores com a mesma chave sejam agrupados.<\/p>\n<\/li>\n Reduzir o processamento:<\/strong> A fase Reduzir agrega os resultados da fase Mapa, produzindo o resultado final.<\/p>\n<\/li>\n Recupera\u00e7\u00e3o de dados:<\/strong> Os dados processados s\u00e3o armazenados no HDFS ou podem ser acessados diretamente por outros aplicativos.<\/p>\n<\/li>\n<\/ol>\n O Apache Hadoop vem com v\u00e1rios recursos importantes que o tornam a escolha preferida para lidar com Big Data:<\/p>\n Escalabilidade:<\/strong> O Hadoop pode ser dimensionado horizontalmente adicionando mais hardware b\u00e1sico ao cluster, permitindo que ele lide com petabytes de dados.<\/p>\n<\/li>\n Toler\u00e2ncia ao erro:<\/strong> O Hadoop replica dados em v\u00e1rios n\u00f3s, garantindo a disponibilidade dos dados mesmo diante de falhas de hardware.<\/p>\n<\/li>\n Custo-benef\u00edcio:<\/strong> O Hadoop \u00e9 executado em hardware comum, o que o torna uma solu\u00e7\u00e3o econ\u00f4mica para as organiza\u00e7\u00f5es.<\/p>\n<\/li>\n Flexibilidade:<\/strong> O Hadoop oferece suporte a v\u00e1rios tipos e formatos de dados, incluindo dados estruturados, semiestruturados e n\u00e3o estruturados.<\/p>\n<\/li>\n Processamento paralelo:<\/strong> Com o MapReduce, o Hadoop processa dados em paralelo, permitindo um processamento de dados mais r\u00e1pido.<\/p>\n<\/li>\n<\/ol>\n O Apache Hadoop vem em v\u00e1rias distribui\u00e7\u00f5es, cada uma oferecendo recursos, suporte e ferramentas adicionais. Algumas distribui\u00e7\u00f5es populares incluem:<\/p>\nA estrutura interna do Apache Hadoop: como funciona o Apache Hadoop<\/h2>\n
\n
An\u00e1lise dos principais recursos do Apache Hadoop<\/h2>\n
\n
Tipos de Apache Hadoop<\/h2>\n