{"id":477961,"date":"2023-08-09T09:23:08","date_gmt":"2023-08-09T09:23:08","guid":{"rendered":""},"modified":"2023-09-05T11:15:45","modified_gmt":"2023-09-05T11:15:45","slug":"mapreduce","status":"publish","type":"wiki","link":"https:\/\/oneproxy.pro\/pt\/wiki\/mapreduce\/","title":{"rendered":"MapaReduzir"},"content":{"rendered":"

MapReduce \u00e9 um modelo de programa\u00e7\u00e3o e estrutura computacional projetado para processar conjuntos de dados em grande escala em um ambiente de computa\u00e7\u00e3o distribu\u00eddo. Ele permite o processamento eficiente de grandes quantidades de dados, dividindo a carga de trabalho em tarefas menores que podem ser executadas em paralelo em um cluster de computadores. MapReduce tornou-se uma ferramenta fundamental no mundo do big data, permitindo que empresas e organiza\u00e7\u00f5es extraiam insights valiosos de grandes quantidades de informa\u00e7\u00f5es.<\/p>\n

A hist\u00f3ria da origem do MapReduce e a primeira men\u00e7\u00e3o dele<\/h2>\n

O conceito de MapReduce foi introduzido por Jeffrey Dean e Sanjay Ghemawat do Google em seu artigo seminal intitulado \u201cMapReduce: Simplified Data Processing on Large Clusters\u201d publicado em 2004. O artigo descreveu uma abordagem poderosa para lidar com tarefas de processamento de dados em grande escala de forma eficiente e confi\u00e1vel. . O Google utilizou o MapReduce para indexar e processar seus documentos da web, permitindo resultados de pesquisa mais r\u00e1pidos e eficazes.<\/p>\n

Informa\u00e7\u00f5es detalhadas sobre MapReduce<\/h2>\n

MapReduce segue um processo simples de duas etapas: a fase de mapa e a fase de redu\u00e7\u00e3o. Durante a fase de mapa, os dados de entrada s\u00e3o divididos em partes menores e processados em paralelo por v\u00e1rios n\u00f3s no cluster. Cada n\u00f3 executa uma fun\u00e7\u00e3o de mapeamento que gera pares de valores-chave como sa\u00edda intermedi\u00e1ria. Na fase de redu\u00e7\u00e3o, esses resultados intermedi\u00e1rios s\u00e3o consolidados com base em suas chaves e o resultado final \u00e9 obtido.<\/p>\n

A beleza do MapReduce reside na sua toler\u00e2ncia a falhas e escalabilidade. Ele pode lidar com falhas de hardware normalmente, \u00e0 medida que os dados s\u00e3o replicados entre n\u00f3s, garantindo a disponibilidade dos dados mesmo em caso de falhas de n\u00f3s.<\/p>\n

A estrutura interna do MapReduce: como funciona o MapReduce<\/h2>\n

Para entender melhor o funcionamento interno do MapReduce, vamos detalhar o processo passo a passo:<\/p>\n

    \n
  1. \n

    Divis\u00e3o de entrada: os dados de entrada s\u00e3o divididos em peda\u00e7os menores e gerenci\u00e1veis, chamados divis\u00f5es de entrada. Cada divis\u00e3o de entrada \u00e9 atribu\u00edda a um mapeador para processamento paralelo.<\/p>\n<\/li>\n

  2. \n

    Mapeamento: o mapeador processa a divis\u00e3o de entrada e gera pares de valores-chave como sa\u00edda intermedi\u00e1ria. \u00c9 aqui que ocorre a transforma\u00e7\u00e3o e filtragem de dados.<\/p>\n<\/li>\n

  3. \n

    Embaralhar e classificar: os pares chave-valor intermedi\u00e1rios s\u00e3o agrupados com base em suas chaves e classificados, garantindo que todos os valores com a mesma chave acabem no mesmo redutor.<\/p>\n<\/li>\n

  4. \n

    Redu\u00e7\u00e3o: Cada redutor recebe um subconjunto de pares chave-valor intermedi\u00e1rios e executa uma fun\u00e7\u00e3o de redu\u00e7\u00e3o para combinar e agregar os dados com a mesma chave.<\/p>\n<\/li>\n

  5. \n

    Resultado Final: Os redutores produzem o resultado final, que pode ser armazenado ou usado para an\u00e1lises posteriores.<\/p>\n<\/li>\n<\/ol>\n

    An\u00e1lise dos principais recursos do MapReduce<\/h2>\n

    MapReduce possui v\u00e1rios recursos essenciais que o tornam uma ferramenta poderosa para processamento de dados em grande escala:<\/p>\n