Parquet \u00e9 um formato de arquivo de armazenamento colunar projetado para armazenar e processar com efici\u00eancia grandes quantidades de dados. Foi desenvolvido como um projeto de c\u00f3digo aberto pela Cloudera e Twitter em 2013. O objetivo principal do Parquet \u00e9 otimizar o armazenamento e processamento de dados para an\u00e1lise de big data, tornando-o um formato ideal para casos de uso em armazenamento de dados, data lakes e Apache. Ecossistemas Hadoop.<\/p>\n
As origens do Parquet remontam \u00e0 necessidade de armazenamento e processamento eficiente de big data. Com o surgimento das tecnologias de big data, os formatos de armazenamento tradicionais enfrentaram desafios no tratamento de grandes conjuntos de dados. O desenvolvimento do Parquet teve como objetivo resolver estes problemas atrav\u00e9s da introdu\u00e7\u00e3o de uma abordagem de armazenamento colunar.<\/p>\n
A primeira men\u00e7\u00e3o ao Parquet pode ser encontrada em um artigo de pesquisa apresentado por engenheiros do Twitter no Simp\u00f3sio sobre Princ\u00edpios de Sistemas Operacionais (SOSP) em 2013. Neste artigo, eles introduziram o formato Parquet e destacaram seus benef\u00edcios, como melhor compacta\u00e7\u00e3o, consulta aprimorada desempenho e suporte para tipos de dados complexos.<\/p>\n
Parquet segue uma abordagem de armazenamento colunar, onde os dados s\u00e3o armazenados e organizados em colunas em vez de linhas. Esse design permite diversas otimiza\u00e7\u00f5es de desempenho e \u00e9 especialmente vantajoso para cargas de trabalho anal\u00edticas. Algumas caracter\u00edsticas principais do Parquet incluem:<\/p>\n
Armazenamento Colunar:<\/strong> O Parquet armazena cada coluna separadamente, permitindo melhor compacta\u00e7\u00e3o e capacidade de ler apenas as colunas necess\u00e1rias durante a execu\u00e7\u00e3o da consulta.<\/p>\n<\/li>\n T\u00e9cnicas de compress\u00e3o:<\/strong> Parquet usa v\u00e1rios algoritmos de compacta\u00e7\u00e3o, como Snappy, Gzip e Zstandard, para reduzir o espa\u00e7o de armazenamento e melhorar o desempenho de leitura de dados.<\/p>\n<\/li>\n Suporte de tipo de dados:<\/strong> Oferece amplo suporte para v\u00e1rios tipos de dados, incluindo tipos primitivos (por exemplo, inteiro, string, booleano) e tipos complexos (por exemplo, arrays, mapas, estruturas).<\/p>\n<\/li>\n Evolu\u00e7\u00e3o do esquema:<\/strong> Parquet suporta evolu\u00e7\u00e3o de esquema, permitindo aos usu\u00e1rios adicionar, remover ou modificar colunas ao longo do tempo sem quebrar a compatibilidade com os dados existentes.<\/p>\n<\/li>\n Pushdown de predicado:<\/strong> Esse recurso envia predicados de consulta para a camada de armazenamento, reduzindo a quantidade de dados que precisam ser lidos durante a execu\u00e7\u00e3o da consulta.<\/p>\n<\/li>\n Processamento paralelo:<\/strong> Os arquivos Parquet podem ser divididos em grupos de linhas menores, permitindo o processamento paralelo em ambientes distribu\u00eddos, como o Hadoop.<\/p>\n<\/li>\n Compatibilidade entre plataformas:<\/strong> O Parquet foi projetado para ser independente de plataforma, permitindo a troca cont\u00ednua de dados entre diferentes sistemas.<\/p>\n<\/li>\n<\/ol>\n Os arquivos Parquet consistem em v\u00e1rios componentes que contribuem para seus recursos eficientes de armazenamento e processamento:<\/p>\n Metadados do arquivo:<\/strong> Cont\u00e9m informa\u00e7\u00f5es sobre o esquema do arquivo, algoritmos de compacta\u00e7\u00e3o usados e outras propriedades.<\/p>\n<\/li>\n Grupos de linhas:<\/strong> Cada arquivo Parquet \u00e9 dividido em grupos de linhas, que s\u00e3o divididos em colunas. Os grupos de linhas ajudam no processamento paralelo e na compacta\u00e7\u00e3o de dados.<\/p>\n<\/li>\n Metadados da coluna:<\/strong> Para cada coluna, o Parquet armazena metadados como tipo de dados, codec de compacta\u00e7\u00e3o e informa\u00e7\u00f5es de codifica\u00e7\u00e3o.<\/p>\n<\/li>\n P\u00e1ginas de dados:<\/strong> As p\u00e1ginas de dados armazenam dados colunares reais e s\u00e3o compactadas individualmente para maximizar a efici\u00eancia do armazenamento.<\/p>\n<\/li>\n P\u00e1ginas do dicion\u00e1rio (opcional):<\/strong> Para colunas com valores repetitivos, o Parquet usa codifica\u00e7\u00e3o de dicion\u00e1rio para armazenar valores exclusivos e referenci\u00e1-los nas p\u00e1ginas de dados.<\/p>\n<\/li>\n Estatisticas:<\/strong> O Parquet tamb\u00e9m pode armazenar estat\u00edsticas para cada coluna, como valores m\u00ednimos e m\u00e1ximos, que podem ser aproveitados para otimiza\u00e7\u00e3o de consultas.<\/p>\n<\/li>\n<\/ol>\n Os principais recursos do Parquet contribuem para sua ampla ado\u00e7\u00e3o e popularidade no processamento de big data. Vamos analisar alguns desses recursos:<\/p>\n Compress\u00e3o eficiente:<\/strong> As t\u00e9cnicas de armazenamento e compacta\u00e7\u00e3o colunar da Parquet resultam em tamanhos de arquivo menores, reduzindo custos de armazenamento e melhorando as velocidades de transfer\u00eancia de dados.<\/p>\n<\/li>\n Otimiza\u00e7\u00e3o de performance:<\/strong> Ao ler apenas as colunas necess\u00e1rias durante as consultas, o Parquet minimiza as opera\u00e7\u00f5es de E\/S, levando a um processamento de consultas mais r\u00e1pido.<\/p>\n<\/li>\n Flexibilidade de esquema:<\/strong> O suporte para evolu\u00e7\u00e3o de esquema permite altera\u00e7\u00f5es \u00e1geis no esquema de dados sem comprometer os dados existentes.<\/p>\n<\/li>\n Suporte multil\u00edngue:<\/strong> Os arquivos Parquet podem ser usados por v\u00e1rias linguagens de programa\u00e7\u00e3o, incluindo Java, Python, C++ e muito mais, tornando-o um formato vers\u00e1til para diversos fluxos de trabalho de processamento de dados.<\/p>\n<\/li>\n Riqueza de tipos de dados:<\/strong> O amplo suporte para diferentes tipos de dados atende a uma ampla variedade de casos de uso, acomodando estruturas de dados complexas comuns em an\u00e1lises de big data.<\/p>\n<\/li>\n Interoperabilidade:<\/strong> Por ser um projeto de c\u00f3digo aberto com especifica\u00e7\u00f5es bem definidas, o Parquet promove a interoperabilidade entre diferentes ferramentas e sistemas.<\/p>\n<\/li>\n<\/ol>\n Parquet vem em duas vers\u00f5es principais: Parquet-1.0<\/strong> e Parquet-2.0<\/strong>. Este \u00faltimo tamb\u00e9m \u00e9 conhecido como Parquet Apache Arrow<\/strong> e \u00e9 baseado no formato de dados Arrow. Ambas as vers\u00f5es compartilham os mesmos conceitos e vantagens fundamentais, mas diferem em termos de compatibilidade e conjuntos de recursos. Abaixo est\u00e1 uma compara\u00e7\u00e3o das duas vers\u00f5es:<\/p>\nA estrutura interna do parquet: como funciona o parquet<\/h2>\n
\n
An\u00e1lise das principais caracter\u00edsticas do Parquet<\/h2>\n
\n
Tipos de parquet e suas caracter\u00edsticas<\/h2>\n