Parquet est un format de fichier de stockage en colonnes con\u00e7u pour stocker et traiter efficacement de grandes quantit\u00e9s de donn\u00e9es. Il a \u00e9t\u00e9 d\u00e9velopp\u00e9 en tant que projet open source par Cloudera et Twitter en 2013. L'objectif principal de Parquet est d'optimiser le stockage et le traitement des donn\u00e9es pour l'analyse du Big Data, ce qui en fait un format id\u00e9al pour les cas d'utilisation dans l'entreposage de donn\u00e9es, les lacs de donn\u00e9es et Apache. \u00c9cosyst\u00e8mes Hadoop.<\/p>\n
Les origines de Parquet remontent \u00e0 la n\u00e9cessit\u00e9 d\u2019un stockage et d\u2019un traitement efficaces du Big Data. Avec l\u2019essor des technologies Big Data, les formats de stockage traditionnels ont \u00e9t\u00e9 confront\u00e9s \u00e0 des d\u00e9fis li\u00e9s \u00e0 la gestion de grands ensembles de donn\u00e9es. Le d\u00e9veloppement de Parquet visait \u00e0 r\u00e9soudre ces probl\u00e8mes en introduisant une approche de stockage en colonnes.<\/p>\n
La premi\u00e8re mention de Parquet peut \u00eatre trouv\u00e9e dans un document de recherche pr\u00e9sent\u00e9 par les ing\u00e9nieurs de Twitter lors du Symposium sur les principes des syst\u00e8mes d'exploitation (SOSP) en 2013. Dans cet article, ils ont pr\u00e9sent\u00e9 le format Parquet et ont soulign\u00e9 ses avantages, tels qu'une meilleure compression, une requ\u00eate am\u00e9lior\u00e9e. performances et prise en charge des types de donn\u00e9es complexes.<\/p>\n
Parquet suit une approche de stockage en colonnes, dans laquelle les donn\u00e9es sont stock\u00e9es et organis\u00e9es en colonnes plut\u00f4t qu'en lignes. Cette conception permet diverses optimisations des performances et est particuli\u00e8rement avantageuse pour les charges de travail analytiques. Certaines caract\u00e9ristiques cl\u00e9s du parquet comprennent\u00a0:<\/p>\n
Stockage en colonnes\u00a0:<\/strong> Parquet stocke chaque colonne s\u00e9par\u00e9ment, permettant une meilleure compression et la possibilit\u00e9 de lire uniquement les colonnes requises lors de l'ex\u00e9cution de la requ\u00eate.<\/p>\n<\/li>\n Techniques de compression\u00a0:<\/strong> Parquet utilise divers algorithmes de compression, tels que Snappy, Gzip et Zstandard, pour r\u00e9duire l'espace de stockage et am\u00e9liorer les performances de lecture des donn\u00e9es.<\/p>\n<\/li>\n Prise en charge des types de donn\u00e9es\u00a0:<\/strong> Il offre une prise en charge \u00e9tendue de divers types de donn\u00e9es, y compris les types primitifs (par exemple, entier, cha\u00eene, bool\u00e9en) et les types complexes (par exemple, tableaux, cartes, structures).<\/p>\n<\/li>\n \u00c9volution du sch\u00e9ma\u00a0:<\/strong> Parquet prend en charge l'\u00e9volution du sch\u00e9ma, permettant aux utilisateurs d'ajouter, de supprimer ou de modifier des colonnes au fil du temps sans rompre la compatibilit\u00e9 avec les donn\u00e9es existantes.<\/p>\n<\/li>\n Pushdown de pr\u00e9dicat\u00a0:<\/strong> Cette fonctionnalit\u00e9 pousse les pr\u00e9dicats de requ\u00eate vers la couche de stockage, r\u00e9duisant ainsi la quantit\u00e9 de donn\u00e9es \u00e0 lire lors de l'ex\u00e9cution de la requ\u00eate.<\/p>\n<\/li>\n Traitement parall\u00e8le\u00a0:<\/strong> Les fichiers Parquet peuvent \u00eatre divis\u00e9s en groupes de lignes plus petits, permettant un traitement parall\u00e8le dans des environnements distribu\u00e9s, tels que Hadoop.<\/p>\n<\/li>\n Compatibilit\u00e9 multiplateforme\u00a0:<\/strong> Parquet est con\u00e7u pour \u00eatre ind\u00e9pendant de la plate-forme, permettant un \u00e9change de donn\u00e9es transparent entre diff\u00e9rents syst\u00e8mes.<\/p>\n<\/li>\n<\/ol>\n Les dossiers Parquet se composent de plusieurs \u00e9l\u00e9ments qui contribuent \u00e0 ses capacit\u00e9s efficaces de stockage et de traitement\u00a0:<\/p>\n M\u00e9tadonn\u00e9es du fichier\u00a0:<\/strong> Contient des informations sur le sch\u00e9ma du fichier, les algorithmes de compression utilis\u00e9s et d'autres propri\u00e9t\u00e9s.<\/p>\n<\/li>\n Groupes de lignes\u00a0:<\/strong> Chaque fichier Parquet est divis\u00e9 en groupes de lignes, eux-m\u00eames divis\u00e9s en colonnes. Les groupes de lignes facilitent le traitement parall\u00e8le et la compression des donn\u00e9es.<\/p>\n<\/li>\n M\u00e9tadonn\u00e9es de colonne\u00a0:<\/strong> Pour chaque colonne, Parquet stocke des m\u00e9tadonn\u00e9es telles que le type de donn\u00e9es, le codec de compression et les informations de codage.<\/p>\n<\/li>\n Pages de donn\u00e9es\u00a0:<\/strong> Les pages de donn\u00e9es stockent les donn\u00e9es en colonnes r\u00e9elles et sont compress\u00e9es individuellement pour maximiser l'efficacit\u00e9 du stockage.<\/p>\n<\/li>\n Pages de dictionnaire (facultatif)\u00a0:<\/strong> Pour les colonnes contenant des valeurs r\u00e9p\u00e9titives, Parquet utilise le codage par dictionnaire pour stocker des valeurs uniques et les r\u00e9f\u00e9rencer dans les pages de donn\u00e9es.<\/p>\n<\/li>\n Statistiques:<\/strong> Parquet peut \u00e9galement stocker des statistiques pour chaque colonne, telles que les valeurs minimales et maximales, qui peuvent \u00eatre exploit\u00e9es pour l'optimisation des requ\u00eates.<\/p>\n<\/li>\n<\/ol>\n Les principales fonctionnalit\u00e9s de Parquet contribuent \u00e0 son adoption g\u00e9n\u00e9ralis\u00e9e et \u00e0 sa popularit\u00e9 dans le traitement du Big Data. Analysons certaines de ces fonctionnalit\u00e9s\u00a0:<\/p>\n Compression efficace\u00a0:<\/strong> Les techniques de stockage et de compression en colonnes de Parquet permettent de r\u00e9duire la taille des fichiers, r\u00e9duisant ainsi les co\u00fbts de stockage et am\u00e9liorant les vitesses de transfert de donn\u00e9es.<\/p>\n<\/li>\n Optimisation des performances\u00a0:<\/strong> En lisant uniquement les colonnes n\u00e9cessaires lors des requ\u00eates, Parquet minimise les op\u00e9rations d'E\/S, ce qui acc\u00e9l\u00e8re le traitement des requ\u00eates.<\/p>\n<\/li>\n Flexibilit\u00e9 du sch\u00e9ma\u00a0:<\/strong> La prise en charge de l'\u00e9volution des sch\u00e9mas permet des modifications agiles des sch\u00e9mas de donn\u00e9es sans compromettre les donn\u00e9es existantes.<\/p>\n<\/li>\n Prise en charge multilingue\u00a0:<\/strong> Les fichiers Parquet peuvent \u00eatre utilis\u00e9s par divers langages de programmation, notamment Java, Python, C++, etc., ce qui en fait un format polyvalent pour divers flux de travail de traitement de donn\u00e9es.<\/p>\n<\/li>\n Richesse des types de donn\u00e9es\u00a0:<\/strong> La prise en charge \u00e9tendue de diff\u00e9rents types de donn\u00e9es r\u00e9pond \u00e0 un large \u00e9ventail de cas d'utilisation, s'adaptant aux structures de donn\u00e9es complexes courantes dans l'analyse du Big Data.<\/p>\n<\/li>\n Interop\u00e9rabilit\u00e9\u00a0:<\/strong> En tant que projet open source avec une sp\u00e9cification bien d\u00e9finie, Parquet favorise l'interop\u00e9rabilit\u00e9 entre diff\u00e9rents outils et syst\u00e8mes.<\/p>\n<\/li>\n<\/ol>\n Le parquet se d\u00e9cline en deux versions principales : Parquet-1.0<\/strong> et Parquet-2.0<\/strong>. Ce dernier est \u00e9galement connu sous le nom Parquet Apache Fl\u00e8che<\/strong> et est bas\u00e9 sur le format de donn\u00e9es Arrow. Les deux versions partagent les m\u00eames concepts et avantages fondamentaux, mais diff\u00e8rent en termes de compatibilit\u00e9 et de fonctionnalit\u00e9s. Vous trouverez ci-dessous une comparaison des deux versions\u00a0:<\/p>\nLa structure interne du parquet : comment fonctionne le parquet<\/h2>\n
\n
Analyse des principales caract\u00e9ristiques du parquet<\/h2>\n
\n
Types de parquet et leurs caract\u00e9ristiques<\/h2>\n