ELT, abr\u00e9viation de Extract, Load, Transform, est un processus d'int\u00e9gration de donn\u00e9es largement utilis\u00e9 dans le domaine de l'entreposage de donn\u00e9es et de la business intelligence. Il fait r\u00e9f\u00e9rence \u00e0 l'ordre dans lequel les donn\u00e9es sont g\u00e9r\u00e9es pendant le parcours d'int\u00e9gration des donn\u00e9es. ELT consiste \u00e0 extraire des donn\u00e9es brutes de diverses sources, \u00e0 les charger dans un syst\u00e8me de stockage de donn\u00e9es, puis \u00e0 les transformer en un format structur\u00e9 et utilisable pour l'analyse et le reporting. Cet article approfondira l'histoire, le fonctionnement, les types et les perspectives futures de l'ELT, tout en explorant \u00e9galement son association avec les serveurs proxy.<\/p>\n
Le concept d'ELT a \u00e9volu\u00e9 comme une variante du processus ETL (Extract, Transform, Load) traditionnel. Le processus ETL a \u00e9t\u00e9 pr\u00e9dominant pendant de nombreuses ann\u00e9es, o\u00f9 les donn\u00e9es \u00e9taient d'abord extraites des syst\u00e8mes sources, puis transform\u00e9es pour r\u00e9pondre \u00e0 des exigences sp\u00e9cifiques, et enfin charg\u00e9es dans un entrep\u00f4t de donn\u00e9es. Cependant, avec l'av\u00e8nement du Big Data et la n\u00e9cessit\u00e9 d'un traitement en temps r\u00e9el, l'approche ETL traditionnelle a \u00e9t\u00e9 confront\u00e9e \u00e0 des d\u00e9fis li\u00e9s \u00e0 l'\u00e9volutivit\u00e9 et aux performances.<\/p>\n
Les premi\u00e8res mentions de l\u2019ELT remontent au d\u00e9but des ann\u00e9es 2000, lorsque les ing\u00e9nieurs et architectes de donn\u00e9es ont commenc\u00e9 \u00e0 exp\u00e9rimenter des approches alternatives pour g\u00e9rer efficacement de gros volumes de donn\u00e9es. ELT a \u00e9t\u00e9 propos\u00e9 comme solution pour d\u00e9charger la charge de traitement du serveur ETL vers l'entrep\u00f4t de donn\u00e9es cible, qui \u00e9tait \u00e9quip\u00e9 de capacit\u00e9s de traitement plus puissantes. Ce changement de logique de traitement a ouvert de nouvelles possibilit\u00e9s d'int\u00e9gration de donn\u00e9es, permettant aux organisations d'exploiter le potentiel du Big Data.<\/p>\n
Le processus ELT peut \u00eatre d\u00e9compos\u00e9 en trois \u00e9tapes distinctes\u00a0:<\/p>\n
Extrait<\/strong>: Dans cette \u00e9tape initiale, les donn\u00e9es sont extraites de sources h\u00e9t\u00e9rog\u00e8nes, notamment des bases de donn\u00e9es, du stockage cloud, des API Web, des journaux, des feuilles de calcul, etc. Les donn\u00e9es se pr\u00e9sentent g\u00e9n\u00e9ralement sous leur forme brute et non trait\u00e9e.<\/p>\n<\/li>\n Charger<\/strong>: Une fois les donn\u00e9es extraites, elles sont charg\u00e9es dans le syst\u00e8me de stockage de donn\u00e9es cible, qui peut \u00eatre un entrep\u00f4t de donn\u00e9es, un lac de donn\u00e9es ou tout autre r\u00e9f\u00e9rentiel appropri\u00e9. Les donn\u00e9es sont stock\u00e9es \u00e0 l\u2019\u00e9tat brut sans aucune transformation majeure.<\/p>\n<\/li>\n Transformer<\/strong>: La phase de transformation se produit au sein du syst\u00e8me de stockage de donn\u00e9es cible. Les ing\u00e9nieurs de donn\u00e9es utilisent diverses techniques de transformation des donn\u00e9es pour traiter, nettoyer, enrichir et agr\u00e9ger les donn\u00e9es, les rendant ainsi adapt\u00e9es \u00e0 l'analyse et au reporting. Les transformations peuvent impliquer la normalisation des donn\u00e9es, la d\u00e9duplication des donn\u00e9es, l\u2019enrichissement des donn\u00e9es, etc.<\/p>\n<\/li>\n<\/ol>\n Le processus ELT est g\u00e9n\u00e9ralement ex\u00e9cut\u00e9 via des outils ou des plates-formes d'int\u00e9gration de donn\u00e9es sp\u00e9cialis\u00e9es. Ces outils facilitent l'extraction de donn\u00e9es provenant de diff\u00e9rentes sources et automatisent les processus de chargement et de transformation. Les composants cl\u00e9s d'un syst\u00e8me ELT comprennent\u00a0:<\/p>\n Connecteurs de donn\u00e9es<\/strong>: Ces connecteurs sont charg\u00e9s d'\u00e9tablir des connexions avec diff\u00e9rentes sources de donn\u00e9es, permettant \u00e0 l'outil ELT d'en extraire des donn\u00e9es. Chaque source de donn\u00e9es peut n\u00e9cessiter des connecteurs sp\u00e9cifiques adapt\u00e9s \u00e0 son format de donn\u00e9es et \u00e0 son protocole.<\/p>\n<\/li>\n Zone de transit<\/strong>: Une fois les donn\u00e9es extraites, elles sont temporairement stock\u00e9es dans une zone de pr\u00e9paration avant d'\u00eatre charg\u00e9es dans le syst\u00e8me de stockage de donn\u00e9es cible. La zone de pr\u00e9paration aide \u00e0 g\u00e9rer le flux de donn\u00e9es et garantit l\u2019int\u00e9grit\u00e9 des donn\u00e9es pendant le processus de chargement.<\/p>\n<\/li>\n Entrep\u00f4t de donn\u00e9es ou syst\u00e8me de stockage de donn\u00e9es<\/strong>: C'est la destination ultime o\u00f9 les donn\u00e9es extraites sont charg\u00e9es et transform\u00e9es. Il peut s'agir d'un entrep\u00f4t de donn\u00e9es, d'un lac de donn\u00e9es ou de toute autre infrastructure de stockage de donn\u00e9es en fonction des besoins de l'organisation.<\/p>\n<\/li>\n Moteur de transformation de donn\u00e9es<\/strong>: Ce composant g\u00e8re les t\u00e2ches de transformation des donn\u00e9es. Il ex\u00e9cute une logique de transformation de donn\u00e9es pr\u00e9d\u00e9finie ou des scripts personnalis\u00e9s pour nettoyer, fusionner et enrichir les donn\u00e9es.<\/p>\n<\/li>\n Surveillance et gestion des erreurs<\/strong>: Les syst\u00e8mes ELT sont souvent dot\u00e9s de capacit\u00e9s de surveillance int\u00e9gr\u00e9es pour suivre la progression des t\u00e2ches d'int\u00e9gration de donn\u00e9es et identifier les erreurs ou les probl\u00e8mes pouvant survenir au cours du processus.<\/p>\n<\/li>\n<\/ol>\n ELT offre plusieurs avantages par rapport au processus ETL traditionnel, ce qui en fait un choix populaire pour les sc\u00e9narios d'int\u00e9gration de donn\u00e9es modernes\u00a0:<\/p>\n \u00c9volutivit\u00e9<\/strong>: ELT exploite la puissance de traitement du syst\u00e8me de stockage de donn\u00e9es cible, lui permettant de g\u00e9rer facilement de gros volumes de donn\u00e9es. \u00c0 mesure que le syst\u00e8me de stockage de donn\u00e9es \u00e9volue, ELT peut r\u00e9pondre \u00e0 la demande croissante de donn\u00e9es.<\/p>\n<\/li>\n Traitement en temps r\u00e9el<\/strong>: ELT permet l'int\u00e9gration de donn\u00e9es en temps r\u00e9el ou quasi r\u00e9el, ce qui le rend adapt\u00e9 aux entreprises qui ont besoin d'informations \u00e0 jour sur leurs op\u00e9rations et leurs processus d\u00e9cisionnels.<\/p>\n<\/li>\n Rentabilit\u00e9<\/strong>: En d\u00e9chargeant la transformation des donn\u00e9es sur le syst\u00e8me de stockage de donn\u00e9es cible, ELT r\u00e9duit le besoin de serveurs ETL co\u00fbteux, ce qui entra\u00eene des \u00e9conomies.<\/p>\n<\/li>\n La flexibilit\u00e9<\/strong>: ELT permet aux ing\u00e9nieurs de donn\u00e9es d'effectuer des transformations de donn\u00e9es directement dans le syst\u00e8me de stockage de donn\u00e9es, leur donnant une plus grande flexibilit\u00e9 pour exp\u00e9rimenter diff\u00e9rentes techniques de transformation.<\/p>\n<\/li>\n Architecture simplifi\u00e9e<\/strong>: ELT simplifie l'architecture globale d'int\u00e9gration des donn\u00e9es en supprimant le besoin de bases de donn\u00e9es interm\u00e9diaires et en r\u00e9duisant la complexit\u00e9.<\/p>\n<\/li>\n<\/ol>\n L'ELT peut \u00eatre class\u00e9 en diff\u00e9rents types en fonction de sa mise en \u0153uvre et de sa port\u00e9e\u00a0:<\/p>\nLa structure interne de l'ELT. Comment fonctionne l'ELT<\/h2>\n
\n
Analyse des principales caract\u00e9ristiques de l'ELT<\/h2>\n
\n
Types d'ELT<\/h2>\n