Dask est une biblioth\u00e8que open source puissante et flexible pour le calcul parall\u00e8le en Python. Con\u00e7u pour \u00e9voluer d'un seul ordinateur \u00e0 un cluster de serveurs, Dask fournit un parall\u00e9lisme avanc\u00e9 pour l'analyse, permettant \u00e0 l'utilisateur d'effectuer des calculs volumineux sur plusieurs c\u0153urs. Dask est un choix populaire pour le traitement du Big Data, offrant une alternative \u00e0 Apache Spark pour les t\u00e2ches de calcul parall\u00e8le n\u00e9cessitant Python.<\/p>\n
Le projet a commenc\u00e9 comme une initiative open source et a \u00e9t\u00e9 annonc\u00e9 pour la premi\u00e8re fois en 2014 par son cr\u00e9ateur, Matthew Rocklin. Rocklin, un d\u00e9veloppeur travaillant avec Anaconda Inc. \u00e0 l'\u00e9poque, cherchait \u00e0 rem\u00e9dier aux limitations informatiques du traitement en m\u00e9moire en Python, en particulier dans les biblioth\u00e8ques populaires comme NumPy et Pandas. Ces outils avaient du mal \u00e0 fonctionner efficacement avec des ensembles de donn\u00e9es d\u00e9passant la taille de la m\u00e9moire, une limitation que Dask cherchait \u00e0 surmonter.<\/p>\n
Dask facilite les calculs parall\u00e8les et d\u00e9passant la m\u00e9moire en les d\u00e9composant en t\u00e2ches plus petites, en ex\u00e9cutant ces t\u00e2ches de mani\u00e8re parall\u00e8le et en g\u00e9rant correctement les ressources m\u00e9moire. Dask utilise une strat\u00e9gie simple pour ce faire : il cr\u00e9e un graphe de planification de t\u00e2ches, un graphe acyclique dirig\u00e9 (DAG) qui d\u00e9crit la s\u00e9quence de calculs \u00e0 effectuer.<\/p>\n
\u00c0 la base, Dask est construit autour de deux composants\u00a0:<\/p>\n
Planification dynamique des t\u00e2ches\u00a0: elle est optimis\u00e9e pour le calcul et peut g\u00e9rer de grandes structures de donn\u00e9es.<\/p>\n<\/li>\n
Collections \u00ab\u00a0Big Data\u00a0\u00bb\u00a0: elles imitent les tableaux, les listes et les trames de donn\u00e9es pandas, mais peuvent fonctionner en parall\u00e8le sur des ensembles de donn\u00e9es qui ne rentrent pas dans la m\u00e9moire en les divisant en parties plus petites et g\u00e9rables.<\/p>\n<\/li>\n<\/ol>\n
Dask utilise un planificateur distribu\u00e9 pour ex\u00e9cuter des graphiques de t\u00e2ches en parall\u00e8le. Ce planificateur coordonne l'ex\u00e9cution des t\u00e2ches et g\u00e8re la communication entre les n\u0153uds de travail d'un cluster. Le planificateur et les travailleurs communiquent via un \u00ab planificateur distribu\u00e9 \u00bb central, qui est impl\u00e9ment\u00e9 en tant que processus Python distinct.<\/p>\n
Lorsqu'un calcul est soumis, Dask cr\u00e9e d'abord un graphique de t\u00e2ches repr\u00e9sentant le calcul. Chaque n\u0153ud du graphique repr\u00e9sente une fonction Python, tandis que chaque ar\u00eate repr\u00e9sente les donn\u00e9es (g\u00e9n\u00e9ralement un objet Python) transf\u00e9r\u00e9es entre les fonctions.<\/p>\n
Le planificateur distribu\u00e9 Dask divise ensuite le graphique en parties plus petites et plus faciles \u00e0 g\u00e9rer et attribue ces parties aux n\u0153uds de travail du cluster. Chaque n\u0153ud de travail effectue les t\u00e2ches qui lui sont assign\u00e9es et rapporte les r\u00e9sultats au planificateur. Le planificateur garde une trace des parties du graphique qui ont \u00e9t\u00e9 compl\u00e9t\u00e9es et de celles qui sont encore en attente, ajustant ses d\u00e9cisions de planification en fonction de l'\u00e9tat du calcul et des ressources disponibles dans le cluster.<\/p>\n
Parall\u00e9lisme<\/strong>: Dask peut ex\u00e9cuter des op\u00e9rations en parall\u00e8le, en exploitant la puissance des processeurs multic\u0153urs modernes et des environnements distribu\u00e9s.<\/p>\n<\/li>\n \u00c9volutivit\u00e9<\/strong>: Il peut \u00e9voluer de mani\u00e8re transparente des calculs sur une seule machine aux calculs bas\u00e9s sur des clusters.<\/p>\n<\/li>\n L'int\u00e9gration<\/strong>: Dask s'int\u00e8gre bien aux biblioth\u00e8ques Python existantes comme Pandas, NumPy et Scikit-Learn.<\/p>\n<\/li>\n La flexibilit\u00e9<\/strong>: Il peut g\u00e9rer un large \u00e9ventail de t\u00e2ches, de l'analyse et de la transformation des donn\u00e9es \u00e0 l'apprentissage automatique.<\/p>\n<\/li>\n Gestion d'ensembles de donn\u00e9es d\u00e9passant la taille de la m\u00e9moire<\/strong>: En d\u00e9composant les donn\u00e9es en morceaux plus petits, Dask peut g\u00e9rer des ensembles de donn\u00e9es qui ne rentrent pas dans la m\u00e9moire.<\/p>\n<\/li>\n<\/ul>\n Bien que Dask soit fondamentalement une biblioth\u00e8que unique, elle fournit plusieurs structures de donn\u00e9es ou \u00ab collections \u00bb qui imitent et \u00e9tendent les structures de donn\u00e9es Python famili\u00e8res. Ceux-ci inclus:<\/p>\n Tableau de donn\u00e9es<\/strong>: Imite l'interface ndarray de NumPy et peut prendre en charge la plupart des API de NumPy. Il est con\u00e7u pour les grands ensembles de donn\u00e9es qui ne rentrent pas dans la m\u00e9moire.<\/p>\n<\/li>\n Cadre de donn\u00e9es Dask<\/strong>: refl\u00e8te l'interface Pandas DataFrame et prend en charge un sous-ensemble de l'API Pandas. Utile pour traiter des ensembles de donn\u00e9es plus volumineux que la m\u00e9moire avec une interface similaire \u00e0 Pandas.<\/p>\n<\/li>\n Sac de travail<\/strong>: Impl\u00e9mente des op\u00e9rations comme Dask\u00a0ML<\/strong>: Il fournit des algorithmes d'apprentissage automatique \u00e9volutifs qui s'int\u00e8grent bien aux autres collections Dask.<\/p>\n<\/li>\n<\/ol>\n Dask est polyvalent et peut \u00eatre utilis\u00e9 pour diverses applications, notamment\u00a0:<\/p>\n Transformation et pr\u00e9traitement des donn\u00e9es\u00a0: les structures DataFrame et array de Dask permettent une transformation efficace de grands ensembles de donn\u00e9es en parall\u00e8le.<\/p>\n<\/li>\n Apprentissage automatique\u00a0: Dask-ML fournit une suite d'algorithmes d'apprentissage automatique \u00e9volutifs, qui peuvent \u00eatre particuli\u00e8rement utiles lorsqu'il s'agit de grands ensembles de donn\u00e9es.<\/p>\n<\/li>\n Simulations et calculs complexes : L'interface retard\u00e9e Dask peut \u00eatre utilis\u00e9e pour effectuer des calculs arbitraires en parall\u00e8le.<\/p>\n<\/li>\n<\/ul>\n Malgr\u00e9 sa polyvalence et sa puissance, Dask peut pr\u00e9senter des d\u00e9fis. Par exemple, certains algorithmes ne sont pas facilement parall\u00e9lisables et peuvent ne pas b\u00e9n\u00e9ficier de mani\u00e8re significative des capacit\u00e9s informatiques distribu\u00e9es de Dask. De plus, comme pour tout syst\u00e8me informatique distribu\u00e9, les calculs Dask peuvent \u00eatre limit\u00e9s par la bande passante du r\u00e9seau, en particulier lorsque vous travaillez sur un cluster.<\/p>\n Dask est souvent compar\u00e9 \u00e0 d'autres frameworks informatiques distribu\u00e9s, notamment Apache Spark. Voici une br\u00e8ve comparaison\u00a0:<\/p>\nTypes de t\u00e2ches<\/h2>\n
\n
map<\/code>, filter<\/code>, groupby<\/code> sur les objets Python g\u00e9n\u00e9raux. Il est bien adapt\u00e9 pour travailler avec des donn\u00e9es semi-structur\u00e9es, comme JSON ou XML.<\/p>\n<\/li>\nFa\u00e7ons d'utiliser Dask<\/h2>\n
\n
Comparaisons avec des outils similaires<\/h2>\n