Dask adalah perpustakaan sumber terbuka yang kuat dan fleksibel untuk komputasi paralel dengan Python. Dirancang untuk menskalakan dari satu komputer ke sekelompok server, Dask menyediakan paralelisme tingkat lanjut untuk analitik, memungkinkan pengguna melakukan komputasi besar di banyak inti. Dask adalah pilihan populer untuk pemrosesan data besar, memberikan alternatif selain Apache Spark untuk tugas komputasi paralel yang memerlukan Python.<\/p>\n
Proyek ini dimulai sebagai inisiatif sumber terbuka dan pertama kali diumumkan pada tahun 2014 oleh penciptanya, Matthew Rocklin. Rocklin, pengembang yang bekerja dengan Anaconda Inc. pada saat itu, berupaya mengatasi keterbatasan komputasi pemrosesan dalam memori dengan Python, khususnya di perpustakaan populer seperti NumPy dan Pandas. Alat-alat ini kesulitan untuk bekerja secara efisien dengan kumpulan data yang lebih besar dari memori, sebuah batasan yang ingin diatasi oleh Dask.<\/p>\n
Dask memfasilitasi komputasi paralel dan lebih besar dari memori dengan memecahnya menjadi tugas-tugas yang lebih kecil, menjalankan tugas-tugas ini secara paralel, dan mengelola sumber daya memori dengan benar. Dask menggunakan strategi sederhana untuk melakukan hal ini: ia membuat grafik penjadwalan tugas, grafik asiklik terarah (DAG) yang menggambarkan urutan komputasi yang akan dilakukan.<\/p>\n
Pada intinya, Dask dibangun berdasarkan dua komponen:<\/p>\n
Penjadwalan tugas dinamis: Ini dioptimalkan untuk komputasi dan dapat menangani struktur data besar.<\/p>\n<\/li>\n
Koleksi \u201cData Besar\u201d: Ini meniru kerangka data array, daftar, dan panda tetapi dapat beroperasi secara paralel pada kumpulan data yang tidak sesuai dengan memori dengan memecahnya menjadi bagian-bagian yang lebih kecil dan dapat dikelola.<\/p>\n<\/li>\n<\/ol>\n
Dask menggunakan penjadwal terdistribusi untuk menjalankan grafik tugas secara paralel. Penjadwal ini mengoordinasikan pelaksanaan tugas dan menangani komunikasi antar node pekerja dalam sebuah cluster. Penjadwal dan pekerja berkomunikasi melalui 'penjadwal terdistribusi' pusat, yang diimplementasikan sebagai proses Python terpisah.<\/p>\n
Saat komputasi dikirimkan, Dask terlebih dahulu membuat grafik tugas yang mewakili komputasi tersebut. Setiap node dalam grafik mewakili fungsi Python, sedangkan setiap tepi mewakili data (biasanya objek Python) yang ditransfer antar fungsi.<\/p>\n
Penjadwal terdistribusi Dask kemudian memecah grafik menjadi bagian-bagian yang lebih kecil dan lebih mudah dikelola dan menetapkan bagian-bagian ini ke node pekerja di cluster. Setiap node pekerja melakukan tugas yang diberikan dan melaporkan hasilnya kembali ke penjadwal. Penjadwal melacak bagian mana dari grafik yang telah diselesaikan dan mana yang masih tertunda, menyesuaikan keputusan penjadwalannya berdasarkan keadaan komputasi dan sumber daya yang tersedia di cluster.<\/p>\n
Paralelisme<\/strong>: Dask dapat menjalankan operasi secara paralel, memanfaatkan kekuatan prosesor multicore modern dan lingkungan terdistribusi.<\/p>\n<\/li>\n Skalabilitas<\/strong>: Ini dapat menskalakan komputasi dari mesin tunggal ke komputasi berbasis cluster dengan mulus.<\/p>\n<\/li>\n Integrasi<\/strong>: Dask terintegrasi dengan baik dengan perpustakaan Python yang ada seperti Pandas, NumPy, dan Scikit-Learn.<\/p>\n<\/li>\n Fleksibilitas<\/strong>: Ini dapat menangani berbagai tugas, mulai dari analisis data dan transformasi data hingga pembelajaran mesin.<\/p>\n<\/li>\n Menangani kumpulan data yang lebih besar dari memori<\/strong>: Dengan memecah data menjadi bagian-bagian yang lebih kecil, Dask dapat menangani kumpulan data yang tidak sesuai dengan memori.<\/p>\n<\/li>\n<\/ul>\n Meskipun Dask pada dasarnya adalah perpustakaan tunggal, Dask menyediakan beberapa struktur data atau 'koleksi' yang meniru dan memperluas struktur data Python yang sudah dikenal. Ini termasuk:<\/p>\n Array Gelap<\/strong>: Meniru antarmuka ndarray NumPy dan dapat mendukung sebagian besar API NumPy. Ini dirancang untuk kumpulan data besar yang tidak muat dalam memori.<\/p>\n<\/li>\n Bingkai Data Dask<\/strong>: Mencerminkan antarmuka Pandas DataFrame dan mendukung subset dari Pandas API. Berguna untuk memproses kumpulan data yang lebih besar dari memori dengan antarmuka yang mirip dengan Pandas.<\/p>\n<\/li>\n Tas Gelap<\/strong>: Mengimplementasikan operasi seperti Dask ML<\/strong>: Ini menyediakan algoritma pembelajaran mesin terukur yang terintegrasi dengan baik dengan koleksi Dask lainnya.<\/p>\n<\/li>\n<\/ol>\n Dask serbaguna dan dapat digunakan untuk berbagai aplikasi, antara lain:<\/p>\n Transformasi dan prapemrosesan data: DataFrame dan struktur array Dask memungkinkan transformasi kumpulan data besar secara efisien secara paralel.<\/p>\n<\/li>\n Pembelajaran Mesin: Dask-ML menyediakan serangkaian algoritme pembelajaran mesin yang dapat diskalakan, yang sangat berguna saat menangani kumpulan data besar.<\/p>\n<\/li>\n Simulasi dan komputasi kompleks: Antarmuka penundaan Dask dapat digunakan untuk melakukan komputasi arbitrer secara paralel.<\/p>\n<\/li>\n<\/ul>\n Terlepas dari keserbagunaan dan kekuatannya, Dask dapat menghadirkan tantangan. Misalnya, beberapa algoritme tidak mudah diparalelkan dan mungkin tidak mendapatkan manfaat signifikan dari kemampuan komputasi terdistribusi Dask. Selain itu, seperti halnya sistem komputasi terdistribusi lainnya, komputasi Dask dapat dibatasi oleh bandwidth jaringan, terutama saat bekerja pada cluster.<\/p>\n Dask sering dibandingkan dengan kerangka komputasi terdistribusi lainnya, terutama Apache Spark. Berikut perbandingan singkatnya:<\/p>\nJenis-jenis Dask<\/h2>\n
\n
map<\/code>, filter<\/code>, groupby<\/code> pada objek Python umum. Ini sangat cocok untuk bekerja dengan data semi-terstruktur, seperti JSON atau XML.<\/p>\n<\/li>\nCara Menggunakan Dask<\/h2>\n
\n
Perbandingan Dengan Alat Serupa<\/h2>\n