Dask, Python'da paralel hesaplamaya y\u00f6nelik g\u00fc\u00e7l\u00fc, esnek bir a\u00e7\u0131k kaynakl\u0131 k\u00fct\u00fcphanedir. Tek bir bilgisayardan bir sunucu k\u00fcmesine kadar \u00f6l\u00e7eklendirilmek \u00fczere tasarlanan Dask, analitik i\u00e7in geli\u015fmi\u015f paralellik sa\u011flayarak kullan\u0131c\u0131n\u0131n bir\u00e7ok \u00e7ekirdekte b\u00fcy\u00fck hesaplamalar yapmas\u0131na olanak tan\u0131r. Dask, b\u00fcy\u00fck veri i\u015fleme i\u00e7in pop\u00fcler bir se\u00e7imdir ve Python gerektiren paralel hesaplama g\u00f6revleri i\u00e7in Apache Spark'a bir alternatif sa\u011flar.<\/p>\n
Proje a\u00e7\u0131k kaynakl\u0131 bir giri\u015fim olarak ba\u015flad\u0131 ve ilk olarak 2014 y\u0131l\u0131nda yarat\u0131c\u0131s\u0131 Matthew Rocklin taraf\u0131ndan duyuruldu. O zamanlar Anaconda Inc. ile \u00e7al\u0131\u015fan bir geli\u015ftirici olan Rocklin, Python'da, \u00f6zellikle de NumPy ve Pandas gibi pop\u00fcler k\u00fct\u00fcphanelerde bellek i\u00e7i i\u015flemenin hesaplama s\u0131n\u0131rlamalar\u0131n\u0131 ele almaya \u00e7al\u0131\u015f\u0131yordu. Bu ara\u00e7lar, bellekten daha b\u00fcy\u00fck veri k\u00fcmeleriyle verimli bir \u015fekilde \u00e7al\u0131\u015fmakta zorlan\u0131yordu; bu, Dask'\u0131n \u00fcstesinden gelmeye \u00e7al\u0131\u015ft\u0131\u011f\u0131 bir s\u0131n\u0131rlamayd\u0131.<\/p>\n
Dask, paralel ve bellekten b\u00fcy\u00fck hesaplamalar\u0131 daha k\u00fc\u00e7\u00fck g\u00f6revlere b\u00f6lerek, bu g\u00f6revleri paralel bir \u015fekilde y\u00fcr\u00fcterek ve bellek kaynaklar\u0131n\u0131 do\u011fru \u015fekilde y\u00f6neterek kolayla\u015ft\u0131r\u0131r. Dask bunu yapmak i\u00e7in basit bir strateji kullan\u0131r: ger\u00e7ekle\u015ftirilecek hesaplamalar\u0131n s\u0131ras\u0131n\u0131 tan\u0131mlayan bir g\u00f6rev planlama grafi\u011fi, y\u00f6nlendirilmi\u015f bir asiklik grafik (DAG) olu\u015fturur.<\/p>\n
Dask \u00f6z\u00fcnde iki bile\u015fen etraf\u0131nda in\u015fa edilmi\u015ftir:<\/p>\n
Dinamik g\u00f6rev planlama: Bu, hesaplama i\u00e7in optimize edilmi\u015ftir ve b\u00fcy\u00fck veri yap\u0131lar\u0131n\u0131 i\u015fleyebilir.<\/p>\n<\/li>\n
\u201cB\u00fcy\u00fck Veri\u201d koleksiyonlar\u0131: Bu diziler, listeler ve panda veri \u00e7er\u00e7evelerini taklit eder ancak belle\u011fe s\u0131\u011fmayan veri k\u00fcmelerini daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir par\u00e7alara b\u00f6lerek paralel olarak \u00e7al\u0131\u015fabilir.<\/p>\n<\/li>\n<\/ol>\n
Dask, g\u00f6rev grafiklerini paralel olarak y\u00fcr\u00fctmek i\u00e7in da\u011f\u0131t\u0131lm\u0131\u015f bir zamanlay\u0131c\u0131 kullan\u0131r. Bu zamanlay\u0131c\u0131, g\u00f6revlerin y\u00fcr\u00fct\u00fclmesini koordine eder ve bir k\u00fcmedeki \u00e7al\u0131\u015fan d\u00fc\u011f\u00fcmler aras\u0131ndaki ileti\u015fimi y\u00f6netir. Zamanlay\u0131c\u0131 ve \u00e7al\u0131\u015fanlar, ayr\u0131 bir Python s\u00fcreci olarak uygulanan merkezi bir 'da\u011f\u0131t\u0131lm\u0131\u015f zamanlay\u0131c\u0131' arac\u0131l\u0131\u011f\u0131yla ileti\u015fim kurar.<\/p>\n
Bir hesaplama g\u00f6nderildi\u011finde Dask ilk \u00f6nce hesaplamay\u0131 temsil eden bir g\u00f6rev grafi\u011fi olu\u015fturur. Grafikteki her d\u00fc\u011f\u00fcm bir Python fonksiyonunu temsil ederken her kenar, fonksiyonlar aras\u0131nda aktar\u0131lan verileri (genellikle bir Python nesnesini) temsil eder.<\/p>\n
Dask da\u011f\u0131t\u0131lm\u0131\u015f zamanlay\u0131c\u0131 daha sonra grafi\u011fi daha k\u00fc\u00e7\u00fck, daha y\u00f6netilebilir par\u00e7alara b\u00f6ler ve bu par\u00e7alar\u0131 k\u00fcmedeki \u00e7al\u0131\u015fan d\u00fc\u011f\u00fcmlere atar. Her \u00e7al\u0131\u015fan d\u00fc\u011f\u00fcm kendisine atanan g\u00f6revleri yerine getirir ve sonu\u00e7lar\u0131 zamanlay\u0131c\u0131ya geri bildirir. Zamanlay\u0131c\u0131, grafi\u011fin hangi b\u00f6l\u00fcmlerinin tamamland\u0131\u011f\u0131n\u0131 ve hangilerinin hala beklemede oldu\u011funu takip ederek planlama kararlar\u0131n\u0131 hesaplaman\u0131n durumuna ve k\u00fcmede mevcut kaynaklara g\u00f6re ayarlar.<\/p>\n
Paralellik<\/strong>: Dask, modern \u00e7ok \u00e7ekirdekli i\u015flemcilerin ve da\u011f\u0131t\u0131lm\u0131\u015f ortamlar\u0131n g\u00fcc\u00fcnden yararlanarak i\u015flemleri paralel olarak y\u00fcr\u00fctebilir.<\/p>\n<\/li>\n \u00d6l\u00e7eklenebilirlik<\/strong>: Tek makineden k\u00fcme tabanl\u0131 hesaplamalara sorunsuz bir \u015fekilde \u00f6l\u00e7eklenebilir.<\/p>\n<\/li>\n Entegrasyon<\/strong>: Dask, Pandas, NumPy ve Scikit-Learn gibi mevcut Python kitapl\u0131klar\u0131yla iyi bir \u015fekilde b\u00fct\u00fcnle\u015fir.<\/p>\n<\/li>\n Esneklik<\/strong>: Veri analiti\u011fi ve veri d\u00f6n\u00fc\u015f\u00fcm\u00fcnden makine \u00f6\u011frenimine kadar \u00e7ok \u00e7e\u015fitli g\u00f6revleri yerine getirebilir.<\/p>\n<\/li>\n Bellekten daha b\u00fcy\u00fck veri k\u00fcmelerini i\u015fleme<\/strong>: Dask, verileri daha k\u00fc\u00e7\u00fck par\u00e7alara b\u00f6lerek belle\u011fe s\u0131\u011fmayan veri k\u00fcmelerini i\u015fleyebilir.<\/p>\n<\/li>\n<\/ul>\n Dask temelde tek bir kitapl\u0131k olsa da tan\u0131d\u0131k Python veri yap\u0131lar\u0131n\u0131 taklit eden ve geni\u015fleten \u00e7e\u015fitli veri yap\u0131lar\u0131 veya 'koleksiyonlar' sa\u011flar. Bunlar \u015funlar\u0131 i\u00e7erir:<\/p>\n Dask Dizisi<\/strong>: NumPy'nin ndarray aray\u00fcz\u00fcn\u00fc taklit eder ve NumPy'nin API'sinin \u00e7o\u011funu destekleyebilir. Belle\u011fe s\u0131\u011fmayan b\u00fcy\u00fck veri k\u00fcmeleri i\u00e7in tasarlanm\u0131\u015ft\u0131r.<\/p>\n<\/li>\n Dask DataFrame<\/strong>: Pandas DataFrame aray\u00fcz\u00fcn\u00fc yans\u0131t\u0131r ve Pandas API'sinin bir alt k\u00fcmesini destekler. Pandalara benzer bir aray\u00fcze sahip, bellekten b\u00fcy\u00fck veri k\u00fcmelerini i\u015flemek i\u00e7in kullan\u0131\u015fl\u0131d\u0131r.<\/p>\n<\/li>\n Dask \u00c7anta<\/strong>: Gibi i\u015flemleri uygular Dask ML<\/strong>: Di\u011fer Dask koleksiyonlar\u0131yla iyi entegre olan \u00f6l\u00e7eklenebilir makine \u00f6\u011frenimi algoritmalar\u0131 sa\u011flar.<\/p>\n<\/li>\n<\/ol>\n Dask \u00e7ok y\u00f6nl\u00fcd\u00fcr ve a\u015fa\u011f\u0131dakiler de dahil olmak \u00fczere \u00e7e\u015fitli uygulamalar i\u00e7in kullan\u0131labilir:<\/p>\n Veri d\u00f6n\u00fc\u015f\u00fcm\u00fc ve \u00f6n i\u015fleme: Dask'\u0131n DataFrame ve dizi yap\u0131lar\u0131, b\u00fcy\u00fck veri k\u00fcmelerinin paralel olarak verimli bir \u015fekilde d\u00f6n\u00fc\u015ft\u00fcr\u00fclmesine olanak tan\u0131r.<\/p>\n<\/li>\n Makine \u00d6\u011frenimi: Dask-ML, \u00f6zellikle b\u00fcy\u00fck veri k\u00fcmeleriyle u\u011fra\u015f\u0131rken yararl\u0131 olabilecek bir dizi \u00f6l\u00e7eklenebilir makine \u00f6\u011frenimi algoritmas\u0131 sa\u011flar.<\/p>\n<\/li>\n Sim\u00fclasyonlar ve karma\u015f\u0131k hesaplamalar: Dask gecikmeli aray\u00fcz\u00fc, iste\u011fe ba\u011fl\u0131 hesaplamalar\u0131 paralel olarak ger\u00e7ekle\u015ftirmek i\u00e7in kullan\u0131labilir.<\/p>\n<\/li>\n<\/ul>\n \u00c7ok y\u00f6nl\u00fcl\u00fc\u011f\u00fcne ve g\u00fcc\u00fcne ra\u011fmen Dask zorluklarla kar\u015f\u0131la\u015fabilir. \u00d6rne\u011fin, baz\u0131 algoritmalar kolayl\u0131kla paralelle\u015ftirilemez ve Dask'\u0131n da\u011f\u0131t\u0131lm\u0131\u015f bilgi i\u015flem yeteneklerinden \u00f6nemli \u00f6l\u00e7\u00fcde yararlanamayabilir. \u00dcstelik herhangi bir da\u011f\u0131t\u0131lm\u0131\u015f bilgi i\u015flem sisteminde oldu\u011fu gibi, Dask hesaplamalar\u0131 da \u00f6zellikle bir k\u00fcme \u00fczerinde \u00e7al\u0131\u015f\u0131rken a\u011f bant geni\u015fli\u011fi ile s\u0131n\u0131rlanabilir.<\/p>\n Dask s\u0131kl\u0131kla di\u011fer da\u011f\u0131t\u0131lm\u0131\u015f bilgi i\u015flem \u00e7er\u00e7eveleriyle, \u00f6zellikle de Apache Spark ile kar\u015f\u0131la\u015ft\u0131r\u0131l\u0131r. \u0130\u015fte k\u0131sa bir kar\u015f\u0131la\u015ft\u0131rma:<\/p>\nDask T\u00fcrleri<\/h2>\n
\n
map<\/code>, filter<\/code>, groupby<\/code> genel Python nesnelerinde. JSON veya XML gibi yar\u0131 yap\u0131land\u0131r\u0131lm\u0131\u015f verilerle \u00e7al\u0131\u015fmak i\u00e7in \u00e7ok uygundur.<\/p>\n<\/li>\nDask'\u0131 Kullanma Yollar\u0131<\/h2>\n
\n
Benzer Ara\u00e7larla Kar\u015f\u0131la\u015ft\u0131rmalar<\/h2>\n