Il data mining, spesso indicato come Knowledge Discovery in Databases (KDD), \u00e8 il processo di scoperta di modelli, correlazioni e anomalie all'interno di grandi set di dati per prevedere i risultati. Questa tecnica basata sui dati coinvolge metodi statistici, apprendimento automatico, intelligenza artificiale e sistemi di database, con l\u2019obiettivo di estrarre informazioni preziose dai dati grezzi.<\/p>\n
Il concetto di data mining esiste da molto tempo. Tuttavia, il termine \u201cdata mining\u201d \u00e8 diventato popolare nella comunit\u00e0 imprenditoriale e scientifica negli anni \u201990. L\u2019inizio del data mining pu\u00f2 essere fatto risalire agli anni \u201960, quando gli statistici usavano termini come \u201cData Fishing\u201d o \u201cData Dredging\u201d per descrivere i metodi con cui sfruttare i computer per cercare modelli nei set di dati.<\/p>\n
Con l\u2019evoluzione della tecnologia dei database e la crescita esponenziale dei dati negli anni \u201990, \u00e8 aumentata la necessit\u00e0 di strumenti di analisi dei dati pi\u00f9 avanzati e automatizzati. Il data mining \u00e8 emerso come una confluenza di statistica, intelligenza artificiale e apprendimento automatico per soddisfare questa crescente domanda. La prima conferenza internazionale sulla scoperta della conoscenza e sul data mining si \u00e8 tenuta nel 1995, segnando un'importante pietra miliare nello sviluppo e nel riconoscimento del data mining come disciplina.<\/p>\n
Il data mining prevede l'uso di sofisticati strumenti di analisi dei dati per scoprire modelli e relazioni validi precedentemente sconosciuti in grandi set di dati. Questi strumenti possono includere modelli statistici, algoritmi matematici e metodi di apprendimento automatico. Le attivit\u00e0 di data mining possono essere classificate in due categorie: Descrittive, che trovano modelli interpretabili nei dati, e Predittive, che vengono utilizzate per eseguire inferenze sui dati attuali o previsioni di risultati futuri.<\/p>\n
Il processo di data mining prevede generalmente diversi passaggi chiave, tra cui la pulizia dei dati (rimozione di rumore e incoerenze), l'integrazione dei dati (combinazione di pi\u00f9 fonti di dati), la selezione dei dati (scegliendo i dati rilevanti per l'analisi), la trasformazione dei dati (conversione dei dati in formati adatti per mining), data mining (applicazione di metodi intelligenti), valutazione dei modelli (identificazione dei modelli veramente interessanti) e presentazione della conoscenza (visualizzazione e presentazione della conoscenza estratta).<\/p>\n
Il processo di data mining inizia solitamente con la comprensione del problema aziendale e la definizione degli obiettivi di data mining. Successivamente viene preparato il set di dati, che pu\u00f2 comportare la pulizia e la trasformazione dei dati per portarli in una forma adatta al data mining.<\/p>\n
Successivamente, al set di dati preparato vengono applicate tecniche di data mining appropriate. Le tecniche utilizzate possono variare dalle analisi statistiche agli algoritmi di apprendimento automatico come alberi decisionali, clustering, reti neurali o apprendimento di regole di associazione, a seconda del problema in questione.<\/p>\n
Una volta eseguito l'algoritmo sui dati, i modelli e le tendenze risultanti vengono valutati rispetto agli obiettivi definiti. Se l'output non \u00e8 soddisfacente, gli esperti di data mining potrebbero dover modificare i dati o l'algoritmo ed eseguire nuovamente il processo fino al raggiungimento dei risultati desiderati.<\/p>\n
Le tecniche di data mining possono essere classificate a grandi linee nelle seguenti categorie:<\/p>\n
Classificazione<\/strong>: questa tecnica prevede il raggruppamento dei dati in diverse classi in base a un insieme predefinito di etichette di classe. Alberi decisionali, reti neurali e macchine vettoriali di supporto sono algoritmi comuni per questo.<\/p>\n<\/li>\n Raggruppamento<\/strong>: questa tecnica viene utilizzata per raggruppare oggetti dati simili in cluster, senza alcuna conoscenza preliminare di questi raggruppamenti. K-means, Hierarchical Clustering e DBSCAN sono algoritmi popolari per il clustering.<\/p>\n<\/li>\n Apprendimento delle regole associative<\/strong>: questa tecnica identifica relazioni o associazioni interessanti tra un insieme di elementi nel set di dati. Apriori e FP-Growth sono algoritmi comuni per questo.<\/p>\n<\/li>\n Regressione<\/strong>: prevede valori numerici in base a un set di dati. La regressione lineare e la regressione logistica sono algoritmi comunemente usati.<\/p>\n<\/li>\n Rilevamento anomalie<\/strong>: questa tecnica identifica modelli insoliti che non sono conformi al comportamento previsto. Z-score, DBSCAN e Isolation Forest sono algoritmi utilizzati frequentemente per questo.<\/p>\n<\/li>\n<\/ol>\n