Se l’analisi di grossi quantitativi di dati sta diventando sempre di più una necessità, non solo nel campo del marketing, ma anche di settori come la medicina e la diagnostica, da alcuni anni ci si sta ponendo il problema di quali siano le metodologie migliori per trarre quanta più informazione utile possibile dai grandi dataset che possono essere reperiti in vari modi su internet (ad esempio nel caso di analisi di social media) o fanno parte del patrimonio di un’azienda.

Viviamo infatti nell’era dei cosiddetti “Big Data”. Questo termine, coniato attorno al 2001, nasce per indicare enormi dataset che possono essere analizzati per estrarre informazione finora difficilmente accessibile e difficilmente processabile da un solo computer, per quanto potente, ma per analizzare i quali è necessario utilizzare più computer connessi in qualche modo tra loro in maniera coordinata.

Di conseguenza, anche dal lato dell'organizzazione dei dati sono nati dei framework particolari per la gestione di queste grosse quantità di dati, il più recente dei quali è Spark.

Spark, come vedremo, può essere utilizzato con molti linguaggi di programmazione, tra i quali Python è uno dei più importanti e utilizzati.

Dopo una parte introduttiva sui Big Data e sui framework che sono stati nel corso degli ultimi anni per gestirli, ci occuperemo quindi di vari argomenti e implementazione di esempi di codice per ognuna di queste due librerie. In particolare vedremo come implementare i più comuni algoritmi di machine learning: regressione, Support Vector Machines, Alberi di decisione, metodi Ensemble e Kmeans, oltre alla manipolazione dati e al calcolo delle statistiche di base. Vedremo poi l'implementazione di un'analisi testi tramite pyspark, come impostare un sistema di raccomandazione, e alcuni cenni su regole di associazione e streaming.