Skip to content

Pelellone/HandsOnSpark

Repository files navigation

Hands on Spark - Tor Vergata

In queste poche righe vi introduco il codice visto a lezione. Il progetto è composto da due classi Java, un file di properties per log4j, ed essendo un progetto Maven anche il file pom.xml prontamente configurato per l'utilizzo. Per eseguire il progetto basta farlo girare come un'applicazione Java qualsiasi.

Per ottenere un jar eseguibile basta usare il comando mvn clean install.

Struttura del progetto

La classe main del progetto è strutturata in blocchi formativi eseguibili singolarmente. In ogni blocco vengono spiegate funzioni di trasformazione, azione e la logica per cui viene svolta quella determinata azione. Ogni blocco prende un input da oggetto Java o da file locale e a seguito di una o più operazioni tira fuori un risultato.

Utenti Windows

Per gli utenti windows all'interno è presente anche il file winutils.exe da copiare nella cartella di hadoop puntata nelle prime righe del main.

About

Spark tutorial

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages