Νικήτας Χατζής - 03400237
Κωσταντίνος Χριστογεώργος - 03400239
Για να μπορεί να τρέξει ο κώδικας απαιτούνται τα παρακάτω βήματα:
- Εγκατάσταση spark και hdfs με βάση τις οδηγίες που δόθηκαν στο εργαστήριο 1. Στις οδηγίες αυτές συμπεριλαμβάνεται και η εγκατάσταση της python 3.8.
- Εγκατάσταση geopy με την εντολή
python3.9 -m pip install geopy
- Δημιουργία directory στο hdfs, φόρτωση αρχείων στο VM (π.χ. με SCP) και μεταφορά αρχείων στο hdfs με βάση τις οδηγίες που υπάρχουν στο report (Ζητούμενο 2)
- Μεταφορά αρχείων κώδικα σε κάποιο folder στο VM (π.χ. με SCP)
- Για να τρέξει ο κώδικας που μετατρέπει τα
.csv
αρχεία σε parquet files:spark-submit csv2parquet.py
- Για να τρέξει κάποιο αρχείο κώδικα:
spark-submit <file_name>.py