Στην παρούσα εργασία, παρουσιάζουμε και εξετάζουμε τρόπους για την αποδοτικότερη εκτέλεση γενικών συνδέσεων σε ένα σύστημα Spark που επεκτείνει το προγραμματιστικό μοντέλο MapRecuce. Συγκεκριμένα, επικεντρωνόμαστε στη βελτιστοποίηση του ποσοστού του κόστους επικοινωνίας, που προκύπτει από την υλοποίηση γενικών συνδέσεων στο σύστημα Spark και στην αποδοτικότερη κατανομή του φόρτου εργασίας, που επηρεάζεται από τη διασπορά των δεδομένων μέσα σε ένα κατανεμημένο σύστημα. Παράλληλα εκτελούμε πειράματα σε μεγάλα σύνολα δεδομένων και παρουσιάζουμε τα ευρήματα, που δείχνουν το ποσοστό της βελτιστοποίησης που έχει επιτευχθεί. Τέλος, αναφέρουμε μία ολοκληρωμένη μεθοδολογία για την εισαγωγή δεδομένων σε ένα σύστημα Spark και τη χρήση των κατάλληλων τεχνικών για τη μείωση του κόστους επικοινωνίας κατά την εκτέλεση γενικών συνδέσεων.

In this work, we present and examine ways for a more efficient run of theta joins in a Spark system which extends the MapReduce programming model. Specifically, we focus on the optimization of the percentage of the communication cost, which occurs by performing theta joins in a Spark system and on the efficiency of the workload, which is affected by the dispersion of the data in a distributed system. Meanwhile, we conduct experiments in big sets of data and we present the findings, which show the optimization percentage that has been accomplished. Finally, we mention a methodology for inserting data in a Spark system and using appropriate techniques in order to reduce the communication cost that occurs during the execution of natural join tasks.