Traîtement distribué des données (Master 1 ISD)

TP noté du 25/10/2024

• Les consignes du TP noté
• Les résultats corrects pour l'exercice 1
• L'énoncé du TP noté
• L'archive à décompresser.
• Le formulaire de rendu.

But du cours

Ce cours a un objectif double :

1. Comprendre l'impact de la distribution sur le traîtement de données
2. Proposer une introductions à diverses technologies

Pré-requis

La compréhension du cours nécessite les pré-requis suivants :

• Niveau raisonnable en BD relationnelles (notions de bases, requête SQL, mises à jours)
• Niveau raisonnable de programmation en Java
• Bonne maîtrise de l'IDE Eclipse

Plan du cours, supports de cours et de TP

1. Présentation du cours
2. Problèmes de concurrence : Rappels Java, Threads, mmap (cours 1 en HTML5, cours 1 en PDF et version imprimable).
   L'énoncé du TP 1, le projet Eclipse à importer ainsi qu'un tutoriel basique pour Eclipse.
   Le corrigé du TP 1 ainsi que le code Eclipse à importer.
3. Contrôle de concurrence des bases de données relationnelles, (cours 2 en HTML5, cours 2 en PDF et version imprimable).
   L'énoncé du TP 2 ainsi que le projet Eclipse à importer.
   Le corrigé du TP 2 ainsi que le code Eclipse à importer.
4. Données massives : Map/Reduce, Hadoop, Hive, (cours 3 en HTML5, cours 3 en PDF et version imprimable).
   L'énoncé du TP 3 ainsi que le projet Eclipse à importer. Les fichiers texte.
   Le corrigé du TP 3 ainsi que le projet Eclipse à importer.
5. Données massives : Spark (cours 4 en HTML5, cours 4 en PDF et version imprimable).
   L'énoncé du TP 4 ainsi que les fichiers texte et le squelette de code Python.
   Le corrigé.
6. Un script pour lancer spark automatiquement. Il doit être placé dansle même répertoire que les fichiers textes à copier.

Examens passés

• Le texte de l'examen 2019-2020