Outils Hadoop pour le BigData

Extrait du cours outils Hadoop pour le BigData

……
1.4.8. Exemple
Une entreprise de téléphonie veut calculer la durée totale des appels téléphoniques d’un abonné à partir d’un ﬁchier CSV contenant tous les appels de tous les abonnés (n° d’abonné, n° appelé, date, durée d’appel). Ce problème se traite ainsi :
1. En entrée, on a le ﬁchier des appels (1 appel par ligne)
2. YARN lance une instance de la fonction Map par appel
3. Chaque instance de Map reçoit une paire (oﬀset, ligne) et produit une paire (n° abonné, durée) ou rien si c’est pas l’abonné qu’on veut. NB: l’oﬀset ne sert à rien ici.
4. YARN envoie toutes les paires vers une seule instance de Reduce (car il n’y a qu’une seule clé diﬀérente)
5. L’instance de Reduce additionne toutes les valeurs des paires qu’elle reçoit et produit une seule paire en sortie (n° abonné, durée totale)
1.4.9. Remarques
En réalité, il n’y a pas qu’une seule instance de Reduce, il y en a plusieurs pour faire la réduction de manière hiérarchique plus rapidement. Car en général l’algorithme qu’on écrit dans la fonction Reduce est une boucle sur chaque valeur reçue.
Également, en réalité, il n’y a pas une instance de Map par ligne de données. C’est la vision qu’on peut avoir en tant que programmeur, mais ça conduirait à un nombre gigantesque d’instances pour traiter un énorme ﬁchier. En fait, YARN instancie un seul «Mappeur» par machine esclave et appelle sa méthode map à plusieurs reprises pour traiter les données séquentiellement.
Ce cours fait plusieurs simpliﬁcations comme cela aﬁn de rester compréhensible pour une première découverte de Hadoop.
1.4.10. Étapes d’un job MapReduce
Un job MapReduce comprend plusieurs phases :
1. Prétraitement des données d’entrée, ex: décompression des ﬁchiers
2. Split: séparation des données en blocs traitables séparément et mise sous forme de (clé, valeur), ex: en lignes ou en n-uplets
3. Map: application de la fonction map sur toutes les paires (clé, valeur) formées à partir des données d’entrée, cela produit d’autres paires (clé, valeur) en sortie
4. Shuﬄe& Sort: redistribution des données aﬁn que les paires produites par Map ayant les mêmes clés soient sur les mêmes machines
5. Reduce: agrégation des paires ayant la même clé pour obtenir le résultat ﬁnal.
1.4.11. Un schéma
1.4.12. Explication du schéma
1. Au début, YARN se renseigne sur l’emplacement des données auprès du namenode et les fait décompresser si besoin par les datanodes concernés.
2. La phase Split consiste à construire des paires (n° de n-uplet, n-uplet) à fournir aux tâches Map.
3. YARN crée des processus Map sur chaque machine contenant une partie des données et leur fournit les paires de leur machine successivement.
4. Chaque tâche Map analyse ses données et émet ou non une paire. Ça peut consister à convertir des chaînes en nombres, à faire des calculs, etc.
1.4.13. Explication du schéma (suite)
5. YARN trie les paires sortant de Map selon leur clé et les envoie sur la machine qui fait tourner la tâche Reduce concernée par cette clé.
6. Les tâches Reduce reçoivent une liste de paires et eﬀectuent la réduction des valeurs (max, sum, avg. . . ). Elles émettent seulement la valeur ﬁnale. Elles peuvent être mises en cascade quand il y a beaucoup de paires.
1.5. Mise en œuvre dans Hadoop
1.5.1. Présentation
On arrive à la partie la plus technique : la programmation d’un job MapReduce en Java.
Il faut déﬁnir trois classes :
• Une sous-classe de Mapper. Elle contient une seule méthode, appelée map qui reçoit une paire clé-valeur en paramètre. Elle génère un nombre quelconque de paires.
………

Sommaire: Outils Hadoop pour le BigData

1 Principes du« Map-Reduce »
1.1 Introduction
1.1.1 Pourquoi ce cours ?
1.1.2 Préﬁxes multiplicatifs
1.1.3 Mégadonnées ?
1.1.4 Distribution données et traitements
1.1.5 Un Data Center
1.1.6 Serveur « lame »
1.1.7 Machines connectées
1.1.8 Hadoop ?
1.2 Hadoop File System (HDFS)
1.2.1 Présentation
1.2.2 Organisation des ﬁchiers
1.2.3 Commande hdfs dfs
1.2.4 Échanges entre HDFS et le monde
1.2.5 Comment fonctionne HDFS ?
1.2.6 Organisation des machines pour HDFS
1.2.7 Un schéma des nodes HDFS
1.2.8 Explications
1.2.9 Mode high availability
1.2.10 API Java pour HDFS
1.2.11 Exemple
1.2.12 Informations sur les ﬁchiers
1.2.13 Lecture d’un ﬁchier HDFS
1.2.14 Création d’un ﬁchier HDFS
1.2.15 Compilation et lancement
1.3 Algorithmes « Map-Reduce »
1.3.1 Principes
1.3.2 Exemple
1.3.3 Exemple (suite)
1.3.4 Exemple en python
1.3.5 Explications
1.3.6 Parallélisation de Map
1.3.7 Parallélisation de Reduce
1.3.8 Un schéma
1.4 YARN et MapReduce
1.4.1 Qu’est-ce que YARN ?
1.4.2 Qu’est-ce que MapReduce ?
1.4.3 Paires clé-valeurs
1.4.4 Map
1.4.5 Schéma de Map
1.4.6 Reduce
1.4.7 Schéma de Reduce
1.4.8 Exemple
1.4.9 Remarques
1.4.10 Étapes d’un job MapReduce
1.4.11 Un schéma
1.4.12 Explication du schéma
1.4.13 Explication du schéma (suite)
1.5 Mise en œuvre dans Hadoop
1.5.1 Présentation
1.5.2 Squelette de Mapper
1.5.3 Explications
1.5.4 Types de données MapReduce
1.5.5 Interface Writable
1.5.6 Classe Text
1.5.7 Squelette de Reducer
1.5.8 Explications
1.5.9 Squelette de Traitement
1.5.10 Squelette de Traitement (cœur)
1.5.11 Explications
1.5.12 Compilation et lancement d’un traitement
2 Approfondissement sur MapReduce
2.1 Jobs MapReduce
2.1.1 Création et lancement d’un Job
2.1.2 Conﬁguration d’un Job
2.1.3 Spéciﬁcation des entrées
2.1.4 Fichiers d’entrée
2.1.5 Format des données d’entrée
2.1.6 Autres formats d’entrée
2.1.7 Changement du séparateur de KeyValueTextInputFormat
2.1.8 Format des données intermédiaires
2.1.9 Format des données de sortie
2.1.10 Fichiers de sortie
2.1.11 Post-traitement des résultats
2.2 Types des clés et valeurs
2.2.1 Type Writable
2.2.2 Classe ArrayWritable
2.2.3 Emploi de cette classe
2.2.4 Méthodes supplémentaires
2.2.5 Interface Writable
2.2.6 Exemple d’un Writable
…….

Si le lien ne fonctionne pas correctement, veuillez nous contacter (mentionner le lien dans votre message)
Outils Hadoop pour le BigData (1,19 MO) (Cours PDF)