Accueil / Formations

Formations

Développer des applications pour Spark avec Hadoop Cloudera Mixte : présentiel / à distance

Dernière mise à jour : 07/06/2021

Formation officielle Cloudera Developer Training for Spark and Hadoop
Type : Stage pratique en présentiel
Description
Apache Spark s'est imposé ces dernières années comme le framework big data de référence, et comme un outil central de l'écosystème hadoop. Cette formation intensive emmène le participant de la découverte de Spark jusqu'à l'utilisation de ses fonctionnalités avancées.

La démarche pédagogique équilibre apports théoriques sur les structures fondamentales Spark (RDD, DataFrame, DataSets) et de nombreux travaux pratiques. Les participants manipulent la console interactive pour prototyper. Ensuite, ils codent, déploient et monitorent des applications sur un cluster. Le programme intègre les évolutions majeures de la nouvelle version Spark 2, et des cas d'usages complexes de traitement en flux (streaming).

Au cours de la formation, un panorama de l'écosystème hadoop est dressé, en insistant sur les concepts essentiels des environnements distribués : stockage sur HDFS, calcul avec Map-Reduce et gestion des ressources via YARN.

Des compléments sur l'ingestion de données avec Sqoop et Kafka sont proposés, afin que les participants maitrisent l'ensemble des outils nécessaires pour développer des applications Spark. Ils disposent ainsi d'une expertise complète pour préparer des données massives et les analyser sur un cluster hadoop.
Objectifs de la formation
  • Identifier et utiliser les outils appropriés à chaque situation dans un écosystème hadoop
  • Utiliser Apache Spark et l'intégrer dans l'écosystème hadoop
  • Utiliser Sqoop, Kafka, Flume, Hive et Impala
Certification
Cette formation permet de préparer la certification CCA Spark and Hadoop Developer.
L'inscription à la certification vous sera proposée de façon optionnelle au tarif de 300,00 € HT par tentative.
Public visé
Développeur
Analyste
Prérequis
Être à l'aise pour programmer dans l'un de ces langages : Scala et/ou Python
Connaissance de base des lignes de commande Linux requise
La connaissance de base du SQL est un plus
Aucune expérience préalable avec hadoop n'est nécessaire
Modalités pédagogiques
Formation avec apports théoriques, échanges sur les contextes des participants et retours d'expérience pratique du formateur, complétés de travaux pratiques et de mises en situation. Les exemples Apache Spark et les exercices de "hands-on" sont présentés avec Scala et Python. A la suite de la formation, les stagiaires auront la possibilité de passer l'examen Certification "CCA Spark and Hadoop Developer" de Cloudera.
Profil du / des Formateur(s)
Toutes nos formations sont animées par des consultants-formateurs expérimentés et reconnus par leurs pairs.
Modalités d'évaluation et de suivi
L'évaluation des acquis se fait tout au long de la session au travers des ateliers et des mises en pratique. Une évaluation à chaud sur la satisfaction des stagiaires est réalisée systématiquement en fin de session et une attestation de formation est délivrée aux participants mentionnant les objectifs de la formation, la nature, le programme et la durée de l'action de formation ainsi que la formalisation des acquis.
Programme
Jour 1

1.Introduction à Hadoop et à son écosystème
1.1.Introduction générale à hadoop
1.2.Traitement de données
1.3.Introduction aux exercices pratiques

2.HDFS : le système de fichiers Hadoop
2.1.Les composants d'un cluster hadoop
2.2.L'architecture d'HDFS
2.3.Utiliser HDFS

3.Le traitement distribué sur un cluster Hadoop
3.1.L'architecture de YARN
3.2.Travailler avec YARN

4.Les bases de Spark
4.1.Introduction à Spark
4.2.Démarrer et utiliser la console Spark
4.3.Introduction aux Datasets et DataFrames Spark
4.4.Les opérations sur les DataFrames

5.Manipulation des dataframes et des schemas
5.1.Créer des DataFrames depuis diverses sources de données
5.2.Sauvegarder des DataFrames
5.3.Les schémas des DataFrames
5.4.Exécution gloutonne et paresseuse de Spark

Jour 2

6.Analyser des données avec des requêtes sur dataframes
6.1.Requêter des DataFrames avec des expressions sur les colonnes nommées
6.2.Les requêtes de groupement et d'aggrégation
6.3.Les jointures

7.Les RDD - Structure fondamentale de Spark
7.1.Introduction aux RDD
7.2.Les sources de données de RDD
7.3.Créer et sauvegarder des RDD
7.4.Les opérations sur les RDD

8.Transformer les données avec des RDD
8.1.Écrire et passer des fonctions de transformation
8.2.Fonctionnement des transformations de Spark
8.3.Conversion entre RDD et DataFrames

9.Agrégation de données avec les RDD de paires
9.1.Les RDD clé-valeur
9.2.Map-Reduce : principe et usage dans Spark
9.3.Autres opérations sur les RDD de paires

Jour 3

10.Requêtage de tables et de vues avec Spark SQL
10.1.Requêter des tables en Spark en utilisant SQL
10.2.Requêter des fichiers et des vues
10.3.L'API catalogue de Spark

11.Travailler avec des Datasets Spark en Scala
11.1.Les différences entre Datasets et DataFrames
11.2.Créer des Datasets
11.3.Charger et sauvegarder des Datasets
11.4.Les opérations sur les Datasets

12.Écrire, configurer et lancer des applications Spark
12.1.Écrire une application Spark
12.2.Compiler et lancer une application
12.3.Le mode de déploiement d'une application
12.4.L'interface utilisateur web des applications Spark
12.5.Configurer les propriétés d'une application

13.Le traitement distribué avec Spark
13.1.Rappels sur le fonctionnement de Spark avec YARN
13.2.Le partitionnement des données dans les RDD
13.3.Exemple : le partitionnement dans les requêtes
13.4.Jobs, étapes et tâches
13.5.Exemple : le plan d'exécution de Catalyst
13.6.Exemple : le plan d'exécution de RDD

14.Persistance de la donnée distribuée
14.1.La persistance des DataFrames et des Datasets
14.2.Les niveaux de persistances
14.3.Voir les RDD persistés

15.Les algorithmes itératifs avec Spark
15.1.D'autres cas d'usages courants de Spark
15.2.Les algorithmes itératifs en Spark
15.3.Machine Learning avec Spark
15.4.Exemple : K-means

Jour 4

16.Introduction à Spark structured streaming
16.1.Introduction à Spark Streaming
16.2.Créer des streaming DataFrames
16.3.Transformer des DataFrames
16.4.Exécuter des requêtes de streaming

17.Structured streaming avec Kafka
17.1.Introduction
17.2.Recevoir des messages Kafka
17.3.Envoyer des messages Kafka

18.Aggrégation et jointures sur des streaming dataframes
18.1.Aggregation sur des streaming DataFrames
18.2.Jointure sur des streaming DataFrames

Suppléments

19.Le traitement de messages avec Kafka
19.1.Introduction à Kafka
19.2.Passer à l'échelle avec Kafka
19.3.L'architecture d'un cluster Kafka
19.4.La ligne de commande Kafka
Exposé (%)
40
Pratique (%)
50
Echanges (%)
10

M'inscrire à la formation

Lieu :
Classe virtuelle
Classe virtuelle
Classe virtuelle
Détail des horaires :
Demander un devis
Session sélectionnée
  • 22/11/21 → 25/11/21
  • Détails :

    22/11/21 : 09:30 → 12:30
    13:30 → 17:30
    23/11/21 : 09:00 → 12:30
    13:30 → 17:00
    24/11/21 : 09:00 → 12:30
    13:30 → 17:00
    25/11/21 : 09:00 → 12:30
    13:30 → 17:00
Prochaines Sessions
  • 24/08/21 → 27/08/21 À distance Classe virtuelle
  • 18/10/21 → 21/10/21 À distance Classe virtuelle
Dans la même catégorie

Catalogue de formation propulsé par Dendreo,
logiciel spécialisé pour centres et organismes de formation

OCTO Academy respecte votre vie privée

Ce site web stocke des informations vous concernant via le dépôt de cookie afin de mesurer l’audience du site. Ces données de navigation sont anonymisées.

En cliquant sur « OK pour moi », vous manifestez votre consentement pour le dépôt de ces cookies.

Lire la politique de confidentialité

À propos des cookies

Sur ce site, nous utilisons des cookies pour mesurer notre audience, entretenir la relation avec vous et vous adresser de temps à autre du contenu qualitif ainsi que de la publicité. Vous pouvez sélectionner ici ceux que vous autorisez à rester ici.

Cookies