L’ETL Talend permet d’ajouter simplement de nouvelles fonctions et composants afin de réaliser des processus complexes. Ce stage vous permettra de prendre en main les fonctionnalités avancées de Talend Open Studio, afin d’aboutir à une mise en place optimisée et fiable des flux de données.
Description
Durée : 28 heures
Modalités techniques d’évaluation : Évaluation des connaissances par QCM, évaluation des compétences au travers de travaux pratiques et de cas d’études. Contrôle de l’acquisition des connaissances et des compétences pendant la formation par le formateur.
Moyens pédagogiques : Apports théoriques réalisés en classe et complétés par de nombreux travaux pratiques permettent aux participants de disposer d’une expérience concrète. A l’issue des sessions magistrales, réalisation de cas d’études tutorés.
Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
- Créer et utiliser des routines
- Maîtriser les composants avancés de TOS
- Manipuler des structures de données complexes
- Suivre et optimiser les performances des jobs Talend
- Debugger et déployer des jobs en production
- Connaître la communauté autour de Talend et savoir interagir avec elle
Méthodes pédagogiques
Java et les routines
- Présentation des principes d’implémentation en Java.
- Consulter le code Java associé à un job.
- Les composants Talend Java.
- Création et usage de routines.
- Anatomie et création d’un composant.
Exercice
Utilisation de tMemorizeRows, tJavaFlex, tJava. Ecrire une routine et l’utiliser dans un job.
Manipulation avancée des données
- Composants de connexion – déconnexion.
- Transactions : gestion du commit et du rollback.
- Appel d’une procédure stockée.
- Mettre en oeuvre les composants ELT.
- Méthodes « Slowly Changing dimension ».
- Liaison Père / Fils : partage de connexion, partage de variables et valeurs de retour.
Exercice
Mutualisation des connexions, utilisation des Rollback. Création de Job pour détecter des changements dans des sources de données
Manipulation de structures complexes
- Interagir avec des Services Web
- Manipuler des flux XML.
- Découvrir les composants JSON.
- Utiliser les expressions régulières.
Etude de cas
Utilisation de composant Web services dans un Job. Créer des fichiers XML à partir d’un fichier plat, Utiliser les composants ELT MySQL. Générer un objet JSON simple. Utiliser des expressions régulières.
Monitoring et optimisation des performances
- Debugging.
- Monitorer la performance des jobs.
- Mettre en place son propre système de journalisation.
- Optimiser la performance des jobs.
Exercice
Ajouter des composants de monitoring à un job, mettre en place son système de logs, utiliser les buffers.
Déploiement en production
- Les contextes et leur gestion.
- Lancer un job hors de TOS.
- Programmer l’exécution d’un job sous Windows.
- Programmer l’exécution d’un job sous Linux.
- Talend Enterprise et la TAC.
Exercice
Associer un groupe de contextes à un job. Exporter le premier job créé hors de TOS, planifier l’exécution du job exporté via la planificateur de tâches Windows.
