Open Studio for Data Quality, un des principaux outils de profilage de données open source du marché. Vous apprendrez à manipuler efficacement cet outil de Talend afin d’évaluer le niveau de qualité des données de votre système d’information. Vous mettrez en œuvre des analyses, et mesurerez la conformité des données aux normes internes ou externes et définirez des stratégies de nettoyage des données erronées.
Description
Durée : 28 heures
Modalités techniques d’évaluation : Évaluation des connaissances par QCM, évaluation des compétences au travers de travaux pratiques et de cas d’études. Contrôle de l’acquisition des connaissances et des compétences pendant la formation par le formateur.
Moyens pédagogiques : Apports théoriques réalisés en classe et complétés par de nombreux travaux pratiques permettent aux participants de disposer d’une expérience concrète. A l’issue des sessions magistrales, réalisation de cas d’études tutorés.
Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
- Se connecter aux sources de données, produire des statistiques, identifier les données à profiler
- Choisir les différents types d’indicateurs et d’analyses adaptés aux données à contrôler
- Mettre en œuvre des analyses complexes permettant de vérifier des règles métiers
- Définir des stratégies de correction des données erronées via des jobs de Talend Data Integration
Méthodes pédagogiques
La problématique de la qualité des données
- L’évaluation de la qualité des données d’un système d’information.
- Critères fondamentaux : exhaustivité, précision et intégrité des données.
- Positionnement du produit Talend Open Studio for Data Quality dans la suite Talend.
Travaux pratiques
Installation du produit, configuration des préférences.
Les concepts fondamentaux de TOS for Data Quality
- Les métadonnées : connexions aux bases, fichiers délimités et fichiers Excel.
- Présentation des différents types d’analyses.
- Les outils et indicateurs d’aide à la réalisation des analyses.
- L’explorateur de données.
Travaux pratiques
Effectuer une première analyse de colonne sur des données issues d’un fichier csv, exploitation des résultats obtenus.
Les analyses simples
- Recherche de doublons, respect de contraintes d’intervalle, format de date, d’email…
- Métriques d’une table, dépendances fonctionnelles entre colonnes.
- Identification des redondances de valeurs.
- Contrôles de cohérence entre clefs étrangères et primaires.
- Utiliser les indicateurs, les modèles, les règles et les fichiers sources.
Travaux pratiques
Réaliser une analyse de chaque type sur un jeu de données partiellement erronées.
Les analyses avancées
- Analyse de schéma et de la structure des tables via l’explorateur de données.
- Analyse multitable et multicolonne, respect de règles métiers.
- Recherche et visualisation de corrélation entre colonnes.
- Créer ses propres indicateurs et fichiers sources.
- Gérer les analyses.
Travaux pratiques
Créer une règle métier complexe impliquant plusieurs tables et l’associer à une tâche. Publier la règle dans la forge Talend.
Eléments avancés
- Utiliser des variables de contexte.
- Créer des modèles basés sur des expressions régulières.
- Exporter/importer les analyses et les données analysées.
- Corriger les données erronées avec Talend Data Integration.
Travaux pratiques
Paramétrer les métadonnées et les analyses à l’aide de variables de contexte, exporter les données analysées pour les corriger dans Talend Data Integration.
