Data Engineering
Construisez des plateformes de données évolutives avec du warehousing moderne, des pipelines batch et streaming, de l’orchestration et des workflows de transformation.
CHF 1'250
Formation en direct avec un formateur, publique ou privée.
CHF 2'500
Sur site en session publique ou privée.
Sur demande
Formation privée adaptée à votre équipe d'ingénierie.
À qui s’adresse cette formation ?
Data Engineers
Approfondissez vos compétences pratiques en warehousing, transformation, orchestration, traitement Spark et conception de pipelines.
Professionnels du logiciel intéressés par les plateformes de données
Passez du génie logiciel à l’architecture et aux outils des plateformes de données modernes.
Chercheurs intéressés par le data engineering et la gestion des données
Reliez les concepts de gestion des données à des workflows pratiques de warehouse, de traitement et d’orchestration.
Ce que vous apprendrez
Comprendre les fondamentaux du data engineering
Découvrez les responsabilités, architectures et approches de modélisation des plateformes de données cloud modernes.
Construire des pipelines batch et de transformation
Utilisez Spark, dbt et Airflow pour ingérer, transformer, orchestrer et mesurer des workflows de données évolutifs.
Appliquer les modèles modernes de warehousing
Concevez des environnements Snowflake, des configurations de sécurité et des modèles de données structurés.
Relier sujets avancés et reporting
Réunissez streaming, visualisation et intégration finale dans une vision complète de la plateforme de données.
Ce que les participants doivent connaître
Les participants doivent avoir au moins un an d'expérience en programmation, connaître les bases de SQL et la ligne de commande, et idéalement avoir déjà utilisé Python.
Avant le début du cours
Préparez-vous à travailler sur le warehousing, la transformation, le traitement avec Spark, l'orchestration et une pipeline finale.
Programme de Data Engineering
Le cours est disponible en ligne, sur site et en formation privée. Les sessions publiques sont maintenues à partir d'un nombre minimal de participants. La version privée peut être adaptée au warehouse et à la stack d'orchestration de l'équipe.
Fondamentaux du data engineering
Jour 1
Bases d'architecture, Snowflake, modélisation et premiers workflows de transformation.
Fondamentaux du data engineering
Jour 1
Bases d'architecture, Snowflake, modélisation et premiers workflows de transformation.
- Responsabilités des Data Engineers
- Architecture des systèmes de données
- Tendances du secteur
- Métriques de performance
- Cloud data warehousing
- Modélisation relationnelle et dimensionnelle
- Schémas en étoile et en flocon
- Normalisation
- Configurer Snowflake avec sécurité et contrôle d'accès
- Créer un premier modèle de données
- Configurer dbt pour les transformations et le versionnement
- Préparer l'environnement de développement
Traitement des données et gestion des workflows
Jour 2
Traitement distribué, ingestion, orchestration, optimisation de Spark et construction de pipelines.
Traitement des données et gestion des workflows
Jour 2
Traitement distribué, ingestion, orchestration, optimisation de Spark et construction de pipelines.
- Présentation d'Apache Spark
- Principes du calcul distribué
- Optimisation des performances
- Opérations DataFrame et transformations RDD
- Gestion des erreurs, évolutivité et mémoire
- Modèles d'ingestion
- Fondamentaux d'Apache Airflow
- Conception des DAG, planification, monitoring et dépendances
- Réaliser des transformations avec Spark
- Intégrer Spark et Snowflake
- Construire une pipeline batch avec Spark, dbt et Airflow
- Appliquer revue de code, benchmarks, gestion des erreurs et optimisation
Sujets avancés et projet final
Jour 3
Streaming, reporting et intégration de plusieurs outils.
Sujets avancés et projet final
Jour 3
Streaming, reporting et intégration de plusieurs outils.
- Traitement des données en temps réel
- Architecture Spark Streaming
- Architectures événementielles
- Visualisation avec Tableau et Looker
- Bonnes pratiques des tableaux de bord interactifs
- Certifications et ressources avancées
- Explorer les modèles de streaming et de traitement événementiel
- Extraire et visualiser les données avec Snowflake
- Développer une pipeline complète multi-outils
- Revoir, optimiser et présenter la solution finale
Data Engineering pour votre équipe ?
Organisez la formation en ligne ou sur site, adaptée à votre stack et à vos objectifs.

FORMATEUR PRINCIPAL
Sonia Boussabeh
Formatrice principale Data Engineering
Spécialiste du data engineering, des plateformes modernes, du traitement distribué et des pipelines évolutifs. Elle apporte son expérience du warehousing, de l'orchestration et des transformations.
Prochaines sessions
Questions fréquentes
Réponses aux questions sur Data Engineering.
Quelles technologies principales sont abordées en Data Engineering ?
Le cours se concentre sur Snowflake, Apache Spark, dbt et Apache Airflow, avec la visualisation et le traitement temps réel en complément.
Le cours convient-il aux équipes qui modernisent leurs pipelines ?
Oui. Il est particulièrement adapté à l'amélioration du warehouse, des transformations, de l'orchestration et de l'évolutivité.
Le cours peut-il être adapté à notre stack de données ?
Oui. La formation privée peut mettre l'accent sur votre warehouse, votre orchestration, vos outils de transformation et votre architecture cible.
