Posts Tagués Apache Airflow

Introduction DBT Core (Data Build Tool) s’est imposé comme un outil de référence pour la modélisation et la transformation des données. Il permet d’appliquer des transformations directement dans le Data Warehouse en suivant une approche SQL-first et un paradigme ELT (Extract-Load-Transform). Il y a […]

Introduction Concevoir des workflows et des pipelines avec Apache Hop est une étape essentielle pour transformer et déplacer de la données, mais les exécuter de façon optimale et en toute fiabilité pour délivrer au bon moment, c’est encore mieux! C’est le rôle d’Apache Airflow ici. Cet article prése […]

Introduction Pentaho Data Integration (PDI), aussi connu sous le nom de Kettle, est l’ETL que j’ai utilisé pendant plusieurs années avant de migrer progressivement vers Apache Hop et DBT.Malgré cette transition, on conserve encore un volume important de legacy qui s’exécute sur des serveurs Carte vi […]

Introduction Apache Airflow est un outil puissant pour l'orchestration de workflows, mais comme tout système de gestion de tâches, il a besoin d’un peu d’entretien pour rester performant. Si vous utilisez Airflow en production ou sur de longues périodes, vous avez probablement remarqué une croissanc […]

Nous avons changé d'ordonnanceur pour migrer vers Apache Airflow. Il nous fallait trouver comment exécuter nos taches pdi que nous comptons en dizaines. Plusieurs solutions sont apparues, un plugin pentaho data integration pour Airflow mais avec un suivi incertains, exécuter la tache dans un docker […]