Posts Tagués Etl

Introduction Concevoir des workflows et des pipelines avec Apache Hop est une étape essentielle pour transformer et déplacer de la données, mais les exécuter de façon optimale et en toute fiabilité pour délivrer au bon moment, c’est encore mieux! C’est le rôle d’Apache Airflow ici. Cet article prése […]

Introduction Pentaho Data Integration (PDI), aussi connu sous le nom de Kettle, est l’ETL que j’ai utilisé pendant plusieurs années avant de migrer progressivement vers Apache Hop et DBT.Malgré cette transition, on conserve encore un volume important de legacy qui s’exécute sur des serveurs Carte vi […]

Présentation Apache Hop est un outil d’intégration et de traitement de données open source né en 2022 d’un fork de Pentaho Data Integration (PDI) 8.2 Community, réalisé par l’un des créateurs originaux de PDI. Distribué sous licence Apache, ce projet est né du constat d’un manque d’évolution signifi […]

Nous avons changé d'ordonnanceur pour migrer vers Apache Airflow. Il nous fallait trouver comment exécuter nos taches pdi que nous comptons en dizaines. Plusieurs solutions sont apparues, un plugin pentaho data integration pour Airflow mais avec un suivi incertains, exécuter la tache dans un docker […]