Posts Tagués Data Engineering

Introduction DBT Core (Data Build Tool) s’est imposé comme un outil de référence pour la modélisation et la transformation des données. Il permet d’appliquer des transformations directement dans le Data Warehouse en suivant une approche SQL-first et un paradigme ELT (Extract-Load-Transform). Il y a […]

Introduction Concevoir des workflows et des pipelines avec Apache Hop est une étape essentielle pour transformer et déplacer de la données, mais les exécuter de façon optimale et en toute fiabilité pour délivrer au bon moment, c’est encore mieux! C’est le rôle d’Apache Airflow ici. Cet article prése […]

Introduction Pentaho Data Integration (PDI), aussi connu sous le nom de Kettle, est l’ETL que j’ai utilisé pendant plusieurs années avant de migrer progressivement vers Apache Hop et DBT.Malgré cette transition, on conserve encore un volume important de legacy qui s’exécute sur des serveurs Carte vi […]

Introduction Apache Airflow est un outil puissant pour l'orchestration de workflows, mais comme tout système de gestion de tâches, il a besoin d’un peu d’entretien pour rester performant. Si vous utilisez Airflow en production ou sur de longues périodes, vous avez probablement remarqué une croissanc […]

Présentation Apache Hop est un outil d’intégration et de traitement de données open source né en 2022 d’un fork de Pentaho Data Integration (PDI) 8.2 Community, réalisé par l’un des créateurs originaux de PDI. Distribué sous licence Apache, ce projet est né du constat d’un manque d’évolution signifi […]

Dès que vous voulez faire un poc, tester une nouvelle techno, il faut trouver des jeux de données de démonstration. On trouve beaucoup de jeux de données sous forme d'un unique fichier mais très peu pouvant représenter des données réelles de production. C’est là qu’intervient le Jaffle Shop Generato […]