Générer des jeux de données avec le Jaffle Shop Generator de Dbt

Dès que vous voulez faire un poc, tester une nouvelle techno, il faut trouver des jeux de données de démonstration. On trouve beaucoup de jeux de données sous forme d'un unique fichier mais très peu pouvant représenter des données réelles de production. C’est là qu’intervient le Jaffle Shop Generator, un outil proposé par dbt (data build tool) permettant de générer facilement des données réalistes pour alimenter un pipeline de données de type médaillon (bronze, silver, gold) et construire un dashboard analytique.

Générer les données

Pipx

Le plus simple est d'installer pipx pour ensuite l'utiliser pour lancer la commande jafgen.

Sous ubuntu 22.04

sudo apt update
sudo apt install pipx
pipx ensurepath

Jafgen

Par exemple, la commande ci-dessous va générer des données sur 5 ans et nommer les fichiers générés 5ans_*.csv.

pipx jafgen 5 --pre 5ans

Description du dataset

Le jeu de données comprend plusieurs fichiers typiques d’un modèle de vente :

• customers.csv -> Les clients qui passent commande
• orders.csv -> Les commandes passées par les clients
• products.csv -> La liste des produits (aliments, boissons) vendus
• order_items.csv -> Les lignes de commandes, liant produits et commandes
• supplies.csv -> Les ingrédients ou fournitures nécessaires pour produire les articles
• stores.csv -> Les différents points de vente (physiques ou en ligne)
• tweets.csv -> Simulations de tweets postés par les clients après une commande

Les données générées sont cohérentes, bien structurées et idéales pour réaliser des tests de modélisation. Les fichiers sont produits au format CSV avec une virgule comme séparateur, ce qui les rend directement exploitables dans une base de données relationnelle.

Résumé

Le Jaffle Shop Generator est un outil simple mais puissant, idéal pour tout Data Engineer, Analytics Engineer ou même Data Analyst cherchant à disposer d’un jeu de données suffisamment structuré et réaliste pour simuler un cas d’usage métier concret et prototyper une chaîne de traitement de données de bout en bout.

C'est une base parfaite pour se former et expérimenter.

Let-'s go 🚀

Bonus, 2 datasets sont disponibles sur mon github : https://github.com/NicoDupont/Resources/tree/master/Datasets/jaffleshop

• sur 1 an
• sur 2 ans