Scripts de transformation de données dans le cadre de Trackdéchets, orchestrés avec Airflow. Les premiers scripts serviront à préparer les données nécessaires à la production de fiches d'inspection pour les inspecteurs de l'environnement.
Le projet utilise pipenv pour la gestion des dépendances.
- Installez les dépendances (
apache-airflowest installé plus tard) :
pipenv install- Faites une copie de
sample.env.shversenv.sh - Ajustez les variables de
env.shà votre environnement - Sourcez
env.shafin de déclarer les variables d'environnemnet (source env.sh) - Installez et démarrez Airflow :
./start.sh- Dans Airflow, activez le DAG icpeETL
- À droite, cliquez sur le bouton 'Lecture', puis 'Trigger DAG'
Le DAG est exécuté.
- ajout des données GEREP pour la siretisation des données ICPE
- ajout de nouvelles rubriques aux rubriques Trackdéchets
- amélioration des stats de siretisation
- mise à jour d'Airflow (2.2.3 => 2.2.4)