Use latest jq develop version

[menbati]

Bonjour,
Suite au build CI qui bloque semble t il à cause d'un timeout (1h ?), je tente d'apporter ma pierre :

Changement du docker pour utiliser la dernière version depuis github.
Je me suis inspiré de ce script : https://gist.github.com/afrachioni/2c297903ce2de301b1e481dad2cfdbf9

Adapté en figeant le build sur le dernier hash du commit afin d'éviter d'avoir des versions de jq différentes dans la nature.

Je n'ai pas vérifié l'intégralité des cas d'utilisation de jq dans ce repo... Test effectué uniquement sur marches-publics.info :

La section scripts prend environ 1 minute au total pour s'exécuter chez moi (Docker sur Win10, AMD, SSD).

root@65a1d9fd97a1:/decp# ./process.sh marches-publics.info fix only
============================================
2022-03-09T18:58:38 : début du traitement pour source marches-publics.info


Déplacement des fichiers téléchargés vers source/marches-publics.info/original-data...
Correction des anomalies
Correction de 2021-01-01.json...
Correction de 2021-01-02.json...
Correction de 2021-01-03.json...
Correction de 2021-01-04.json...
Correction de 2021-01-05.json...
Correction de 2021-01-06.json...
Correction de 2021-02-01.json...
Correction de 2021-02-02.json...
Correction de 2021-02-03.json...
Correction de 2021-02-04.json...
Correction de 2021-02-05.json...
Correction de 2021-03-01.json...
Correction de 2021-03-02.json...
Correction de 2021-03-03.json...
Correction de 2021-03-04.json...
Correction de 2021-03-05.json...
Correction de 2021-04-01.json...
Correction de 2021-04-02.json...
Correction de 2021-04-03.json...
Correction de 2021-04-04.json...
Correction de 2021-05-01.json...
Correction de 2021-05-02.json...
Correction de aws-marchespublics-annee-2018.json...
Correction de aws-marchespublics-annee-2019.json...
jq: error (at ./original-data/aws-marchespublics-annee-2019.json:3654667): Expected JSON value (while parsing '')
Correction de aws-marchespublics-annee-2020.json...
jq: error (at ./original-data/aws-marchespublics-annee-2020.json:4097946): Expected JSON value (while parsing '')
Correction de aws-marchespublics-annee-2021.json...
jq: error (at ./original-data/aws-marchespublics-annee-2021.json:3569669): Expected JSON value (while parsing '')
Correction de aws-marchespublics-annee-2022.json...
Copie des fichiers corrigés vers json/marches-publics.info...

2022-03-09T18:59:46 : fin du traitement pour source marches-publics.info
============================================

[ColinMaudry]

Je crois qu'il faut adapter le RUN cd xml2json && make dans Dockerfile, car tu as changé le répertoire courant au dessus (je n'ai pas testé).

[menbati]

En effet, my bad j'ai raté ça... J'ai mis à jour le dockerfile.

Au cas où ce PR ne convienne pas comme dit dans l'issue #91 , je viens de découvrir gojq qui se veut être "l'équivalent" écrit en Go et activement maintenu (à l'heure actuelle). Si ça peut être utile comme alternative à tester...

[menbati]

Clôture. Résolu par #93