decp.json to XML eats 4GB+ RAM. Too much for CircleCI free edition.

[ColinMaudry]

Depuis la release de 1.14.0 et l'allongement du temps de traitement sans log à 4h, CircleCI rapporte l'erreur suivante :

## Conversion du JSON agrégé en XML...

-:1: parser error : Document is empty

[ColinMaudry]

J'ai lancé le job Circle CI en local en utilisant CircleCI CLI, et le job s'est exécuté sans soucis. cc @strainel

J'ai publié le résultat sur le dataset.

[ColinMaudry]

L'erreur rapportée est renvoyée si le fichier passé au script scripts/jsonDECP2xmlDECP.sh n'existe pas.

Donc ce que semble indiquer le log, c'est qu'au moment d'exécuter ce script, le fichier json/decp.json n'existe pas.

[ColinMaudry]

C'est cette commande qui échoue : https://github.com/139bercy/decp-rama/blob/master/process.sh#L85

Mais bizarrement, la précédente, qui utilise aussi json/decp.json, s'exécute sans problème.

[ColinMaudry]

Le script précédent celui qui échoue, scripts/get_new_data.sh, ne contient il me semble aucune commande susceptible de supprimer json/decp.json (la variable $newFile).

[ColinMaudry]

J'ai configuré un cron sur mon serveur personnel pour effectuer le traitement quotidien.

[strainel]

merci @ColinMaudry ; du coup quelle est la cause racine du dysfonctionnement ?

[ColinMaudry]

@strainel C'est encore un mystère : ça marche en local, mais pas en ligne. Pour l'instant, le principal suspect est notre dépassement du crédit Circle, mais c'était la même chose chez Etalab, sans que ce soit un problème.

[ColinMaudry]

Prochaines étapes (en parallèle):

• demande de support auprès de CircleCI
• test de GIthub Actions en remplaçant potentiel

[strainel]

j'ai demandé à nos collègues des marchés ; pour le moment circle ci c'est pas dans l'offre...
je crois que la demande de support s'impose pour diagnostiquer le pb.

[ColinMaudry]

J'ai exécuté le workflow CircleCI avec accès SSH, j'ai pu observer des choses intéressantes :

• le script de conversion du JSON vers XML s'exécute, mais échoue pendant son exécution : le fichier JSON source est donc bien présent au moment de l'exécution
• quelques secondes avant l'erreur, le console SSH est devenu très lente. Je suspecte un problème de ressources mémoire ou CPU. Ni top ni free n'étaient installés ou installables avec APT pour pouvoir le vérifier. La quantité de données seraient-elles trop importante pour 4 GB RAM ?

[ColinMaudry]

C'est effectivement le problème : lorsque j'exécute ce script en local, le script python json2xml.py occupe au maximum un peu plus de 25% de la mémoire de mon ordinateur, qui dispose de 16 GB RAM. Soit un peu plus de 4 GB.

Solutions possibles :

1. remplacer json2xml.py par une solution "streamée" qui charge moins de données en mémoire
2. utiliser une plateforme qui dispose de plus de mémoire

[ColinMaudry]

J'imagine assez bien la solution numéro un : plutôt que de convertir les 135 Mo de JSON d'un bloc, le script pourrait boucler individuellement sur chacun des 135 000 marché et les convertir en XML. Je teste.

[strainel]

splitter automatiquement en bloc de 30 000 marchés puis reconcaténer ?

[ColinMaudry]

Build réussi pour la branche develop, demain ça devrait être bon sur master.

Le script qui change tout : c257bcb

[ColinMaudry]

Fixed