Process en échec depuis le 5 mars en raison d'un timeout de la conversion vers XML

[ColinMaudry]

Du fait de l'échec du traitement le 5 mars (timeout), je pense que les dossiers sources ne sont plus créés lors de la restoration du cache CI.

Il faudrait donc régler le problème de timeout lors de la conversion JSON agrégé en XML.

Je vois qu'il y a déjà un chunking mis en place pour limiter la consommation de mémoire.

[ColinMaudry]

Retirer l'indentation (xmllint) pourrait permettre de gagner quelques minutes de processing, et donc quelques jours ou semaines sans timeout, mais le problème se reposera irrémédiablement au fur et à mesure que la quantité de données augmente.

[menbati]

Bonjour,

D'après mon enquête, j'avais plutôt ciblé ciblé jq comme la problématique.
En effet, dans le build juste avant (build 1200), on voit le get_data qui échoue au niveau du traitement de "2022-03-08T01:26:14 : début du traitement pour source marches-publics.info"

Cela échoue très exactement sur une commande jq (aucun autre traitement significatif à côté semble t il).

La PR #89 met à jour jq avec la dernière version develop car j'ai pu voir un commentaire citant un problème de perf avec jq 1.6... ( jqlang/jq#2069 (comment) )

J'ai conscience que mettre à jour jq a un impact sur l'intégralité du projet decp-rama car la commande est utilisée un peu partout... Mais je n'ai pas trouvé mieux et je suis loin d'être expert avec cet outil.

A noter la PR #90 qui vient fixer aussi un soucis de dureeMois sur les fichiers marches-publics.info !

[ColinMaudry]

@desrousseaux, au cas où vous n'auriez pas vu cet issue.

[desrousseaux]

Vu. Je suis d'accord sur le constat qu'une optimisation ne résoudra pas le problème à long terme. Je regarde le problème avec un devops chez nous.

[menbati]

Bonjour, il semblerait que la mise à jour des données sur data.gouv.fr refonctionne. J'en déduis que c'est grâce aux fixes effectués sur ce repo https://github.com/cds-bercyhub/decp-rama merci à vous 👍

[ColinMaudry]

La CI (Gihub actions) de cds-bercyhub/decp-rama ne publie pas de données sur data.gouv.fr, donc c'est toujours le dépôt original qui publie (CircleCI).

Je pense que ces derniers jours il y a eu moins de nouvelles données, donc il n'y a pas eu de time out. Par contre, les nouvelles données des jours "failed" n'ont, je pense, pas été traitées. J'ai lancé un process complet en local, je ferai une comparaison avec les données publiées.

[ghost]

Bonjour Colin,
La migration de la CI sur GitHub Actions n'était pas totalement terminée mais la publication testée vendredi en fin d'après-midi avec publication des données sur data.gouv.fr (entre18h00 et 18h30). J'avais donc volontairement désactivé le job en charge de la publication le temps de terminer le reste de la migration.

Ainsi, j'ai poussé une PR ce matin correspondant à la migration vers GitHub Actions afin fixer le problème de timeout lié aux modifications de Free Plan de CircleCI qui limite notamment un build à 1h00 max.