Tech: API Geo: cache communes by code postal pour ne pas désérialiser en permanence les communes

[colinux]

On faisait du cache pour par taper en permanence chaque .json des communes par département , mais :

• dans redis ce cache est sérialisé en marshal et à chaque accès il nécessite d'être déserialisé
• il est assez volumineux et chaque désérialisation coûte chère (get redis + désérialisation etc…)

Solution: on créé aussi des portions de cache beaucoup plus petites, au niveau de chaque postal.
C'est efficace car il n'y a que 6 300 codes postaux, et encore ceux des grandes villes doivent être sur-représentés. On tape autant redis qu'avant. Cela bénéficiera aussi à quelques autres endroits, pas qu'à l'API.

En local avec cache redis :

• Impact sur l'API pour 100 dossiers de personne morale : 11s -> 1.8s
• Mémoire, première requête API après démarrage : 571 MB -> 371 MB. (Pour comparaison le chargement page d'accueil admin= 310 MB.)
• Quasi le même impact que les 100 dossiers tapent dans le même CP, ou dans 100 CP différents

Note: la première requête après invalidation du cache = aussi lent que maintenant ;)

AVANT 71%

APRES 7% (tellement petit que je zoom)

Comparaison mémoire sur 100 requêtes consécutives

[codecov]

Codecov Report

All modified and coverable lines are covered by tests ✅

Project coverage is 84.47%. Comparing base (5c45754) to head (b80bfd6).
Report is 2 commits behind head on main.

Additional details and impacted files

@@           Coverage Diff           @@
##             main   #11164   +/-   ##
=======================================
  Coverage   84.46%   84.47%           
=======================================
  Files        1187     1187           
  Lines       26265    26266    +1     
  Branches     4952     4952           
=======================================
+ Hits        22186    22187    +1     
  Misses       4079     4079           

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[LeSim]

excellent !