feat: use sqlite and more

[revolunet]

Avec le script actuel, en enlevant les filtres, on monte a +25Go de RAM et le script se fait tuer par un OOMKilled dans le cluster, je ne sais pas comment optimiser cette partie.

J'ai testé avec un import/export CSV -> SQLite -> CSV pour voir; Pour produire le CSV complet, ca met ~35minutes sur ma machine (MBP2020), mais il n'y a que le CPU qui travaille. Ca produit un CSV de 5Go avec 31,6 millions d'enregistrements.

Cette PR contient :

• Construction du fichier CSV flat via assemblage SQLite
• Github actions qui build les images (api, indexation, front de démo), déploie l'API et le front de démo
• Github actions manuelles pour lancer une réindexation en dev ou prod
• Documentation swagger de l'API exposée sur /
• Frontend de démo

Todo :

• améliorer l'API
• exposer/publier les types de l'API

[revolunet]

Hello, pour simplifier la MEP, ca se déploie sur un nouvel index dédié (search-entreprises) et avec un nouvelle URL d'API sur https://search-recherche-entreprises-sqlite.dev.fabrique.social.gouv.fr/

[rmelisson]

tickets
#112
#114
#50
#90
#89
#73

[rmelisson]

@bobylito j'ai regardé en détails pour le score de novaway
https://search-recherche-entreprises-sqlite.dev.fabrique.social.gouv.fr/api/v1/search?query=novaway&limit=2&ranked=false

à cause du fuzzy matching, les deux versions (avec ou sans s) ont le même score, et c'est finalement l'ordre sur le siret qui fait passer l'un devant l'autre...

[bobylito]

@rmelisson ok merci d'avoir regardé. Je suis quand même étonné, car d'après ce que je comprends de la doc sur fuzzy, novaway devrait être un match avec une altération sur la query novaways alors que novaways est un match parfait. Bon ça me paraît pas super grave pour le moment si on continue à trouver ce qu'on cherche même si c'est pas le premier résultat. On pourra toujours faire plus de tweak plus tard.

[github-actions]

🎉 Deployment for commit 7ae2595 :

Ingresses

• 🚀 api-recherche-entreprises-sqlite.dev.fabrique.social.gouv.fr
• 🚀 search-recherche-entreprises-sqlite.dev.fabrique.social.gouv.fr
• 🚀 recherche-entreprises-sqlite.dev.fabrique.social.gouv.fr

Docker images

• 📦 docker pull ghcr.io/socialgouv/recherche-entreprises/front:sha-7ae25958610ee93906d56a295dcfa2cf40d15cdb
• 📦 docker pull ghcr.io/socialgouv/recherche-entreprises/search:sha-7ae25958610ee93906d56a295dcfa2cf40d15cdb
• 📦 docker pull harbor.fabrique.social.gouv.fr/cdtn/recherche-entreprises-api:1.5.8

Debug

• 📕 Loki logs for namespace recherche-entreprises-sqlite
• 📈 Pods monitoring for namespace recherche-entreprises-sqlite
• 📈 Workloads monitoring for namespace recherche-entreprises-sqlite
• 👮‍♂️ Project rancher recherche-entreprises-sqlite
• 👮‍♂️ Deployment recherche-entreprises-api
• 👮‍♂️ Deployment recherche-entreprises-search
• 👮‍♂️ Deployment recherche-entreprises-front

[SocialGroovyBot]

🎉 This PR is included in version 1.6.0 🎉

The release is available on GitHub release

Your semantic-release bot 📦🚀