[DATABASE] Geoloc enrichment #271
Conversation
| } | ||
| } | ||
|
|
||
| update(entry); |
There was a problem hiding this comment.
Il faudrait attendre le résultat de cette update pour savoir si il s'est bien passé ou pas necessaire ?
| const req = http.request(options, (res) => { | ||
| let chunksOfData = []; | ||
| res.on('data', (data) => { | ||
| chunksOfData.push(data); | ||
| }); | ||
| res.on('end', () => { | ||
| let response = Buffer.concat(chunksOfData); | ||
| let json = JSON.parse(response); | ||
| resolve(json); | ||
| }); | ||
| }); | ||
| req.end(); | ||
| req.on('error', (err) => { | ||
| resolve({ msg: err }); | ||
| }); |
There was a problem hiding this comment.
Code dupliqué : Il y a exactement le meme code lignes 92 à 106
|
@ArthurLeblanc @ChristopheTrannoy : Je viens de faire une première partie des commentaires sur cette pull request. Mais je n'ai pas encore terminé. Je finirai demain soir ;) |
| const options = { | ||
| host: HOST, | ||
| port: PORT, | ||
| path: '/api/entries/updateOneAdministrative', |
There was a problem hiding this comment.
Cela semble un des problèmes d’être passé par les API plutôt que directement par le connecteur de BDD. Ici on se retrouve a utiliser une nouvelle route updateOneAdministrative d'update qui n'est pas protégé (n'importe qui peut update une cavité ! SI vous voulez continuer à utiliser l'API plutot que la BDD directement il faudrait ajouter une protection minimaliste sur la route updateOneAdministrative pour éviter qu'elle puisse etre utiliser par n'importe qui. Par exemple en la limitant à un appel depuis la meme IP ? ...
| * Main of the DBEnrichment script. | ||
| */ | ||
| async function enrichment() { | ||
| findAllEntries(process.argv[2]).then(async function(res) { |
There was a problem hiding this comment.
Ce findAllEntries est un peu trop brutal et pas scalable. Que va t'il se passer si nous avions 200000 cavités ? Nous aurions en memoire un tableau de 200000 entrées à traiter ? Il faudrait plutot fonctionner par batch avec des LIMIT SQL. Je récupère de 0 à 1000 cavités puis de 1001 à 2000, ...
|
Je viens de finir de review cette PR ;) Quelques changements à faire avant de pouvoir merge ;) |
|
Travail en cours par @vmarseguerra suite à #1160 qui remplacera le travail décrit ici |
Add database enrichment script :
add routes :
/api/reverseGeocode (double latitude, double longitude)
/api/launchDBEnrichmentScript (optional string country (countryCode eg: fr), optional string type (can only be ‘all’), optional string detail (can only be ‘country’, ‘region’, ‘county’, ‘city’))
/api/findByCountry (optional string country (countryCode eg: fr))
Here’s API key has to be specified in services/ReverseGeocodingService.js to properly test.