Atualiza spider de rj-campos para usar start_date #1323
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
AO ABRIR uma Pull Request de um novo raspador (spider), marque com um
X
cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
Código da(s) spider(s)
Foi adotado o start_date 01/11/2013, conforme decisão em #637 (comment), pois de out/2012 a out/2013 os diários estão armazenados compactados em extensão .rar
custom_settings
em meu raspador.Testes
.log
deste teste está anexado na PR..log
e.csv
deste teste estão anexados na PR..log
e.csv
deste teste estão anexados na PR.completa.csv
completa.log
intervalo.csv
intervalo.log
ultima.csv
ultima.log
Verificações
.csv
gerados pela minha coleta conforme a documentação não encontrando problemas..log
gerados pela minha coleta conforme a documentação não encontrando problemas.Descrição
resolve #637
Adiciona atributo start_date e edition_number ao spider de Campos RJ.
Alguns diários oficiais possuem erros de digitação, no código anterior já havia um replace para tratar alguns casos, corrigindo algumas ocorrências para as grafias incorretas: "Agosoto" e "Dezembrbo".
No entanto, ao rodar os testes foi identificado mais um erro de digitação na edição "Suplemento do Diário Oficial Eletrônico de 04 de Abril0 de 2024 - Edição - 1547".
Ao invés de adicionar mais um replace e visando uma solução que funcione para futuros erros de digitação, utilizei a biblioteca fuzzywuzzy, que usa o algoritmo de distância Levenshtein para medir a semelhança entre duas strings e, a partir da lista de meses, selecionar o mês com a grafia correta antes de fazer o dateparser.
Para usar o fuzzywuzzy, é necessário instalar 2 bibliotecas ao projeto:
pip install fuzzywuzzy
pip install python-Levenshtein
Caso a solução seja aceita, poderíamos mover o método extract_date para o utils do projeto para poder ser usado por outros spiders de diários que possuem a data do diário com o mês passado por extenso.