Adiciona novos 8 raspadores #1281
Conversation
|
Farei a revisão 😉 |
|
essa aqui o @jreagle falou que faria em #1088 (comment) |
|
Aaah, blz! |
Obrigado p/ preferência! 😜 |
There was a problem hiding this comment.
Feedback Review
Conforme registrado na trilha, os raspadores replicados de "mg_carmo_do_rio_claro" e "mg_juatuba" já fazem parte da branch principal, portanto, devem ser removidos da pull.
De acordo com territories.csv existe o município de Candeias - BA (2906501), que não consta da base de produção do QD atualmente e, curiosamente, publica seus diários pelo sistema BaseInstar! Eu cheguei até fazer os testes de coleta com sucesso com base no ba_candeias.py! Só pra registro mesmo!
Em relação aos demais arquivos, após verificar a lista de validações para contribuições recomendada pela @trevineju e não encontrar erros ou alertas relevantes nos logs saída, considero que as mudanças podem ser aprovadas e integradas ao branch principal sem maiores problemas.
There was a problem hiding this comment.
Spider de município já incluído em PRODUÇÃO: data_collection/gazette/spiders/mg/mg_carmo_do_rio_claro.py
There was a problem hiding this comment.
Spider de município já incluído em PRODUÇÃO: /data_collection/gazette/spiders/mg/mg_juatuba.py
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (mg_cotrigaguacu) a partir do padrão BaseINSTAR #1088
Logs (Tests)
mt_cotriguacu_between_2023-11-17_2024-09-30.log
mt_cotriguacu_full_2024-09-30.csv
mt_cotriguacu_full_2024-09-30.log
mt_cotriguacu_last_2024-09-30.csv
mt_cotriguacu_last_2024-09-30.log
mt_cotriguacu_between_2023-11-17_2024-09-30.csv
mt_cotriguacu_between_2023-11-17_2024-09-30.csv
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (pr_santo_antonio_do_paraiso) a partir do padrão BaseINSTAR
Logs (Tests)
pr_santo_antonio_do_paraiso_full_2024-10-02.csv
pr_santo_antonio_do_paraiso_full_2024-10-02.log
pr_santo_antonio_do_paraiso_last_2024-10-02.csv
pr_santo_antonio_do_paraiso_last_2024-10-02.log
pr_santo_antonio_do_paraiso_between_2012-12-27_2013-01-26.csv
pr_santo_antonio_do_paraiso_between_2012-12-27_2013-01-26.log
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (sp_iracemapolis) a partir do padrão BaseINSTAR
Logs (Tests)
sp_iracemapolis_full_2024-10-02.csv
sp_iracemapolis_full_2024-10-02.log
sp_iracemapolis_last_2024-10-02.csv
sp_iracemapolis_last_2024-10-02.log
sp_iracemapolis_between_2017-01-02_2024-10-02.csv
sp_iracemapolis_between_2017-01-02_2024-10-02.log
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (sp_itaporanga) a partir do padrão BaseINSTAR
Logs (Tests)
sp_itaporanga_between_2009-04-16_2009-05-16.csv
sp_itaporanga_between_2009-04-16_2009-05-16.log
sp_itaporanga_full_2024-10-02.csv
sp_itaporanga_full_2024-10-02.log
sp_itaporanga_last_2024-10-02.csv
sp_itaporanga_last_2024-10-02.log
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (sp_potirendaba) a partir do padrão BaseINSTAR
Logs (Tests)
sp_potirendaba_between_2024-01-21_2024-02-20.csv
sp_potirendaba_between_2024-01-21_2024-02-20.log
sp_potirendaba_full_2024-10-02.csv
sp_potirendaba_full_2024-10-02.log
sp_potirendaba_last_2024-10-01.csv
sp_potirendaba_last_2024-10-01.log
|
boa, @jreagle! 🎉🎉🎉 Mas vou pedir pra você fazer de novo seguindo o "rito certo", tudo bem? 😊 A opção de aprovar só é selecionada quando a PR estiver pronta mesmo. No caso, você está solicitando que se faça remoções, então tinha que escolher "request changes". Isso vai bloquear a PR de seguir em frente enquanto as mudanças pedidas não forem endereçadas. Aí a tarefa volta pra pessoa desenvolvedora, pra justificar pq fez oq fez ou mudar o que foi solicitado. E, então, passa pra pessoa revisora, de novo, olhar a situação. Tudo estando do jeito pedido ou a argumentação for convincente/adequada, você vai na opção de revisar de novo e seleciona a opção de aprovar. (também pode ficar circulando entre desenvolvimento 🔄 revisão por um tempo se a coisa for mais cabeluda) Eu já podia encaminhar seus pedidos, mas vou esperar você vir atualizar aqui primeiro, pela prática 😉
Sobre isso, tava fazendo umas verificações ontem e notei que esse município é um homônimo! O raspador se chama Candeias da Bahia, mas a URL é de Minas Gerais. (é sempre chato e detalhista esse tipo de situação 😢 ) Ficou show o cuidado de validar um por um! Olhei seus logs e csvs. Eles parecem bons! Só teve um caso que precisa mudar: Itaporanga-SP. Ao ordenar o .csv da coleta completa, aparece que a primeira data é em 2009, mas a segunda data é 2011. Isso é bastante estranho. Busquei o documento no site e parece ter sido cadastrado errado pela prefeitura, pq as datas no documento são outras. Então, pra esse raspador, a data inicial correta é 2011-06-07.
Você pode incluir essa solicitação de modificação na sua revisão, por favor? O item 8 desta documentação do GitHub mostra como faz. |
Nossa comi bola! Lendo agora faz total sentido isso!
Entendido, refazendo agora e favoritando p/ posteridade!
Altamente pedagógica! Como diria o Rolando Lero: "Capitei! Capitei, vossa mensagem"!
Claro! Fazendo isso agora! Obrigado pelo baita aprendizado! |
|
Obrigada! E acolhi suas solicitações, @jreagle! Pode dar uma olhada de novo se está pronto para aprovação? 😃
hehehe 😊 a parte legal disso é que, como você adicionou uma modificação diretamente na PR, você vira um co-participante. Pode ver que um dos commits é uma parceria. |
Sim! Eu que agradeço a oportunidade! 🙏💜
|
There was a problem hiding this comment.
- Remoção de raspador já existente da pull: mg_juatuba.py
- Remoção de raspador já existente da pull: mg_carmo_do_rio_claro.py
- Atualização da variável "start_date" no arquivo sp_itaporanga
Parabéns pelo trabalho com os raspadores e revisão da revisão! 👏👏👏
|
Parabéns pela primeira revisão! ❤️
A meta é, aos poucos, eu nem precisar mais validar a revisão de vocês 🚀 O JP está trabalhando em melhorar o fluxo de revisão de PRs, mas enquanto não temos isso... se você quiser outra tarefa pra fazer, como foi essa aqui, pode escolher em #1284 (só lembra de deixar comentado na PR que vai revisar). |
Remove Candeias-BA incorreto O site é do município de Candeias no estado de Minas Gerais, não da Bahia. Signed-off-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> fix: Remove raspador existente Signed-off-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> fix: Remove raspador existente Signed-off-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> fix: atualiza start_date para Itaporanga-SP Co-authored-by: Joseph Reagle <109813833+jreagle@users.noreply.github.com> Signed-off-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com>
trevineju
force-pushed
the
instar-restantes
branch
from
2792174
to
66fb838
Compare
|
Mesclo a PR no projeto devido aprovação de @jreagle |
As spiders adicionadas nesta PR foram criadas com um script criador de código, por isso toda essa PR deve ser revisada em todos os detalhes e também ser testada.
Fica a cargo da pessoa revisora verificar a lista de validações para contribuições.