Bem-vindo ao Crawler 📰🔍👋

> Crawler de notícias relacionado ao COVID-19

PROJETO ARQUIVADO E FORA DE UTILIZAÇÃO

Pré-requisitos

• 1 - Ambiente Windows, Linux ou Mac
• 2 - Python3

para baixar o projeto utilizando o git, rode o comando abaixo:

git clone -b crawler_sites https://github.com/CovidZero/Crawler.git

Instalando as bibliotecas necessarias

pip install -r requirements.txt

Usage

python app.py --salvar (Salvando no Git)

python app.py --salvars3 (Salvando no S3)

OBS

Para que os arquivos .csv sejam salvos no S3 você precisa:

• Definir o nome do bucket na variavel BUCKET_NAME do arquivo config.py
• Definir as variaveis de ambiente AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY com uma credential que tenha permissão de leitura e escrita de objetos no bucket

Docker Usage

Install Docker

Install Docker Compose

docker-compose build
docker-compose up -d

See os logs

docker logs -f [container-name]

Stop the Crawler

docker-compose down 

---

🤝 Contribuidores

👤 Vinicius Rodrigues

• Github: @Suburbanno

👤 Elder Santos

• Github: @eldersantos

👤 Jaime Ricardo

• Github: @jrick166fiap

👤 Thiago Fortunato

• Github: @thiagolsfortunato

---

Como contribuir?

Contribuições e solicitações de recursos são bem-vindos!
Sinta-se à vontade para abrir uma issue.

📝 Licença

Copyright © 2020 CovidZero.
This project is Apache-2.0 licensed.