Recolectores de precios de supermercados y otros catálogos usando Scrapy Framework.
Salvo el de Walmart, el resto de los scrapers estaban funcionando al menos hasta mediados de 2016. Dado que los scrapers dependen directamente de la estructura del sitio web posiblemente ahora (casi un año después) no funcionen correctamente.
Cuando vayas a ejecutar cada crawler chequeá antes su correspondiente settings.py,
donde se determinan los límites de conexiones simultáneas, cantidad de requests
por segundo, etc. Un request por segundo es una buena medida. Más que eso es vicio.
Todos supermercados online, salvo donde se aclara.
- Coto Digital
- Disco.com.ar
- Jumbo Supermercado Online
- Kairos Web (vademecum de medicamentos)
- Tu Alacena (agregador de precios de supermercados)
- Vea Digital
- Walmart Online
-
Git
-
Python
-
pip (Python Package Manager)
-
Virtualenv (Python Virtual Environment Builder)
# Para instalarlo pip install virtualenv
-
Cloná este repositorio
git clone http://github.com/martjanz/vizcacha
-
Entrá al directorio
cd scrawls -
Creá y activá el entorno virtual Python
virtualenv venv source venv/bin/activate -
Instalá dependencias
pip install -r requirements.txt
Un ejemplo: para scrapear precios de Coto Digital a un archivo separado por comas (.csv).
# Si no tenés activado el entorno virtual...
source venv/bin/activate
# ...y luego
cd coto
scrapy crawl coto_articles -o ../coto.csvCualquier mejora o correción va a ser muy bienvenida. Para eso:
- Hacé un fork de este repo.
- Hacé commits (en tu repo) con los cambios.
- Mandame un Pull Request con los cambios explicando qué cambiaste o agregaste.