scrapy_parser_pep

Проект парсинга pep

Простой парсер статусов PEP для https://peps.python.org.

В папке results создает два csv файла:

• Список PEP вида Номер, Название, Статус - pep_ДатаВремя.csv.
• Количество уникальных статусов, так же подсчитывает общее количество PEP - status_summary_ДатаВремя.csv.

---

Как запустить проект:

Клонировать репозиторий и перейти в него в командной строке:

git clone https://github.com/Esedess/scrapy_parser_pep

cd scrapy_parser_pep

Cоздать и активировать виртуальное окружение:

python -m venv env

source env/bin/activate

Установить зависимости из файла requirements.txt:

python -m pip install --upgrade pip

pip install -r requirements.txt

Запустить с логом в терминал:

scrapy crawl pep

Запустить с логом в файл scrapy.log:

scrapy crawl pep -s LOG_FILE=scrapy.log

---

Tech Stack

• Python : https://github.com/python
• Scrapy : https://github.com/scrapy/scrapy
  • .css
  • .xpath
  • Pipelines
  • Feeds
  • Items

---

Авторы

• @yandex-praktikum
• @Esedess