Skip to content

zeynepkoyun/python-selenium-beautifulsoup

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 

Repository files navigation

Python ile İnternet Sitelerin Veri Çekmek

Proje Python3.7 ve Ubuntu 22.04 gereksinimleriyle gerçekleştirildi.

  • Selenium
  • BeautifulSoup

Proje Ayağa Kaldırmak İçin;

  • python3.7 -m venv py37
  • source py37/bin/activate
  • pip install -r req.txt
  • python kitapSepetiMongo.py yada python kitapYurduMongo.py

Her iki site içinde çok satanlar kategorisindeki tüm satışta olan kitaplar çekilip, MongoDB'ye kaydedilmiştir. Projenin siteler tarafından ban yemesi engellemesi için aralarda fazlaca time.sleep kullanılmıştır. [Özellikle Kitap Yurdu sitesi için 'Genel','Edebiyat','Edebiyat Dışı' ,'Çocuk','İngilizce','Sınav'] kategorilerine ait tüm veriler alınmıştır. Ancak bu site için bazı değerlerin None olma durumu söz konusudur. Koda gerekli koşullar eklenmiştir.]

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages