New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

향수 목록 데이터 수집 #2

Open

2 tasks done

YJeongKim opened this issue Sep 6, 2021 · 1 comment

Assignees

Member

YJeongKim commented Sep 6, 2021 •

edited

Loading

💡 Idea

크롤링 대상 사이트에서 모든 향수 데이터를 크롤링한다.
- 현재 데이터 67,000개 이상, 계속해서 추가되고 있음
향수 목록 : 향수 이름, 이미지, 상세 페이지 url 등...
크롤링 대상 사이트에서는 목록에서 데이터를 1,000개까지만 가져올 수 있다.
- 필터나 검색을 이용하여 데이터를 쪼개서 가져와야 함
- 이 방법에 대해서 고민과 논의 필요함

📌 Task List

향수 목록 수집하기
향수 검색 조건(필터, 검색 단어) 구성하기

Reference

크롤링 대상 사이트(https://www.fragrantica.com)

YJeongKim self-assigned this

Member

junhaesung commented Oct 30, 2021

jenkins 에서 배치 어플리케이션 실행시 selenium 동작가능하게 chrome 설치해야함

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment