13-6 [BE] [논문 상세 - 논문 정보] Request batch 작업 #82
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
사용자가 "paper batch queue" 와 같이 사용하고 있는 keyword로 검색시 바뀌지 말아야할 값이 바뀌는 것을 방지한다.
JunYupK
approved these changes
Dec 1, 2022
| export const SEARCH_BATCH_SIZE = 10; | ||
| export const DOI_BATCH_SIZE = 40; | ||
| export const DOI_REGEXP = new RegExp(/^[\d]{2}\.[\d]{1,}\/.*/); | ||
| export const ALLOW_UPDATE = process.env.ALLOW_UPDATE ? (eval(process.env.ALLOW_UPDATE) as boolean) : false; |
There was a problem hiding this comment.
Time_INTERVAL 이나, MAX_DEPTH같이 추후에 변동이 될 수 있는 요소들을 변수로 관리를 할 수 있게 하는 부분이 참 좋은 것 같습니다.
| @@ -0,0 +1,20 @@ | |||
| import Redis from 'ioredis'; | |||
There was a problem hiding this comment.
Redis를 이용한 queue 군요 redis 자체를 큐로 관리하는 것은 생각 못해봤습니다.
| this.queue.push(`${retries}:${depth}:${page}:${url}`, pushLeft); | ||
| } | ||
| async batchLog(queue: RedisQueue, batched: string[]) { | ||
| const urlQueueSize = await queue.size(); |
There was a problem hiding this comment.
queue가 redis 기반이다 보니 queue의 사이즈를 알아야 할때도 redis에 접근을 해야 하군요.
이러한 점은 단점이 될 수도 있겠네요
Palwol
approved these changes
Dec 2, 2022
This was referenced Dec 5, 2022
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
개요
작업사항
Batchservice가 추가되었습니다.SearchBatcher와DoiBatcher는Batcher라는 abstract class 를 상속합니다.Batcher에서는 Redis의 list를 queue로 사용합니다.SearchBatcher는 키워드로 검색하기 위한 url을 queue에 담으며, 한번의 요청당 최대 1,000*SEARCH_BATCH_SIZE개의 논문정보를 가져옵니다.DoiBatcher는 doi로 검색하기 위한 url을 queue에 담으며, 한번의 요청당 최대 1 *DOI_BATCH_SIZE개의 논문 정보를 가져옵니다.MAX_RETRY만큼 시도할 때까지 큐의 맨 뒤로 담습니다.SEARCH_BATCH_SIZE혹은DOI_BATCH_SIZE보다 많은 검색요청이 들어오는 경우, 사용자에 의해 먼저보내진 요청요청이 나중에 오게될 수도 있습니다. (이 부분까지는 오버엔지니어링으로 생각했습니다.)process.env.ALLOW_UPDATE는 default가 false이고, elasticsearch에 doi가 이미 존재하면 update(덮어쓰기)하지 않습니다.이후 작업이 필요한 내용
리뷰 요청사항