Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

KOMORAN에 비해서 속도가 현저히 느린 현상 발생 #4

Open
shin285 opened this issue Aug 26, 2021 · 0 comments
Open

KOMORAN에 비해서 속도가 현저히 느린 현상 발생 #4

shin285 opened this issue Aug 26, 2021 · 0 comments
Assignees
Labels
enhancement New feature or request

Comments

@shin285
Copy link
Member

shin285 commented Aug 26, 2021

현재 KOMORAN과 가장 큰 차이점은 child node의 자료형이 다르다는 점임

  • KOMORANPy : AhoCorasick의 child node를 dictionary 형태로 저장 후 get 하여 가져옴
  • KOMORAN : AhoCorasick의 child node를 list 형태로 저장 후 바이너리 search 하여 가져옴

KOMORAN에서도 속도 개선을 위하여 KOMORANPy와 같이 map 형태로 child node를 저장한 적이 있었으나 오히려 속도 저하로 이어졌음.

dictionary에서 get 할 때 hashing에 드는 연산이 list에서 binary search하는 시간보다 오래 걸리기 때문인 것으로 예상 됨

AC

  • KOMORANPy에서 AhoCorasick의 child node를 list 형태로 변경 후 속도를 확인할 수 있다.
@shin285 shin285 self-assigned this Aug 26, 2021
@shin285 shin285 added the enhancement New feature or request label Aug 26, 2021
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

1 participant