Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Add benchmark #38

Open
furiosamg opened this issue Sep 6, 2022 · 2 comments
Open

Add benchmark #38

furiosamg opened this issue Sep 6, 2022 · 2 comments
Assignees
Milestone

Comments

@furiosamg
Copy link
Collaborator

해당 프로젝트의 주 목적 중 하나가 성능을 보여주는 것이므로 사용자도 쉽게 벤치마크를 돌려 성능을 확인할 수 있으면 좋겠습니다. 개발 과정에 있어서도 python에서 처리하는 전/후처리와 rust의 전/후처리를 비교하는 과정이 있으면 좋을 것 같습니다.

http://pytest-benchmark.readthedocs.org/en/stable/

pytest-benchmark를 이용하면 기존의 pytest를 활용해서 쉽게 벤치마크를 만들 수 있을 것 같습니다.

@hyunsik
Copy link
Member

hyunsik commented Sep 6, 2022

네 필요한 일 같습니다. cli 와도 통합되어도 좋고 별도로 실행할 수 있어도 좋을 것 같습니다.

@hyunsik hyunsik added this to the Release 0.8.0 milestone Sep 7, 2022
@furiosamg furiosamg self-assigned this Sep 8, 2022
@hyeokjunejeon
Copy link
Contributor

기록을 위해서 남깁니다.

  • 파일읽는 인터페이를 preprocess에서 분리
  • quantization 기능 vs without_quantization 기능
  • throughput: batch_size=1 vs batch_size=N
  • async_session을 사용한 latency 체크

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants