Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Minor modifications #171

Merged
merged 1 commit into from
Aug 30, 2023
Merged

Conversation

furiosamg
Copy link
Collaborator

  1. FuriosaAI SDK 0.10.0의 새 런타임은 TLS 부족 이슈를 겪고 있는데요, torch보다 import를 먼저 하면 libgomp의 TLS 가 부족하다고 에러가 나고, torch를 먼저 import 하면 native runtime의 TLS가 부족하다고 에러가 납니다.
  • native runtime과 libgomp 중 libgomp를 preload 하는 것으로 문제를 우회할 수 있는데요, 이러려면 torch를 늦게 import 해서 libgomp의 에러 메시지를 보여주는 것이 유리합니다.
  • 예전에는 furiosa-runtime이 furiosa-models의 선택 의존성이라 import 하는 부분을 함수 안에 넣어놨었는데요, 지금은 그렇지 않고 먼저 import 하는 것이 장점도 있으므로 import를 먼저 하게 바꿉니다.
  1. flit이 packaging 할 때 파이썬 패키지와 관련 없는 파일들도 패키징 하고 있는데요, 그러지 않도록 메타데이터를 잘 설정하게 바꿨습니다.
  2. with_scaling 인자에 대해서 예시 코드에도 자세한 주석을 추가했습니다.

@furiosamg furiosamg self-assigned this Aug 30, 2023
@furiosamg
Copy link
Collaborator Author

ci 실패한 이유는 ci에는 노트북 테스트 적용되어있는데 #167 이 PR에는 없어서입니다. 무시해주셔도 좋습니다.

Copy link
Member

@hyunsik hyunsik left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

동작 위주로 테스트 해주시고 머지해주셔도 좋을 것 같습니다. 문서는 추후에 저나 다른 분이 업데이트 할 필요 있으면 하는 것으로 하겠습니다. 감사합니다.

@furiosamg
Copy link
Collaborator Author

동작상에 변화가 없는 PR이라 머지하겠습니다~

@furiosamg furiosamg merged commit 78ff0a8 into furiosa-ai:main Aug 30, 2023
@furiosamg furiosamg deleted the minor-modifications branch August 30, 2023 10:14
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants