해당 스터디에 참여해도 될지 고민하는 분들께

[gyunggyung]

몇 가지 질문을 드려봅니다. 대답 가능하신 것만 해주세요.
검색, ChatGPT나 사람들에게 물어봐도 됩니다.
무엇을 하셔도 작성한 내용만 이해하시면 괜찮습니다.

기초

1. 본인이 가장 잘 아는 논문을 5문장 내외로 서술.
2. word2vec 관련 정보 최대한 쉽게 서술.
3. 본인의 관심 task를 10 문장 내외로 서술.
4. lstm, bert, gpt, t5 장단점, 한계, 차이, 특징은?
5. 형태소와 워드피스 등 토크나이저의 장단점은?
6. 논문을 20분 안에 읽거나 사전 학습 가능한지?
7. 스터디 시 항상 참여 가능한지?

심화

1. P-tuning에 대한 설명. V3가 나온다면 개선점은?
2. ∞-former는 이론상 1조 7500억개의 토큰을 손실 없이 생성할 수 있는가?
3. 본인이 생각하는 GPT-4 예상 파라미터 개수와 구조는?
4. retro, chatgpt 등 빅테크에서 나온 모델들의 비교 한계 분석.
5. 현 스터디 멤버 분석.
6. 원하는 질문.