[DS] Image to Video API 리뷰

[robert-min]

📌 Description

미술 작품 Image to Video 구현을 위해 기존의 API를 리뷰합니다.

🎈 Goal

$\tiny{구체적인\ 산출물을\ 포함한\ 목표를\ 작성해주세요.}$

• API 리뷰
  • Image to Video를 구현하는 API 리서치
  • 해당 API를 활용하여 실제 기능 구현(Output 확인)
• 기술 공유
  • docs repo를 활용하여 팀원들에게 리서치 및 구현 내용 공유

✏️ Todo

$\tiny{목표\ 달성을\ 위해\ 해야할\ 일을\ 세부적으로\ 작성해주세요.}$

• API 리뷰 📅 2024-01-24
  • API 구현 방법 리뷰
  • API 실제 기능 구현
• 기술 공유 📅 2024-01-26

[chanyoungP]

Stability AI

Stable Video Diffusion model API -> image2video

사용법 리뷰 :

1. 계정 생성 (계정 생성시 무료 토큰 받을 수 있음)
2. API 키 확인
3. REST API (python) 코드로 정해진 양식으로 argment에 base image 입력하고, POST 진행하면 id return
4. return 받은 id 값으로 GET 요청하면 2~ 3초짜리 동영상 저장

특이사항 : 동영상 생성은 토큰이 매우 많이 필요 $10 = 1,000 credit token (대략 5000장 이미지, 동영상은 24프레임정도 하니까 동영상 1개의 48 image 또는 더 들어간다.
생성된 동영상 퀄리티 : 퀄리티가 좋진 않다. 그리고 별도의 prompt가 input으로 들어가지 않으므로 이상한 결과를 얻을 수 있음.
그림 자체를 바꾸기 보다는 내가 그림안에서 시점을 움직이는 정도의 무브먼트가 좋아보인다. (horizontal camera movement)
동영상이 너무 짧아서 길게 추출할 수 있는 방법을 생각해야할 것 같다.
movement와 여러가지 세팅을 위해서 prompt 와 negative prompt 를 넣을 수 있는 생성 모델 API를 사용해야할 것이라 판단.

TODO:

[ ] kaiber model review
[ ] Stability API animation review
[ ] Stability model clone usage review