image2music Service

2024 LikeLion Data Analysis School, DATATON, Team MISO

프로젝트 기간 (25일) : 24.06.03 ~ 24.06.27

---

🎶 서비스 소개

Moodsic은 사용자의 사진을 분석하여 해당 상황에 맞는 노래를 추천해주는 서비스입니다. 사진으로 부터 상황을 읽고 상황에서 감정을 추출하는 방식으로 서비스가 작동합니다. 아래 사진을 보면 데이터가 어떻게 변환되고 서비스가 작동가는지 쉽게 이해할 수 있을 거예요.

🖥️ 서비스 시연 영상

Moodsic_demo_.mp4

* 네이버 클로바 더빙 이용

🌐 사용해보기

데모 노트북에서 localtunnel notebook을 실행하면 임시로 호스팅된 데모 페이지에 접속 가능해요. 단 API가 정상적으로 발급되지 않으면 Playground와 LLM에게 추천받기 기능은 사용 불가해요.

🛠️ 서비스 동작 방식

🗃️ DB 구축

🙇‍♂️ 팀 소개

✅우리 팀의 이름?

• 저희 팀의 이름은 MISO(미소)😊예요! 의미는 Multi-In-Single-Out으로 프로젝트 초기에 Multi-Modal 모델 구현을 목표로 한 것에서 비롯됐어요. 하지만 프로젝트를 진행하다보니 Single-In-Single-Out이 되어버렸네요. 지금이라도 팀 이름을 SISO(시소)⚖️로 바꿔야 할까요?

✅우리 팀은 3명으로 이루어져있어요.

🙋‍♂️ 강민기

✔ 이번 프로젝트에서 streamlit 페이지 제작과 LLM Multi-Agent 구현 등을 담당했어요.

• LLM의 프롬프트 엔지니어링이나 LLM Multi-Agent는 개념적으로만 알고 있고 사용할 일이 없었는데, 이번 프로젝트를 기회 삼아 공부할 수 있었어요. 이번 프로젝트를 통해 내가 풀고자 하는 문제에 LLM을 알맞게 사용하는 방법을 고민하고 배울 수 있었어요.
• streamlit을 이용해 서비스를 웹에 직접 구현해 보면서 GUI와 서비스 배포까지 공부해 볼 기회가 됐어요. 같은 코드지만 GUI를 한번 거치니 CLI에서 동작할 때보다 퀄리티가 몇 배는 좋아진 것처럼 보였고, 사용자 입장에서 사용에 대한 부담도 줄어드는 걸 실감했어요. 앞으로 열심히 작성한 코드를 github에 유기하는 것에 그치지 않고 서비스 차원의 배포까지 고민해 볼 수 있는 기회가 됐습니다.
• 이번 프로젝트를 마치며 가장 아쉬운 점은 데이터의 양과 퀄리티 문제였어요. 저희에게 필요했던 데이터는 필연적으로 퀄리티가 낮은 데이터라서 많은 양을 수집했어야 했는데 시간상 그러지 못했던 것 같아요. 하물며 프로젝트를 진행하다 보니 데이터의 라벨이 잘 정의되지 않은 듯했어요. 프로젝트를 다시 한번 진행하게 된다면 데이터 정의와 수집에 조금 더 신경 쓸 것 같아요.

🙋‍♂️ 이태영

✔ 이번 프로젝트에서 BLIP 모델 설계 및 BERT 감정 분류 모델 제작 등을 담당했어요.

• 기존에는 이미지 기반의 CNN기법을 활용한 모델만 공부를 해봤었고 활용해봤던 경험이 있었습니다. 그리고 이번 프로젝트를 통해서 그동안 미뤄왔던 자연어 기반의 모델과 멀티 모달 모델의 원리를 이해하고 공부해볼 수 있었습니다. 이 경험을 통해서 앞으로도 나오는 모델을 계속 공부하고 이 모델들을 활용할 수 있는 사람이 될 수 있었으면 좋겠습니다.
• 이번 프로젝트에서 GPU 환경 문제와 시간 문제가 있어 다양한 시도를 못해본 점이 아쉽습니다. batch_size, Optimizer, loss_function 변경 및 수정등 여러 방향으로 접근해 모델을 학습시켜보면서 더 성능이 좋은, 서비스에 맞는 모델을 만들고 싶었지만 데이터 수집에 한계도 존재했던만큼 그 안에서 이런 결과물을 만들어냈다는게 뿌듯했던 프로젝트였습니다.

🙋‍♂️ 운민혁

✔ 이번 프로젝트에서 음악 데이터 수집 및 전처리, 음악 감정 분류 모델 제작을 담당했어요

• 프로젝트를 진행하면서 음성 데이터를 처음 다뤄보면서 데이터를 설명하는 다양한 방식에 대해서 공부해볼 수 있는 좋은 기회였던것 같습니다. 음성을 수치로 나타내 설명할 수 있다는 점이 흥미로웠고 음악의 느낌마다 그 특성의 차이가 유의미하게 나타나는 점이 재미있었습니다.
• 과적합 문제를 해결하지 못해 모델의 성능을 최대한 끌어올리지 못한 부분이 아쉬워요. 모델들의 하이퍼 파라미터 튜닝을 다양하게 하지 못한 것이 아쉬워요 더 좋은 모델 성능을 뽑을 수 있다면 좀 더 좋은 추천 시스템을 만들 수 있지 않을까 라는 생각이 들지만 그래도 유의미한 완성본을 만들어 냈다는 점은 만족스러운 프로젝트였어요.