SONTOK-TEAM

SONTOK

🎈 프로젝트명 : SONTOK

📌 프로젝트 컨셉 : 실시간 수어 번역 애플리케이션

🛠 개발 기간 : 23.10.09 ~ 23.11.17 (6주)

1️⃣ 주요기능

*농인과 *청인의 실시간 대화를 도와주는 애플리케이션
대화의 전체 내용을 저장 및 열람하는 기능

*농인: 청각장애인 중 한국수어를 제1언어로 사용하고 한국수어에 기반한 독특한 농문화를 영위하며 사는 사람
*청인: 농인에 대비되는 개념으로 음성언어를 중심으로 의사소통을 하는 사람

2️⃣ 세부기능

구분	기능	설명	비고
1	실시간 수어 번역	농인의 수어를 텍스트로 번역, 텍스트를 음성으로 변환하여 청인에게 전달
2	음성을 텍스트로의 변환	청인의 음성을 텍스트로 변환하여 농인에게 전달하는 기능
3	대화 내용 저장	실시간 대화 내용 전체를 저장	수어, 음성 대화를 일괄 텍스트화하여 저장
4	대화 내용 열람	저장한 대화 내용을 불러오기

3️⃣ 아키텍처

시스템 다이어그램

1) 청각장애인

2) 비장애인

개발환경

🌐 공통

상세	내용
GitLab	형상 관리
Jira	일정 및 이슈 관리
Mattermost	커뮤니케이션
Notion	일정 및 문서 관리

📱 FrontEnd

상세	버전	비고
Kotlin	1.8
JDK	17
min SDK	29
target SDK	33
MediaPipe	latest
Tensorflow Lite	2.14.0
Naver CLOVA	1.1.6	CLOVA Speech Recognition(CSR)

📱 Machine Learning

상세	버전	비고
Python	3.11.6
opencv-contrib-python	4.8.1.78
Tensorflow	2.14.0
Mediapipe	0.10.7
Matplotlib	3.8.0

4️⃣ 설치

SONTOK 다운로드 해당 Google Play링크에서 APK 파일을 다운받아 안드로이드 환경에서 설치할 수 있습니다.

5️⃣ 사용자 화면

1) 실시간 대화

2) 대화 내용 저장

6️⃣ 릴리즈 히스토리

1.1.9
- 최종 릴리즈 버전

7️⃣ 팀원 정보 및 업무 분담

이름	역할	담당	비고
탁성건(팀장)	ML	data 수집, dataset 생성, modeling	profornnan@gmail.com
강성구	ML	modeling, data 전처리, 모델 버전 관리, 파일구조 관리	sungku2757@gmail.com
이재홍	ML	ML, 영상, 발표 자료	h78749891@gmail.com
김용우	Android App	Figma 기획 및 제작, Front-End(media pipe, tensorflow lite), 모델 테스트	greenlife126@gmail.com
동화영	Android App	Figma 기획 및 제작, Front-End(MediaPipe 적용, TTS 적용, MediaPipe의 결과를 ML 입력데이터로 변환)	donghwayeong@gmail.com
임서희	Android App	Figma 기획 및 제작, Front-End	seooh212@gmail.com

8️⃣ 회고

프로필	내용	비고
	탁성건 인공지능이라는 새로운 분야에 도전하며 데이터 셋 생성, 전처리 및 학습 과정을 통해 ML에 대한 이해를 높일 수 있었던 좋은 경험이었습니다.
	강성구 공통, 특화와는 다른 새로운 분야에 대한 도전이었습니다. 직접 데이터 셋도 만들고, 안드로이드와 연동도 해보는 과정에서 시행착오가 많았지만 하나하나 해결해나가면서 배울 점도 많아 뜻 깊은 시간이었습니다.
	김용우 공통, 특화를 거쳐 SSAFY에서의 마지막 프로젝트인 자율 프로젝트를 마무리 지었습니다. 프로젝트를 진행하며 그 동안 쌓았던 노하우와 기술을 마음껏 쏟아 부을 수 있는 좋은 기회였습니다. 팀원들이 모두 열심히 해 주어서 프로젝트가 잘 마무리 될 수 있었습니다. 다만, 프로젝트를 마무리 할 때는 언제나,, "조금만 더 시간이 있었다면..." 이라는 아쉬움이 남는 것 같습니다. 온 디바이스에서 3개의 인공지능 모델(media pipe pose, media pipe hand * 2, 우리의 model)과 클로바 X의 STT, TTS 를 모두 적용해 보는 좋은 경험이였습니다.
	동화영 팀원들과 자율적으로 주제를 정하며 누군가의 삶에 도움이 되는 서비스를 만들자는 하나의 목표를 정하였습니다. 지금껏 개개인이 쌓아온 기술력을 총집합하여 하나의 애플리케이션에 녹아낼 수 있는 소중한 기회였습니다. 처음 적용해보는 STT, TTS, MediaPipe 기술을 안드로이드 온디바이스 환경으로 적용해보는 도전적인 과제이었으나, 실사용자들이 우리의 서비스를 사용하면서 편리하게 소통할 수 있을 모습을 상상하며 끊임없이 도전한 프로젝트였습니다.
	이재홍 성실하게 노력하는 팀원들과 새로운 분야를 여러 각도에서 접근해 볼 수 있는 기회였습니다.
	임서희 STT와 TTS 그리고 실시간 통신을 통한 수어 번역 프로젝트를 경험할 수 있었고 즐겁게 프로젝트를 마무리 한 것 같습니다.

Provide feedback

Saved searches

Use saved searches to filter your results more quickly