[딥러닝프로젝트_AI수화번역기 ] 최종결과물

그동안 이것저것 할게 많아서 프로젝트는 11월에 끝났는데 정리를 못했다.

최종적으로 2021 혁신성장 청년인재 집중 양성 사업 "인공지능 개발자 양성 과정 최종 프로젝트" 에서 부산대표 1등을 하고 전국에서 최우수상을 받는 좋은 성적을 거뒀다!!

---

 

 

■ 프로젝트 주제(부제 : 구체적인 서술)

• AI 수어 번역 서비스( 수어 데이터를 입력 받아 번역하여 텍스트 데이터를 출력하는 번역 서비스 )
• 농인, 비농인 간 원활한 의사소통을 위한 AI 기반 수어 통역기(or 통역 서비스)

 

■ 기획의도

• 일반인과 농인(청각장애인)들의 의사소통을 원활하게 하고자 함.
• 농인 간 일상 속 대화는 시각적 언어인 수어를 통해 의사소통하지만, 비농인과 농인의 의사소통은 서로의 언어가 상이하여 의사소통의 어려움을 겪음.

 

■ 개발일정

• 2021년 09월 14일 ~ 2021년 11 06일

 

■ 데이터 설명

• Python Mediapipe를 사용하여 손을 이용한 수어 데이터 수집
• MediaPipe [Hands]
• 머신러닝(ML)/ 딥러닝(DL) 을 사용하여 단일 프레임에서 손의 21개 3D 랜드마크를 추출합니다.
• ML 파이프라인 hands detector에 의해 정의된 이미지 영역에서 작동하고 충실도가 높은 3D hands keypoints를 반환하는 hand landmark model 

  

 

 

 

 

 

머신러닝과 딥러닝 알고리즘 2개로 나누어서 학습을 시켜 봤습니다.

 

 

 

 

1. 머신러닝(ML) 알고리즘

• Mediapipe로 인식한 손의 각 부분 벡터의 사이 각도를 구함 (각 제스처의 각도를 testmodel.h5 파일로 저장) 각 제스처의 각도를 저장한 데이터셋을 RNN 알고리즘을 사용하여 알아냄
• KNN_Mediapipe_Hangul-Sign-Languge 저장된 Dataset를 사용하여 정확도 측정 KNN을 사용했을 시 정확도는 k=1 ~ 10까지 알아봤을 때 k=1 일 경우 가장 높은 정확도를 보임 (최소 95이상)

 

 

2. 딥러닝 알고리즘

• Mediapipe로 인식한 손의 각 부분 벡터의 사이 각도를 구함 (각 제스처의 각도를 csv 파일로 저장) 각 제스처의 각도를 저장한 데이터셋을 KNN 최근접 알고리즘을 사용하여 알아냄

 

3. 안드로이드 어플 구현 Tensorflow Object Detection ssd_mobilenet_v2 모델학습 (전이학습) 을 통해 수행

• Tensorflw Lite- Android app 연동

 

 

 

■ 분석 모델 검토

• 머신러닝과 딥러닝을 이용하여 수어를 번역하는 자연어 처리솔루션 (CNN과 RNN 알고리즘을 응용)
• 시각 언어체계 변환을 위해 영상이 입력되면 이를 텍스트로 변환하는 방식 (vision to text)
• 영상 -> text
• input -> output -> 수화영상을 실시간 텍스트 /음성 뽑아주는 서비스

 

 

■ 사용기술

• Image Processing(OpenCV, MediaPipe)
• Machine Learning : KNN
• Deep Learning : RNN(LSTM)

 

 

■ 최종산출물

• Web Service(Django)
• Android App

 

 

---

■ 결과 영상

 

1. 안드로이드 어플 구현 영상 

- 알파벳 (a~z) 학습시킴

- TTS (Text To Speech)

 

 

☞ hello world 를 수화로 번역해보겠습니다.

 

 

 

 

 

2. 웹 사이트 구현 영상 (머신러닝) , 딥러닝구현은 마지막 인사말로 대체하였음

- django 

- 웹디자인(부트스트랩)

 

 

☞ 나태주 시인의 풀꽃 을 수화번역해보겠습니다.

* 화면에 텍스트가 다 보이게 하기 위해서 임의로 틀린글자 삭제처리와, 띄어쓰기를 학습시켰습니다.

   

삭제 처리

 

 

한 줄 띄어쓰기