[딥러닝프로젝트_AI수화번역기 ] 01

5개월간의 인공지능 '인공지능 개발자 양성 교육' 을 듣고  약 한달 반정도의 최종 프로젝트를 수행하고 있다.

기초적인 파이썬 코드와 딥러닝의 이론적인 교육이 주된 수업이라 구현하기에 앞써 걱정이 컸다.

마지막 평가에서 좋은 결과를 얻기위해 좋은 주제를 선정하기가 많은 시간이 걸렸다.

한 2주는 주제 아이디어 선정하는데 보내버린 듯 하다...

그래서 선택한 주제는 바로 !!  "AI 수어 번역기" 이다 

 

* 수화는 소리가 아닌 손짓을 이용해서 뜻을 전달하는 언어의 일종이다. 요즘은 수어라고도 한다.

먼저 수어(화)의  어마어마한 데이터 셋을 구하는게 1차 목표였다!

다행이도 AI Hub 에서 수화 데이터 셋이 있었다. [개방데이터>음성/자연어>수어영상] 

https://aihub.or.kr/aidata/7965/download

수어 영상 다운로드 | AI 허브

근데 구축 용량이 536000?? 전체 다운로드 받을려니 몇십시간이 넘어가고 노트북에선 용량부족으로 불가능하다..

 

 

근데 몇개를 선별해서 다운로드를 해보니 .. 한 영상의 데이터도 너무 많고 무슨 글자인지도 하나하나 다 열어봐서 확인해봐야하는 불편함이 있었다.. aihub에서 글자 분류해서 정리한 엑셀파일을 올려줬으면 하는 마음이...

몇몇 단어, 문자를 테스트식으로 할려해도 너무 막연해서 결국은 데이터를 직접 학습시키기로 결정!

 

계속 찾던 중 가볍고 좋은 라이브러리인  구글의 Mediapipe를 발견!!

https://google.github.io/mediapipe/solutions/hands

Hands

오호 아무래도 기존에 생각했던 수어이미지를 cnn 학습시켜 하는 방법이 아니라

관절 키포인트를 추출해서 학습시키는 모델 방법이다.

예제를 보니 실시간 감지도 빠르고 좋은듯!!??

 

* 수행순서 (변동가능성 있음)

1. 1차 데이터 수집 - 수어  데이터셋
2. 데이터 전처리(이미지 프로세싱 : opencv, mediapipe) ->  손 트레킹 셋 데이터 수집(2차데이터 수집)
3. 학습 모델 구축(RNN - LSTM) 
4. 서비스 구현(안드로이드)