수화 인터프리터: AI 미국 수화 도우미

Table of Contents

1. 소개
2. 프로젝트 동기
3. 사용한 데이터
4. 사용한 방법과 모델
5. 결론
6. 모델 버전 1
7. 모델 버전 2 (전이 학습)
8. 모델 버전 3 (복잡한 CNN 아키텍처)
9. 모델 비교
10. 실시간 분류 성능
11. 추가 실험과 발전 방향
12. 질문과 답변 (FAQ)

📝 [제목] 소개

[소개에 대한 간단한 소개문]

[제목] 프로젝트 동기

저의 프로젝트 동기는 미국 수화에 기인합니다. 수화는 시각적인 의사소통 수단으로, 약 2800만 명의 미국인이 청각 장애를 가지고 있습니다. 그 중 200만 명은 귀농이라는 분류에 속합니다. 이러한 사실을 고려하여 이번 프로젝트에서는 학습된 합성곱 신경망을 구축하고 훈련시켜, 수화의 글자를 분류하기 위한 모델을 만들고자 했습니다.

[제목] 사용한 데이터

저는 총 84,028개의 이미지로 구성된 데이터 세트를 사용했습니다. 원본 데이터 세트에서는 29개의 클래스 중 28개 클래스(A부터 Z까지의 글자)를 사용했으며, 남은 1개의 클래스는 손 모양이 없는 이미지로 사용했습니다. 각 클래스에는 2,100개의 이미지를 훈련에 사용하고, 900개의 이미지를 검증에 사용했습니다. 이미지는 조명 조건과 카메라와의 거리가 다양했습니다.

[제목] 사용한 방법과 모델

이미지 처리 중에는 엣지 감지 기법인 Sobel 필터링을 사용했습니다. 각각 X축 필터와 Y축 필터를 사용하여 이미지의 변형을 적용했습니다. 해당 필터를 사용한 결과, 전반적으로 좋은 효과를 얻을 수 있었습니다.

프로젝트에서는 세 가지 버전의 기본 모델을 사용했습니다. 모델 버전 1은 간단한 CNN(합성곱 신경망) 아키텍처로 구성되어 있고, Max Pooling, Dropout, Batch Normalization, Dense 레이어 등을 포함합니다. 마지막 Dense 레이어는 사용한 클래스 수와 동일하게 28개의 뉴런으로 구성되어 있습니다.

모델 버전 2는 전이 학습을 사용한 모델입니다. 사전 훈련된 CNN 모델인 Exception을 사용했습니다. Exception은 3억 5천만 개의 이미지와 17,000개의 클래스로 사전 훈련된 모델입니다. 하지만 전송 학습을 통해 얻은 결과는 버전 1에서 구축한 아키텍처의 성능보다 낮았습니다.

버전 3은 전통적인 CNN 아키텍처에 비해 더 많은 레이어와 훈련 가능한 매개변수를 가지고 있습니다.

[제목] 결론

세 가지 버전의 모델을 비교한 결과, Sobel X 필터링을 사용한 버전 3의 성능이 가장 우수한 것으로 나타났습니다. 이 모델을 실시간 이미지 분류에 적용하는 데도 잘 작동하는 것을 확인했습니다. 하지만 최적의 배경을 찾는 데는 몇 번의 시도가 필요했습니다.

앞으로는 배경과 이미지 처리 기법을 다양화하여 모델이 유사한 제스처를 구분할 수 있도록 실험하고 발전시킬 계획입니다.

[제목] 모델 버전 1

[모델 버전 1에 대한 자세한 내용]

[제목] 모델 버전 2 (전이 학습)

[모델 버전 2에 대한 자세한 내용]

[제목] 모델 버전 3 (복잡한 CNN 아키텍처)

[모델 버전 3에 대한 자세한 내용]

[제목] 모델 비교

[세 가지 모델의 성능 비교 결과]

[제목] 실시간 분류 성능

[실시간 이미지 분류 결과]

[제목] 추가 실험과 발전 방향

[향후 계획 및 실험에 대한 설명]

[제목] 질문과 답변 (FAQ)

[자주 묻는 질문과 그에 대한 답변]

하이라이트

1. [하이라이트 1]
2. [하이라이트 2]
3. [하이라이트 3]
4. [하이라이트 4]
5. [하이라이트 5]

FAQ

Q: 이 모델은 어느 정도의 정확도를 보여줍니까?

A: 모델의 정확도는 Sobel X 필터링을 사용한 모델 버전 3에서 약 97%입니다.

Q: 수화의 글자 외에 다른 제스처나 동적인 동작을 분류할 수 있습니까?

A: 앞으로의 연구 방향 중 하나는 수화 외에도 다른 제스처와 동적 동작을 인식할 수 있는 모델을 개발하는 것입니다. 이를 위해 배경과 이미지 처리 기법을 변형하고 실험할 예정입니다.

Q: 이 모델을 실시간으로 사용할 수 있습니까?

A: 모델을 실시간 이미지 분류에 적용할 수 있으며, 일정한 정확도와 성능을 보입니다. 다만 최적의 배경을 찾는 데 몇 번의 시도가 필요할 수 있습니다.

[참고 자료]

• 이메일: [이메일 주소]
• LinkedIn: [LinkedIn 프로필 링크]
• GitHub: [GitHub 프로필 링크]