- 웹캠을 통해 사용자의 손동작을 인식하여 마우스 커서 조작
- 목적
- 마우스 또는 터치스크린 기기의 조작 방식 대체
- 코로나 등의 질병 전염을 줄이기 위해 키오스크 등의 터치 스크린 기기의 위생 개선
- 실시간으로 컨텐츠 제작과 컴퓨터 조작을 동시에 수행해야하는 1인 컨텐츠 제작자들의 편의성 증진
- 마우스 또는 터치스크린 기기의 조작 방식 대체
# 레포지터리 클론
git clone https://github.com/boostcampaitech3/final-project-level3-cv-13.git
cd final-project-level3-cv-13
# 가상환경 생성
virtualenv virtual_mouse --python=3.8
source virtual_mouse/bin/activate
# 의존성 설치 및 플러그인 충돌 우회
pip install -r requirements.txt
mv virtual_mouse/lib/python3.8/site-packages/cv2/qt/plugins/ virtual_mouse/lib/python3.8/site-packages/cv2/qt/plugins_/
# 실행
python3 main.py
| 이동 | 클릭 | 우클릭 | None |
|---|---|---|---|
 |
 |
 |
 |
- 드래그: 클릭 상태 1초간 유지
- Top-down heatmap based hand keypoint estimation with MobileNetV3-Large backbone
- FreiHAND dataset으로 학습 후 CV7AHAND dataset으로 재학습
- CV7AHAND: 사용환경에 적합하게 직접 제작한 데이터셋
- Three-layer MLP - Sequential(Linear, BN, ReLU, Linear, BN, ReLU, Linear, Sigmoid)
- Input shape: (BATCH_SIZE, 42), Output shape: (BATCH_SIZE, 4)
- 손동작을 취하면서 직접 제작한 데이터셋으로 학습
| T3049 | T3114 | T3165 | T3209 | T3216 |
|---|---|---|---|---|
| 김재훈 | 송진우 | 이종민 | 조정빈 | 천영호 |
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent