가장 중요한 2가지 Task를 선정

1. 박자 인식 (음표의 모양)
2. 음정 인식 (음표의 높낮이)

먼저 음표의 모양을 Detection으로 검출한 뒤, 바운딩 박스의 좌표가 정확하게 계산된다면 그대로 음정에 적용. 좌표값이 불안정하면 openCV 모폴로지 연산을 사용하여 음정을 계산 및 보정할 계획

임시표, 이음줄 등의 추가 요소들은 위 작업을 완성하고 보완할 예정

EfficientDet 대신 Yolo v5를 사용하기로 결정

Yolo v5도 EfficientDet 못지 않게 강력하며, API와 도큐먼트가 고수준으로 구성되어 사용이 간편하기 때문에 이전 프로젝트에서 사용했던 경험이 있음

(사실 최신 모델들은 FPN나 MixUp 등의 trick이 무수하게 적용되어 나와서 Problem에 비해 Overpower 이기 때문에 뭘 사용하든 상관없다는 생각)

음표 이미지 데이터셋으로 학습한 결과 오선 위의 음표를 인식하지 못하였음

오선이 있는 악보를 직접 라벨링하여 데이터셋을 구성함. 라벨링은 makesense.ai를 사용

1. 학습 데이터에 대한 추론 결과

   

2. 테스트 데이터에 대한 추론 결과

오선 위에서는 특정 음표를 제외하고 인식률이 낮은 문제가 발생

전처리 단계에서 오선을 먼저 지우고 진행하기로 판단

오선이 있을 때보다 검출이 더 잘 되는것을 확인

1. 오선이 지워진 이미지에서 음표 기둥 제거
2. 이미지의 수직, 수평 히스토그램을 사용해 머리만 남은 음표의 좌표 측정
3. 오선 제거시 추출한 오선 좌표와 비교하여 음정 계산