boostcampaitech4lv23cv1 / final-project-level3-cv-02 Goto Github PK

Background

• 프로젝트를 전체적으로 파악할 수 있는 메인페이지가 있으면 시각적으로 좋을 것 같다.

To Do

• 메인 페이지 제작

Background

• 로그인, 회원가입 화면을 구현합니다.

To Do

• 로그인 페이지 구현
• 회원 가입 페이지 구현
  • 비밀번호 확인
• email 인증코드 확인 페이지 구현

Background

• 인증 기능을 구현합니다.

재현 방법

• 재현 방법 예시

To Do

• DB와의 작업 연동
  • DB 신규가입 코드로직 구현
• 이메일 인증 시 db에 저장. 이후 인증 체크 시 db에서 불러옴

Background

• musicxml을 audio로 변환하기 위한 코드

재현 방법

• musicxml2audio 내의 requirements.txt 설치
• musicxml2audio 내의 install_packages.sh 실행

To Do

• musicxml to midi
• midi to wav
• wav to mp3, flac, ...

Background

• 오픈소스 모델 oemer는 싱글톤 패턴으로 구현되어있어, 전역변수에 단 1개의 connection만이 접속함을 가정합니다.
• Fast inference를 병렬적으로 진행할 수 있도록 고칩니다.

To Do

• oemer/layers.py의 전역변수에 접근하고 있는데, 이에 접근하지 않도록 함수 Signature를 고칩니다.
• Fast inference 해결하기

Background

• 최종 제출 전 debugger, 필요없는 log 삭제

To Do

• @yj9404
• @byj9402
• @GuSangmo

Background

model output -> 알고리즘 output -> MusicXML 형식으로의 변환

To Do

• 알고리즘 output을 정제하여 MusicXML 형식으로 변환

Background

• model preprocessing code

Background

• db 연동하기

To Do

• db 연결
• table 생성
• schema 생성
• crud 작성
• crud test

Background

• 악보가 재생되는 화면을 구현합니다

To Do

• 화면
• 연주 기능 - 1
  • 볼륨 조절 - 1
  • 빠르기 조절 - 1
• 악보의 다른 부분을 누르면 그 부분으로 건너뜀 - 1
  • 구간 반복 - 1
  • 부분 연주 - 1
• 악보 자동 넘기기 - 2
• 왼손/오른손 따로 연주해주는 기능 - 2
• 사용자 수정 기능 - 3
• 다운로드 형식 선택 기능
  • 동작 가능하게 구현

Background

• 화면 기능 구현 1

To Do

• 사진 업로드 후 이미지 보여주기
• 사진 넘기기 기능 추가
• 사진 삭제 기능 추가
• 기타 필요한 기능

Background

현재의 계이름 알고리즘은 모델이 모든 음표를 찾는다는 가정 하에 만들어짐
하지만 모델이 음표를 하나라도 못 찾는다면 알고리즘은 동작하지 못할 수 있으므로
모델의 output과 별개로 주어진 음표에 맞춰서 계이름을 찾을 수 있는 알고리즘으로
수정해야 할 필요가 있어보임

To Do

• 계이름 알고리즘 수정

Background

• oemer를 site-packages가 아닌, 레포 단위로 넣기
• oemer가 musicXML을 이용하도록 반환, 및 기타 설정

재현 방법

• 해당 Repo를 pull 해본 뒤 잘 돌아가는지 확인하면 좋을 것 같습니다.

To Do

• oemer 폴더를 연동하기

  • requirements.txt에 oemer를 위한 라이브러리 추가 설치

• app/main.py 로직 개선하기

  • argparse를 통해 quick_version, slow_version에 모두 대응할 수 있도록 코드를 추가

• frontend 페이지 연동

  • feat8 브랜치를 pull받아 그와 관련된 기능 구현

Background

-모델링 코드 적용
@gyuboone @byeol5832

Background

• loading page

To Do

• loading 화면 구현
  • loading 화면으로 in
  • loading 화면에서 out
  • loading 화면에 시각적 효과 넣기 (사용자의 대기 피로도 감소)
• loading화면이 보여지는 동안 model 연결 <- 구체화해주세요 @yj9404 @GuSangmo
• error 화면 구현
  • error 종류 화면에 띄우기

Background

• 모듈의 상대 경로를 절대 경로로 고칩니다.
• 다운로드 코드

재현 방법

• app/constant.py와 musicxml2audio/constant.py에서 oemer의 경로와 app의 경로를 바꿔줍니다.

To Do

• 경로 고치기
• checkpoint 다운로드 코드 구현
• pkl이랑 json 파일 푸쉬하기

Background

• oemer의 속도 문제로 fast/hard version을 나누는 것이 service 측면에서 유리할 것이라 생각함

To Do

• main page에서 model 종류 선택 가능하게 하기
  • fast version 연결
  • hard version 연결
    • hard version page 제작
    • e-mail 전송 구현
      • email design
      • db 연결
  • design

Background

• README.md

재현 방법

• README.md 작성

Background

한줄짜리 악보에서 음표와 마디의 길이가 비슷해지면서
houghline threshold로 마디만 인식하는 게 불가능해짐

재현 방법

• 모종의 방법으로 음표를 지운다
• 음표 좌표를 받아서 음표 좌표에 생긴 선은 지운다

To Do

• 마디만 검출해서 열 idx를 return한다