boostcampaitech3 / final-project-level3-cv-12 Goto Github PK

Sparse-RCNN - classes문제 수정

• train/validation에서 class가 이상하게 예측되던 문제 해결
• 하지만 test에서는 여전히 confidence score가 낮음
• 학습데이터의 object 배경을 test환경과 유사하게 만들 필요가 있어보임
• 그래도 classes를 잘못지정해주었을 때보다는 나은 결과

train

validation

test

인튜웍스 데이터셋 학습

• 하얀 배경의 단일 상품 이미지가 실제 매대 상품 이미지와 배경이 다른 것이 결과에 영향을 미치는지 확인

[Train]

• 이전에 test로 이용했던 데이터셋(myeon)을 학습 링크
• faster rcnn 기본 config 사용

데이터셋 bbox 시각화

• class가 10개로 매우 적어서 모든 라면에 bbox를 그리지 않음 (labeled data 부족)

[Inference]

• 직접 찍은 사진

결과 시각화

• 어느 정도 bbox를 찾긴 하지만 완벽하게 다 찾아내지는 못함

  • 각도가 다르거나 옆 봉지가 정면으로 찍힌 경우
  • 이미지 초점이 흐린 경우

• 데이터 부족

• 모델, augmentation 등을 변경하여 학습을 해보지 않음

• 매대 상품과 비슷한 환경의 이미지를 학습시켜야 할 것으로 보임

  • 이미지 합성
  • 직접 annotation

zz

롯데정보통신 데이터셋(학습용): 링크
서울열린데이터광장 편의점 데이터셋(테스트용?) 링크
참고
페이스북
롯데정보통신 VISION AI대회
누군가의 토이프로젝트

test

zz

[SKU-110K] 링크 설명자료 대회

[StandardSim]링크

[이미지합성]

[masking] 관련 코드링크

[Cut, Paste and Learn] 논문 링크

저희 프로젝트 동영상으로 detect를 했는데 3가지 문제점이 생겼습니다.

1. 상품하나당 하나씩을 detection을 못하는거같아요. 근데 이건 모델 문제일 수도 있어서 팀원분들 two stage 돌리는거 결과를 봐야 알거같아요. >> 다 같이 있는 상품 데이터셋을 구해야 하는거 같기도? 합니다

2. 학습데이터에 5봉입 번들상품이 저희 영상에는 없다는점이에요. 애초에 데이터 보니까 5봉입 상품이 4개밖에 없더라구여

3. detect시 글자 깨짐현상 발생합니다. 이건 글꼴다운 받아서 안에 코드를 변경 시켜줘야 할 것 같습니다