김재현	이성연

• 📝Project Summary
• 🗂 Dataset Summary
• 🗓Procedures
• 👨‍👩‍👧‍👧Team Roles
• ❄Features
• 🏁Result

• Appendix

• ♟Requirements
• 📁Folder Structure
• 🧾Reference

프로젝트 주제

• 개요 및 기대효과
  • 물류센터(HUB, CAMP) 내 컨베이어 벨트에서 박스 포장의 찢어지거나 젖음 등을 Detection 하여 재포장이 필요한 경우를 선별하는 프로그램 구현
  • 물류센터에서 실시간으로 사용하는 프로그램을 목표로 하였음. 따라서 Realtime Detection의 적용이 필요함.
  • 오토소터같은 기존 분류 시스템에 비해 저렴한 비용으로 시스템 구축을 할 수 있음.
  • 오상차 오배송에 대한 데이터 축적으로 내부 프로세스 평가 반영을 할 수 있으며 이를 바탕으로 고객 경험 향상 효과도 기대되는 만큼, B2B, B2C 관점 모두에서 인적, 경제적인 이득을 볼 수 있음.

• 상자 데이터

  • 라벨 : Hole(구멍, 찢어짐), Wet(젖음)

  • 수집 방법

    • 1단계 : 웹 크롤링 을 통하여 데이터 수집 (987장)
    
    • 2단계 : 웹 크롤링 계속 + 자체적인 길거리 탐색 데이터 수집 (1684장)
    
    • 3단계 : 갈색박스 상자 구매후 자체적인 데이터셋 제작 (3287장)
    

  • 전체 이미지 개수 : 3,287장

  • 객체 종류 및 객체당 BBox 개수 : 4,837개 (Hole(구멍,찢어짐) 2,226개 , Wet(젖음) 2,611개)

  • 이미지 크기 : (640, 640) -> (1280, 1280)

  • 데이터셋 형태 : 택배 상자 (갈색 판지)

• 택배송장 데이터

  • 전체 송장 개수 : 187장

    • GS 편의점 송장 80장
    • CU 편의점 송장 106장
    • 시험데이터 추가 1장 (실제 송장으로 ocr 테스트)

  • 송장 사진 총 250장

  • 처리 방법

    • 1단계 : 송장 전체에 Annotation 적용
    
    • 2단계 : 송장에 있는 "운송장번호" Annotation
    

데이터셋 이미지

• 택배 상자 데이터
  
• 택배 송장 데이터
  

image size & resize
640 x 640 -> 1280 x 1280 -> 2048 x 2048
--> yolov7 논문 참조시 데이터셋 640 x 640 학습 추후 데이터 핸들링을 통하여 resize 작업 진행

Augmentation
crop 10° -> 데이터 증강을 위한 Augmentation
yolov7, yolov8 hyper param 기능 augmentation: True
(Mosaic : 1.0, fliplr : 0.5, scale : 0.5, translate : 0.1, hsv_h : 0.015, hsv_s = 0.7, hsv_v = 0.4)

[2023.01.02 ~ 2023.01.06]

• 프로젝트 주제 탐색 및 선정
• 프로젝트 계획 구상

[2023.01.06 ~ 2023.01.18]

• 데이터 수집 및 전처리
  • Detection 특성상 불량데이터를 구하기 어려웠으므로 이를 직접 만들어냄.
  • 가장 보편적인 택배 상자(갈색 판지 상자)의 데이터만을 고려

[2023.01.14 ~ 2023.01.16]

• 1차 Model training and testing
  • Real Time Detection
  • Train, valid dataset split
  • Data Augmentation

[2023.01.17 ~ 2023.01.24]

• 1차 Detection model result 분석, 평가
  • Annotating 대폭 수정
• OCR / Model serving Reference Searching 시작
  • App service 계획이 있었으나 차후로 미룸.

[2023.01.25 ~ 2023.01.27]

• 2차 Detection Model training and testing
  • 수정된 Annotating 적용
  • Resolution 조정 (640640 -> 12801280)
  • 결과 분석, 평가 후 3차로 넘어감
• Github repository 결과물 정리
  • Readme 작성 시작

[2023.01.28 ~ 2023.02.06]

• OCR model 준비
  • 택배 운송장 데이터 준비 (임의의 주소데이터 생성, 송장 인쇄)
  • OCR API test (Google Cloud Vision, Naver Clova)
  • OCR model searching (EazyOCR, Tesseract 등)
• 3차 Detection model training and testing
  • use EfficientDet models. (D0, D1)
  • also used Yolo models : Yolo가 Eff.Det보다 나음 확인
• App 구현 계획을 Web Serving으로 수정. (Insight 다시보기)
  • 고객에게 알림을 발송하는 기능이 필요없음.
  • 물류회사(공장) 내부에서만 사용하는 프로그램으로 사용 : 웹으로만 구현해도 됨.

[2023.02.07 ~ 2023.02.13]

• Web Serving 구축 (Flask)
• 실시간 구축 웹 사이트 구현
• 웹 UI 제작 (불량검출 : 검출하는 것 보여주기 / 송장인식 : OCR bbox 저장+crop)
• OCR Data train + inference 시작
• Tesseract, Naver Clova API, EazyOCR 등 사용
• 송장 사진 100여 장에서 각 숫자 + "운송장번호" 글자에 bounding box 지정, inference
  • Yolo v8 기반으로 모델 만들기 도전. 20,000 Epoch 시도.

[2023.02.13 ~ 2023.02.16]

• Presentation 준비

  • Data, Model, OCR, Git, any other process 정리
  • 발표 대본 제작, 디자인 구상

• DB 구축

• OCR 수정

[2023.02.17]

• 발표 및 점검.

• Detection 최적의 모델을 찾기 위한 YOLO, efficientDet, CoreML등 객체모델 학습 및 테스트
• Make Data Set 구축을 위한 현실에서의 데이터 셋 Searh & Make
• EasyOCR, Tesseract, MMOCR 등 오픈소스기반의 OCR 모델 사전 테스트 및 fine tune
• NAVER Clova AI, KAKAO 등 국내 기업의 OCR API 사용

# pip install -r requrements.txt
gitpython
ipython  # interactive notebook
matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.1.1
Pillow>=7.1.2
psutil  # system resources
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
thop>=0.1.1  # FLOPs computation
torch>=1.7.0  # see https://pytorch.org/get-started/locally (recommended)
torchvision>=0.8.1
tqdm>=4.64.0
# protobuf<=3.20.1  # https://github.com/ultralytics/yolov5/issues/8012

# pip install -r requrements.txt
matplotlib>=3.2.2
numpy>=1.18.5,<1.24.0
opencv-python>=4.1.1
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0,!=1.12.0
torchvision>=0.8.1,!=0.13.0
tqdm>=4.41.0
protobuf<4.21.3

# pip install Ultralytics
pip install -r requrements.txt
matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.6.0
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.64.0

├── BoxDetection
│     ├── Yolo  ┬── v4 (DarkNet)
│     │		├── v5
│     │		├── v7
│     │		└── v8
│     ├── CoreML (yolo v2, v3 based)
│     └── EfficientDet ┬── D0
│     		       └── D1
│  
├── TrackingDetection
│     └── Yolov8
|
│ 
├── Serving  
│     └── YOLOv8s  
│   
├── OCR (Optical Character Recognition)
│     ├── EazyOCR
│     ├── TesseractOCR
│     ├── mmOCR
|     ├── Naver Clova A.I.
|     ├── Google Cloud Vision
│     └── Kakao
|
|
└─── Dataset
      ├─── train.txt
      ├─── valid.txt
      └─── test.txt