휘시바크 | Notion

AI Research

UXUI

요구사항 및 화면 구성 기획

대시보드 화면(현장용/관리자용)

https://www.figma.com/design/pTQL7UulrNFq8TTi1OKEtc/휘쉬바크-공정관리-대시보드?node-id=4-2&t=0NJgolecokelT22C-1

데이터셋 제작

사진 촬영
- 케이원 세팅 파악 필요
- 조명 환경?
- 이미지 해상도
데이터셋 제작
- annotation 툴
  - https://github.com/cvat-ai/cvat (👍)
  - https://labelstud.io/
- 클래스 분류 → 불량 샘플 분석 필요
  - 사출 이상
    - 찌그러짐, 찢어짐 등
  - 인쇄 이상
- COCO 데이터셋 형식
- 프로세스
  - 라벨링 후 다른사람이 검수하도록
- 기타
  - 이미지를 어떻게 자를 것인가? 자르지 않을 것인가?
  - 일반적으로 요구되는 데이터셋 크기
    - Images per class. ≥ 1500 images per class recommended
    - Instances per class. ≥ 10000 instances (labeled objects) per class recommended
  - 확장자는 JPEG 또는 PNG (analytics 요구사항)
  - 이미지 사이즈는 32로 나눠지는 범위에서 자유로움 → YOLO 모델 설정하는 단계에서 지정하도록 되어있는데 (예제 보면 전부 640), 데이터셋 단계에서부터 조정할 필요는 없는가?
- 합성데이터
  - 인쇄 도안 요청해주신다고 함 (각 프린트 레이어별로)
  - 3D 모델링? 아니면 그냥 정상인 흰색 카트리지에 인쇄 도안을 warping해서 붙여넣기?
  - 3D 모델 구입 가능함
    - https://www.cgtrader.com/3d-models/industrial/other/sealant-cartridge-open-mockup
    - https://www.cgtrader.com/3d-models/industrial/other/sealant-cartridge-open-mockup-3d-model (위에랑 다른거임, 폴리곤 수가 적은 대신 더 저렴)
    - https://www.turbosquid.com/3d-models/sealant-tube-1127757 제일 비싼데, 다른애들은 리드 부분이 분리되어있는지 확실하지 않은데 이건 확실함
    - https://grabcad.com/library/sealant-tube-e-310l-krimelte-cartridge/details?folder_id=50891 가입하면 무료로 받을 수 있는 것 같은데 310ml 모델임. 사이즈만 맞추면 될 것 같기도하고. 리드 부분 나사 모양이 좀 다름. 렌더링했을 때 상단 홈 윗부분과 아랫부분이 이상하게 음영이 생김
      
      E 310L tube.stl
  - 휘시바크에서 생산하는 300ml 모델은 하나밖에 없음. 스펙은 아래 pdf 참조.
    
    TYPE_E_300_EN.pdf
  - 배경
    - 다양한 이미지로 하기
    - 공장 라인을 3DGS나 NeRF로 복원하기

모델 학습 방법

https://github.com/ultralytics/ultralytics(YOLO), https://github.com/THU-MIG/yolov10, https://github.com/Deci-AI/super-gradients(YOLO-NAS) → 세부 모델(파라미터 수 별로 선택지가 있음)은 기기 스펙과 성능 목표에 맞춰 결정
- medium까지는 성능차이가 꽤 심해서 속도가 너무 안나오는 것 아니면 medium 이상의 모델을 사용해야할 것 같음
- ultralytics 통해서 YOLO 학습할 때 single_cls flag도 있는거보면 single class object detection에서도 YOLO 잘 쓰나봄 https://github.com/ultralytics/ultralytics/issues/6183
다른 데이터셋에 pretrain? → ultralytics에서 제공되는 pretrained 모델 사용하자
https://docs.ultralytics.com/modes/train/#augmentation-settings-and-hyperparameters Ultralytics에서 기본적으로 제공하는 augmentation 목록인데, shear 같이 어쩌면 우리한테는 안하는게 나을 수 있는 augmentation도 있으니 살펴보고 제외할 건 제외하자
- Ultralytics augmentation 방식 이미지의 색을 조정하거나 회전, 뒤집기, 크기를 바꾸는 등의 방식을 통해 학습 데이터를 증강시킴
실험관리 - WandB, MLflow
- ultralytics와 MLflow가 integration 되어 있고, 회사 내 다른 프로젝트에서 MLflow를 사용한 경험도 있으니 MLflow가 적합할 것으로 보인다.
여차하면 맥으로 학습 가능 (느리긴 한데 mps 지원함)
https://github.com/obss/sahi/blob/main/demo/inference_for_yolov8.ipynb 전체 이미지 대비 오브젝트의 크기가 작은 경우에는 sliced inference를 하는 것이 좋을 수 있음