🧶Knitted Design Model🧵

본 프로젝트는 이미지 세그멘테이션 모델을 활용하여 뜨개질 제품 이미지에서 뜨개 기법과 신체 부위를 인식하고,
이를 바탕으로 그리드 형태의 도안 PDF를 자동으로 생성하는 서비스입니다.

---

프로젝트 목적

• 뜨개 도안 제작의 자동화
• 이미지 기반 도안 생성 보조 시스템 구축
• 시간 단축 및 반복 가능 도안 생성 자동화 도구 제공

---

프로젝트 구조

• DeepLab: 뜨개 기법 패턴 인식 모델 (DeepLabV3+)
• SCHP: 신체 부위 세분화 인식 모델 (Self-Correction for Human Parsing)
• Grid: 최종 도안 생성 로직 구현
• UNet: 비교 실험용 모델

---

🧶MODEL

1. DEEPLABV3+

모델 특징

• Image Segmentation 기반으로 뜨개 기법을 인식하는 모델
• ASPP(Atrous Spatial Pyramid Pooling), Encoder-Decoder 구조, Depthwise Separable Convolution을 적용하여 경계 정보 보존에 유리함
• 5가지 뜨개 기법 인식: Single Jersey, Rib, Moss, Ajour, Purl (시중 뜨개 제품의 70-80% 커버 가능)

구현 과정

1. 데이터셋 라벨링 (5개 기법 + background)
2. 파인튜닝 학습 (EPOCH 80)
3. 모델 적용 및 인퍼런스

성능 검증

• IOU Score: 0.72

비교 실험 (DeepLabV3+ vs UNet)

• Unet은 Epoch 증가 시 성능 감소 및 train/valid 성능 차이 큼
• DeepLabV3+는 라벨과 유사한 뜨개 기법 구분이 가능함 → 최종 DeepLabV3+ 채택

---

2. SCHP

모델 특징

• 사람 영역을 세분화하여 몸통, 소매, 윗소매, 아래소매, 목 부위를 인식하는 모델
• Self-Correction을 통해 pseudo-label 생성 및 반복 학습으로 정확도 보정

구현 과정

초기 학습 → pseudo-label 생성 → self-correction 반복 학습

성능 검증

• Pixel Accuracy: 0.8589
• Mean Accuracy: 0.7445
• Mean IOU Score: 0.6881

---

3. GRID (도안 생성)

전체 파이프라인

1. SCHP로 신체 부위 (몸통, 소매 등) 분리
2. 각 부위 내부에서 DeepLabV3+로 뜨개 기법 분석
3. 해당 기법을 3x3 패치 기호 (S, P, R, A, M)로 변환
4. 부위 외곽선 내부에 패치 타일링 적용
5. 최종 도안을 PDF로 저장