AI-Hub

데이터 변경이력

데이터 히스토리

소개

컬러 변환, 편집 대상, 모양 변환의 다양한 편집 기능을 고려한 원본 이미지 파일을 수집하고 편집 명령어에 따른 편집 이미지를 획득하여 언어(텍스트) 명령어를 통한 사진 편집 기술에 활용될 수 있는 학습 데이터셋 구축. 해당 데이터를 통해 인공지능 이미지 편집모델을 구현하고 실제 서비스를 개발하여 활용될 수 있도록 함.

구축목적

– 모바일 어플리케이션, 방송, 영화, 영상 콘텐츠, 디자인 등 다양한 이미지 편집 활용 산업에 적용 가능한 언어 기반 이미지 편집 기술 개발용 대규모 공공 데이터 구축 
– 한국어 명령어와 한국 실정에 맞는 이미지를 수집함으로써 국내 인공지능 기반 서 비스의 품질을 높일 수 있는 데이터 구축 
– 언어 기반 이미지 편집 인공지능 개발에 핵심인 인공지능 학습용 데이터를 구축

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 사용 데이터

• 자동차 또는 자전거를 포함하는 인물의 전신사진

  1. 사용 데이터 자동차 또는 자전거를 포함하는 인물의 전신사진

  Total set	Training set	Validation set	Test set
  2,000	1,598	201	201

   
  • 신체부위, 의상, 탈것 등 정의된 클래스에 대한 Polygon 좌표를 라벨링 데이터의 json 파일로부터 로드하여 모델 학습에 필요한 형태로 변환
  • 모델 알고리즘이 요구하는 데이터의 형태가 bounding box인 경우 polygon으로부터 간단하게 bounding box 형태를 추출할 수 있으며 object detection + segmentation 모델의 경우 polygon 좌표를 그대로 사용

[전신_자동차 원본 예시]

[전신_자동차 polygon, bounding box 예시]

• 안면 사진

  1. 사용 데이터 안면 사진

  Total set	Training set	Validation set	Test set
  3,087	2,468	310	309

  • Train 2468 케이스, Test 310 케이스, val 309 케이스
  • 눈, 눈썹, 입술, 코 등 정의된 클래스에 대한 Polygon을 json 파일로부터 로드 및 모델 학습에 필요한 형태로 변환

[얼굴 원본 예시]

[얼굴 polygon, bounding box 예시]

• 데이터 전처리
  • 모델 알고리즘 별로 요구하는 annotation 형식에 맞추어 json파일의 라벨 정보를 변환 및 저장하여 학습 활용

[라벨링 데이터 변환 예시(keras yolo)]

2. 모델학습

• Object detection model
  • keras-yolo3
    • 일정 수준의 정확도는 만족하지만 인식 속도가 떨어지는 기존 객체 인식 모델들의 문제점을 해결하기 위해 고안된 yolov3 사용.
    • Adam Optimizer (LR=1e-3)
    • Batch Size : 16
    • EPochs : 200 (frozen layers 100 + unfreeze layer 100)
      
      [ yolov3의 구조 ]
  • Faster R-CNN
    • 기존 Fast R-CNN의 구조를 계승하며 selective search 대신 Region Proposal Network를 사용해 GPU를 통한 RoI 계산 수행.
    • Adam Optimizer (LR=1e-5)
    • EPochs : 200
      
      [ Faster-RCNN의 구조 ]
  • SSD
    • 속도 측면에서 많은 발전을 이루었지만 정확도가 부족하고 작은 물체 인식이 어려운 Yolo의 한계를 해결하기 위해 고안된 SSD(Single Shot Multibox Detector) 사용.
    • Learning Rate : 1e-3
    • Batch Size : 24
    • iteration : 150000
      
      [ SSD의 구조 ]
• Object detection + Segmentation model
  • Mask R-CNN
    • Faster R-CNN의 RPN에서 얻은 RoI에 대해 객체의 class와 bbox regression을 수행하는 것과 평행하게 segmentation mask를 예측하는 mask branch를 추가한 구조
    • learning rate : 1e-3
    • Batch Size : 2
    • EPochs : 160 (network heads – 40 / fine tune resnet stage – 80 / fine tune all – 40) 
      
      [ Mask RCNN의 구조 ]
  • yolact
    • Instance segmentation 문제를 실시간으로 해결하기 위해 object detection의 SSD와 YOLO에서 영감을 얻어 Resnet-101을 기반으로 고안된 모델.
    • Adam Optimizer (LR=1e-4)
    • Batch Size : 8
    • iteration : 200000
      
      [ yolact의 구조 ]

데이터 성능 점수

설명서 및 활용가이드 다운로드

편집 대상 객체 폴리곤 어노테이션 포맷

편집 이미지 어노테이션 포맷

데이터셋 구축 담당자

수행기관(주관) : 한국과학기술원

수행기관(참여)

데이터 관련 문의처