AI-Hub

데이터 변경이력

데이터 히스토리

소개

인공지능 학습용 데이터 구축을 위한 ‘한국인 전신 형상의 2D, 3D 데이터 취득 및 치수 측정’ 데이터의 원천데이터를 획득하여 AI 학습용 데이터로 정제, 가공하여 공개하는 것을 목표로 함

구축목적

국내 데이터 모델 부재에 따른 구축 필요, 한국인 인체형상 특성을 고려한 제품 및 서비스 분석을 위한 인공지능 기반 치수 자동 추정을 위해 한국인 표준 규격에 부합하여 산업 표준에 활용될 수 있는 형태로 구축

1. 데이터 구축 규모

2. 데이터 구축 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

모델학습

1. 신체 부위 세그멘테이션

• 한국인 전신 형상을 촬영한 이미지에 사람의 신체 부위에 대한 세그멘테이션을 수행하는 인공지능 학습 모델 개발
• 데이터를 학습(train), 검증(validation), 시험(test)용으로 8:1:1 비율로 나누고, 데이터 분포 특성을 확인하여, 데이터셋의 편향이 없는 학습 및 검증 수행
• 구축된 데이터를 이용한 학습 수행 및 추론 기능 개발
• 학습 및 추론 수행에 대한 지표(metric) 및 정확도 출력 기능 개발
• 상기 명시한 인공지능 학습 모델로 본사업에서 구축한 데이터들을 대상으로 학습 과정 수행
• 모델 성능 지표 mloU(mean lntersection over Union) 50% 달성할 수 있도록 유효성 검증 및 성능 개선 수행
  • 인공지능 학습 모델 선정
    신체 부위 세그멘테이션을 위한 인공지능 학습 모델은 ResNet과 Edge-detection을 결합한 CE2P(Context Embedding with Edge Perceiving) 알고리즘(Tao Ruan et.al, 2019)을 적용
    
    [CE2P 모델 네트워크 구성도] 
  • 모델 학습 수행
    CE2P 모델 학습은 라벨링 수준에 따라 2단계로 구분하여 수행. 1단계 학습은 전체 신체 부위에 대한 라벨링이 수행된 자료를 사용하였으며, 2단계 학습은 카메라의 위치에 따라 부분적으로 라벨링을 수행한 이미지를 적용. 2단계 학습은 1단계 학습을 통해 도출된 학습 결과 weight를 pre-trained model로 적용하는 전이 학습 기법을 적용.
    
    [학습 진행 과정 예시]

2. 인체 3D 골격추정

• 딥러닝 기반 인체 자세 / 골격 추정 방법론 조사
  • 딥러닝 기반 3D 골격 추정 및 리타겟팅 응용 연구 
    • OpenPose 기반 2D 관절점으로 3D Adam 골격 모델 추정 
    • 추정된 골격 모델을 복원된 외형 템플릿에 적용. 리타겟팅 코드를 공개함. 
    • 다양한 응용 시나리오 적용을 위해 본 연구의 오픈 소스를 활용함 
• 딥러닝 기반 인체자세/골격추정 기술 분석
  • 딥러닝 기반 2D 관절점 추정 기술 (OpenPose) 
    • 인체의 2D 관절점과 관절점 간의 친화도를 학습하는 네트워크 설계 제안 
    • 다중 인체 객체를 동시에 검출하여 처리 속도가 빠름. 실시간 수행 가능. 
  • 딥러닝 기반 3D 관절점 추정으로 확장 (Monocular Total Capture)
    • 2D 영상에서 3D 골격 좌표를 추정하는 방법론이 성공적으로 제시됨. 
    • Part Affinity Fields (PAFs) 모듈 성능 확인. 3D 에 대해서도 적용. 
    • 데이터 부족으로 인한 성능 저하를 극복하기 위해 모델 정합 및 추적 기술 활용. 
    • 추정된 골격 좌표를 Adam 모델에 적용하여 인체 외형을 변형. 
• 골격좌표를 적용하여 아바타를 변형하는 기술
  • Monocular Total Capture 의 오픈 소스를 개발하여 응용 시나리오별 테스트 진행

• 모델 학습은 학습 과정 확인을 위해 개발된 python code를 jupyter notebook에 import하여 적용하였으며, jupyter notebook 파일은 성과품에 포함하여 별도로 제출

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 포맷

1. 데이터 포맷

2D 이미지 데이터 JPG	어노테이션 파일 JSON

1. 데이터 포맷

데이터 종류	3D 메쉬	텍스처	포인트 클라우드
	(Mesh)	(Texture)	(PointCloud)
예시
데이터 포맷	.obj	.jpg	.ply
데이터 사양	3M Polygon 이상	4,096 * 4,096 pixel	50K point 이상

2. 데이터 구성

• 데이터 -- 1.Training -- ┌ [라벨링데이터]
         │        │    ├[Model]
         │        │    │   └ [json]
         │        │     .       ├ [Action_Cloth_CameraNumber.json]
         │        │     .       ├ [Action_Cloth_CameraNumber.json]
         │        │                .
         │        └ [원천데이터]
         │            ├ [Model]
         │            │  ├ [csv]
         │             .  │  └ [Model.csv] 
         │             .  └ [Image]
         │                    ├ [Action_Cloth_CameraNumber.jpg]
         │                    ├ [Action_Cloth_CameraNumber.jpg]
         │                        .
       2.Validation -- ┌ [라벨링데이터]
         │         │    ├[Model]
         │         │    │   └ [json]
         │         │     .       ├ [Action_Cloth_CameraNumber.json]
         │         │     .       ├ [Action_Cloth_CameraNumber.json]
         │         │                .
         │         └ [원천데이터]
         │            ├ [Model]
         │            │  ├ [csv]
         │             .  │  └ [Model.csv] 
         │             .  └ [Image]
         │                    ├ [Action_Cloth_CameraNumber.jpg]
         │                    ├ [Action_Cloth_CameraNumber.jpg]
         │                        .
       3.Test ------ ┌ [라벨링데이터]
         │        │    ├[Model]
         │        │    │   └ [json]
         │        │     .       ├ [Action_Cloth_CameraNumber.json]
         │        │     .       ├ [Action_Cloth_CameraNumber.json]
         │        │                .
         │        └ [원천데이터]
         │            ├ [Model]
         │            │  ├ [csv]
         │             .  │  └ [Model.csv] 
         │             .  └ [Image]
         │                    ├ [Action_Cloth_CameraNumber.jpg]
         │                    ├ [Action_Cloth_CameraNumber.jpg]
         │                        .
       4.Sample  ---- ┌ [라벨링데이터]
                │    ├[Model]
               │    │   └ [json]
               │     .       ├ [Action_Cloth_CameraNumber.json]
               │     .       ├ [Action_Cloth_CameraNumber.json]
               │                .
               └ [원천데이터]
                  ├ [Model]
                  │  ├ [csv]
                   .  │  └ [Model.csv] 
                   .  └ [Image]
                          ├ [Action_Cloth_CameraNumber.jpg]
                          ├ [Action_Cloth_CameraNumber.jpg]
  
   

  2. 데이터 구성

  항목	설명
  [name]	· 폴더이름
  Action_Cloth_CameraNumber.json	· 어노테이션 정보가 있는 json 파일 · Action : 01~06 총 6가지 자세 01(차렷), 02(A자), 03(T자), 04(손 펴서 팔 직각 들기), 05(앞으로 나란히), 06(걷기), · Cloth : 측정복, 춘추복, 하복, 동복 총 4개의 복장 01(측정복), 02(춘추복1), 03(춘추복2) 04(하복1), 05(하복2), 06(동복) · CameraNumber : 01 ~ 32까지의 카메라 넘버
  Action_Cloth_CameraNumber.jpg	· 정제처리가 된 image 파일 · Action : 01~06 총 6가지 자세 01(차렷), 02(A자), 03(T자), 04(손 펴서 팔 직각 들기), 05(앞으로 나란히), 06(걷기), · Cloth : 측정복, 춘추복, 하복, 동복 총 4개의 복장 01(측정복), 02(춘추복1), 03(춘추복2) 04(하복1), 05(하복2), 06(동복) · CameraNumber : 01 ~ 32까지의 카메라 넘버
  Model.csv	· 모델의 신체치수 측정 데이터 F : 여자 M : 남자 번호 : 모델의 고유번호

3. 어노테이션 포맷

4. 실제 예시

데이터셋 구축 담당자

수행기관(주관) : ㈜위지윅스튜디오

수행기관(참여)