AI-Hub

데이터 변경이력

데이터 히스토리

소개

일상 생활에서 볼 수 있는 다양한 객체들이 포함된 일상 영상 및 각 영상에 대한 조밀한 3D 정보 데이터

구축목적

원천 데이터로부터 AI 모델 학습, 개발에 활용할 수 있는 데이터셋을 구축
구축된 데이터셋을 활용하여 실제 AI 모델을 개발하여 서비스 구현 가능함을 실증

데이터 구축 규모

• 원천 데이터 :이미지 당 평균 3개 객체(다중 객체)를 포함하는 직접 촬영 3D 이미지 30만장 3D 가공이미지, 900,000 인스턴스를 데이터 구축 목표로 설정, 이는 비교 3D Object 데이터셋인 Objectron Dataset 의 17,095 인스턴스에 대비하여, 월등히 많은 숫자임.
  ※참고 데이터셋: [Objectron Dataset] Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations, CVPR 2021.
• 학습데이터 : 직접 촬영한 일상 생활용품 대상 30만장 이상 객체 3D 이미지, 3D 세그먼테이션, 3D 바운딩 박스, 3D 포인트 클라우드와 메쉬 데이터

데이터 분포

• 데이터가 편향 없이 구축되도록 객체 카테고리 설계
•  31개 카테고리, 310개 품목:
  사람(3.23%), 생활가전(1.94%), 컴퓨터/주변기기(1.94%), 디지털기기/용품(2.90%), 신발(3.55%), 모자(1.94%), 스포츠용품(3.87%), 레저/캠핑(3.87%), 홈트레이닝(3.87%), 과일(3.55%), 야채(3.55%), 제과/제빵(3.55%), 영유아용품(2.90%), 주방용품(3.87%), 청소용품(3.23%), 미용(4.84%), 공구(3.55%), 위생용품(4.19%), 생활잡화(3.87%), 애완용품(3.23%), 자동차용품(3.55%), 세탁용품(2.90%), 즉석/편의식품(2.90%), 문구/사무용품(2.26%), 악기(3.55%), 미술용품(3.23%), 게임용품(2.26%), 이벤트용품(2.26%), 가구(1.94%), 인테리어(3.23%), 의료기기(4.19%)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

활용 모델 

• 인공지능 데이터 활용 모델 개발 요약표

• 데이터명 : 대용량 3D 객체 데이터 
  가. 인공지능 학습용 데이터 활용모델 개발 방안
   적합성 검토 결과 객체 추정을 위한 모델로서 아래 모델을 선정
        ◇ 3D 객체 위치/자세 추정 모델
      [1] Bugra Tekin, Sudipta N. Sinha and Pascal Fua. "Real-Time Seamless   
      Single Shot 6D Object Pose Prediction," CVPR 2018
   
      나. 모델 선정 기준
  - 대표성: 동일 혹은 비슷한 기존 데이터 셋을 이용한 실험/분석이 다수의 논문/보고서에 활용되었는지 여부 
  -     범용성: 동일 혹은 비슷한 task에 적용가능한 모델인지 여부
  -     접근성: 사전 학습된 모델이나 오픈 소스가 공개되어 있는지 여부
  -     확장성: 모델이 간결하고 복잡하지 않아, 후속 연구로 발전가능성이 있는지 여부
  -     정확성: 비슷한 계산 량, 메모리를 요구하는 모델 대비 우수한 성능을 보이는지 여부
  -     재현성: 보고된 성능을 무리 없이 재 구현가능한지 여부  
   
     다. 고려 사항
  - 피인용이 높은 논문에서 제시한 모델 우대
  - Github에서 많은 star를 받은 모델 우대
  - 학계, 산업계에서 널리 사용하는 모델 우대
   
      라.  적용 모델 개요
       - 3D 객체 위치/자세 추정 모델 
  ● 3D 객체 인식은 장면에 있는 객체들의 3D bounding box를 추정하고 클래스를 분류하는 task임. 2D object detection과의 차이점은 입력 데이터가 sparse하고 irregular하여 vocalization 과정이 필요한 것과, 출력물이 3차원 정보를 포함한다는 것임.
  ● 대표적인 인공지능 모델은 입력 point cloud 데이터로 부터 3D object detection 결과를 생성. 아래 그림처럼 sparse 하면서 irregular한 point cloud 데이터를 vocalization 혹은 grouping 한 후 3D convolution을 이용하여 feature를 추출함. 이후 추출한 feature를 이용하여 3D object bounding box 및 클래스 정보를 추론함.
  ● Microsoft에서 제시한 모델 Bugra Tekin, Sudipta N. Sinha and Pascal Fua. "Real-Time Seamless Single Shot 6D Object Pose Prediction," CVPR 2018
  에서는 3D 모델과 객체 segmentation 라벨을 활용하여 RGB 입력만으로도 실시간 객체 자세 추정을 YOLO와 유사한 구조로 제시하였음. 3D 객체 자세 추정 분야의 검증된 baseline 모델로 널리 인용되고, 최상위 학회에서의 후속 연구 역시 활발함.
  
  
   3D 객체 인식 모델 예시 (1)
  
  
  3D 객체 인식 모델 예시 (2)
  
     마. 모델 적합성 검토
          - 3D 객체 위치/자세 추정 모델\
  객체 위치/자세를 추정하는 연구 중 코드 공개로 재현성이 높고 3개년 이상 후속 연구 흐름으로 검증된 코드 2개를 선정. 
  
  ** 서비스 활용 시나리오**
  
   

  서비스 활용 시나리오 실생활 3D 데이터 활용 방안

  활용 방안	내용	적용 분야
  연구 활용	◦3D 객체 자세 추정	◦사람과 객체 Interface 연구 ◦로봇 및 자율주행 기술 연구 ◦2D 이미지 학습을 이용한 3D 형상 복원 연구 ◦실감 렌더링 및 관련 기술 연구
  	◦Scene Reconstruction
  산업적 활용	◦영상기반 콘텐츠(영화, 애니메이션, 드라마, CF 등) 제작 서비스 활용	◦구축된 투명체 및 대용량 3D 데이터의 3D 렌더링을 통한 장면 합성에 실 촬영 없이 대체재로 직접 활용  ◦구축된 투명체 및 대용량 3D 데이터를 활용하여 새로운 형태의 투명체 및 대용량 3D 데이터의 AI 및 수작업 형태의 저작에 활용
  	◦실감 미디어 (VR·AR·XR) 서비스 활용	◦실시간 인터렉션에 활용될 수 있는 3D 투명체 및 대용량 3D 데이터의 직접 제공 ◦디지털 트윈 등의 모의 제작 환경에서의 투명체 및 대용량 객체의 식별, 위치 및 자제 추정 등의 실시간 인식을 통한 로봇 제어 시뮬레이션 및 온오프라인 제작 파이프라인 구현에 활용
  	◦디지털 홈 트윈(Digital Home Twin) 서비스 활용
  		◦실내 인테리어 시뮬레이션을 위해 구축된 AI 학습용 데이터를 활용하여 가상의 실내를 시뮬레이션하는 서비스 구현에 활용 가능 ◦카메라로 전배경 객체를 구축된 AI 데이터로 공간과 객체를 인식하여 새로운 가상 객체와 함께 합성하여 새로운 공간을 제안하는 서비스 구현에 활용 가능
  	◦메타버스 서비스 활용	◦가상 공간 내 아바타를 활용하여 구축된 AI 데이터로 학습하여 재창조된 공간 안에서의 위치, 자세 트레킹을 통한 인터렉션 서비스에 활용 가능
  	◦자율주행 시스템에 활용	◦실생활 속 객체에 대한 인식률 제고를 통한 자율주행 운송수단서비스에 활용

  표 . 실생활 3D 데이터 활용 방안

데이터 성능 점수

설명서 및 활용가이드 다운로드

 데이터 형태

•  원천 데이터 : 객체 3D 이미지
•  학습 데이터 : 객체 3D 포인트 클라우드, 3D 메쉬, 3D 세그멘테이션, 3D 바운딩 박스 등 가공

데이터 내용

•  일상 생활에서 볼 수 있는 다양한 객체들이 포함된 일상 영상 및 각 영상에 대한 조밀한 3D 정보 데이터(RGB+Depth 정보)
•  일상생활의 영상에서 보이는 객체에 대한 3D 좌표 정보(위치 정보), 3D 포인트 클라우드/메쉬(형상 정보), 세그멘테이션 등 다양한 정보를 포함하여 구축

데이터 구축 규모

•   - 원천 데이터 :이미지 당 평균 3개 객체(다중 객체)를 포함하는 직접 촬영 3D 이미지 30만장
• 30만장 3D 가공이미지, 900,000 인스턴스를 데이터 구축 목표로 설정, 이는 비교 3D Object 데이터셋인 Objectron Dataset 의 17,095 인스턴스에 대비하여, 월등히   많은 숫자임.
  ※참고 데이터셋: [Objectron Dataset] Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations, CVPR 2021.
•   학습데이터 : 직접 촬영한 일상 생활용품 대상 30만장 이상 객체 3D 이미지, 3D 세그먼테이션, 3D 바운딩 박스,  3D 포인트 클라우드와 메쉬 데이터

데이터 분포

•  데이터가 편향 없이 구축되도록 객체 카테고리 설계
•  31개 카테고리, 310개 품목

데이터 구축 목적

•   원천 데이터로부터 AI 모델 학습, 개발에 활용할 수 있는 데이터셋을 구축
•   구축된 데이터셋을 활용하여 실제 AI 모델을 개발하여 서비스 구현 가능함을 실증

데이터 목적

•   실감 렌더링 기술, 사람과 객체 상호작용, 로봇 시스템, 게임 기술, VR/AR/XR 등 메타버스 서비스 기술개발에 활용 가능한 데이터

1. 데이터 명세서

데이터 포맷 

• 원천데이터 획득 과정에서 생성되는 데이터와 데이터 포맷

표. 데이터 포맷 예시

데이터 종류	원천데이터	3D 포인트 클라우드	3D 메쉬
예시
원시 데이터 포맷	png	PLY	OBJ
데이터 구성	HD급 (1280x720)	30K 이상	8k triangle 이상
라벨링 데이터 포맷	json	json	json

가. 데이터 속성 정의 

• 원천 데이터 속성 정의

가. 어노테이션 포맷

• 라벨링 메타정보

• 라벨링 이미지 파일 공통참조항목

어노테이션 구조
바운딩박스(Bounding Box) 어노테이션 구조

• 이미지 내 객체 영역에 대한 사각형 박스 형태의 어노테이션 구조

• 3D 바운딩박스(3D Bounding Box, Cuboid) 어노테이션 구조
  - 이미지 내 객체 영역에 대한 3차원 육면체 박스 형태의 어노테이션 구조

• 폴리곤(Polygon) 어노테이션 구조
  - 이미지 내 객체 영역에 대한 다각형 형태의 어노테이션 구조

• 세그멘테이션(Segmentation) 어노테이션 구조
  - 이미지 내 객체 영역에 대한 다각형 형태의 어노테이션 구조

결과 JSON 구축 형태 예시

데이터셋 구축 담당자

수행기관(주관) : ㈜미소정보기술

수행기관(참여)

데이터 관련 문의처