3D 사람 간 상호작용 데이터(2인)
- 분야영상이미지
- 유형 비디오 , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-08 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-29 산출물 전체 공개 소개
인공지능 학습용 데이터 구축을 위한 ‘사람 간 상호작용’ 데이터의 원천데이터를 획득하여 AI 학습용 데이터로 정제, 가공하여 공개하는 것을 목표로 함
구축목적
● 국내 데이터 모델 부재에 따른 구축 필요 ● 데이터 무결성, 다양성, 유효성 등 고품질 인공지능 학습용 데이터 품질 확보 ● 관련 산업 촉진 및 일자리 창출
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 비디오 , 이미지 데이터 형식 JPG 데이터 출처 직접 촬영 라벨링 유형 키포인트(이미지) 라벨링 형식 JSON 데이터 활용 서비스 A.I 기반 동작 분석 서비스 데이터 구축년도/
데이터 구축량2022년/비디오: 39,000개, 이미지: 248,177장, JSON: 248,177개, FBX: 4,803개 -
데이터 통계
1) 원천데이터
데이터 통계 1) 원천데이터 1차 경로 2차 경로 3차 경로 4차경로 파일 제출 수량 포맷 사전 최종 검증 검증 MP4 모델번호 모델번호_동작번호_take 모델번호_동작번호_take_cam .mp4 1,984 39,000 image 모델번호 모델번호_동작번호_take 모델번호_동작번호_take_cam .jpg 14,056 248,177 FBX 모델번호 모델번호_동작번호_take (해당없음) .fbx 249 4,803 mesh 모델번호 모델번호.jpg (해당없음) .jpg 6 96 모델번호.mtl (해당없음) .mtl 6 96 모델번호.obj (해당없음) .obj 6 96 총 수량 16,307 292,268 2) 라벨링 데이터
데이터 통계 2) 라벨링 데이터 1차 경로 2차 경로 3차 경로 4차경로 파일 제출 수량 포맷 사전 최종 검증 검증 json 모델번호 모델번호_동작번호_take 모델번호_동작번호_take-cam .json 14,056 248,177 총 수량 14,056 248,177 데이터 분포
데이터 분포 성별 분포 성별 분포 여자 49.04% 남자 50.96% 데이터 분포 연령별 분포 연령별 분포 10대 17.31% 20대 16.35% 30대 18.27% 40대 17.31% 50대 16.35% 60대 이상 14.42% 데이터 분포 체형별 분포 체형별 분포 마른체형 11.54% 비만체형 24.04% 일반체형 64.42% 데이터 분포 동작유형 분포 동작유형 분포 여가 시간 44.76% 의무 시간 22.63% 필수 시간 4.17% 행동 반응 시간 28.41% 
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드● 인공지능 모델 연구개발 방안 및 개발목표
- 입력 샘플의 특징에 따라 성능을 검증할 수 있는 OpenPose 등을 검토 후 최종 검증모델을 선정함,
- 3D 사람 간 상호작용 동작 데이터는 단순한 1인 동작이 아닌 2인 이상의 동작들로 구성되어 학습모델 변경 가능성도 있음● 인공지능 모델 연구개발 방안 및 개발목표 구분 내 용 3차원
자세추정• 두 사람 사이의 다양한 상호작용이 발생하는 상황에서 두 사람의 3차원 자세 추정 동작분류 • 두 사람의 상호작용 동작 분류 구분 내용 3차원
자세추정품질지표 • MPJPE 선행연구 • ‘CVPR’에서 2021년 ‘TCMR’ 모델이 Human3.6M 데이터셋 학습 데이터로 사용했을 때 MPJPE 73.6을 기록 지표기준 • ‘MPJPE’ 73 이하 동작분류 품질지표 • mAP 선행연구 • Karen Simonyan, Andrew Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition”, ICLR, 2015)에서 “Extended ILSVRC dataset”기준 mAP 79.2(%) 보고 지표기준 • mAP 80(%) 이상 동작분류
(스켈레톤)품질지표 • Accuracy 선행연구 • Haodong Duan, et al. "Revisiting Skeleton-based Action Recognition", CVPR, 2022에서 NTU120(클래스당 평균 954개)데이터로 Accuracy 80%이상 구현 지표기준 • Accuracy 70% 이상 ● 인공지능 응용서비스
- 인공지능 기반 AR/VR/MR, 메타버스 환경 내 상호작용 예측 서비스
- 2인 이상의 동작 분석 및 로봇 공학 활용 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 상호작용 동작 분류 성능 Image Classification YOWO mAP 80 % 80.64 % 2 3차원 자세 추정 성능 3D Pose Estimation TCMR MPJPE 73 mm 68.05 mm
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 구성
데이터 구성 No 항목 타입 필수여부 비고 한글명 영문명 1 라벨 카테고리 label String Y 그림 그리기 2 어노테이션 타입 type String Y pose 3 키포인트 스켈레톤 location Array Y - 1 포인트 요소 [포인트 속성명] String N RightFootEE 1 x 좌표 x String Y 205 2 y 좌표 y String Y 345 3 항목 포함 여부 view String Y 0 : 제외 / 1 : 포함 4 모델 정보 model Array Y F001 1 성별 gender String Y 남 2 연령 age int Y 23 3 체형 body String Y 보통 어노테이션 포맷
어노테이션 포맷 구분 항목명 타입 필수여부 설명 1 metaData object Y 상호작용 클래스명 1-2 main category String Y 대분류명 1-3 middle category String Y 중분류명 1-4 sub category String Y 소분류명 1-5 model01 id String Y 모델명 1-6 model01 sex String Y 모델 성별 1-7 model01 age String Y 모델 연령 1-8 model01 age group String Y 모델 연령대 1-9 model01 physical String Y 모델 체형 1-10 model02 id String Y 모델명 1-11 model02 sex String Y 모델 성별 1-12 model02 age String Y 모델 연령 1-13 model02 age group String Y 모델 연령대 1-14 model02 physical String Y 모델 체형 2 annotation list Y 라벨링정보 2-1 pose object Y 2-1-1 location object Y 2-1-1-1 HeadEE object Y 2-1-1-1-1 x number Y 2-1-1-1-2 y number Y 2-1-1-1-3 view number Y 2-1-1-2 Head object Y 2-1-1-2-1 x number Y 2-1-1-2-2 y number Y 2-1-1-2-3 view number Y 2-1-1-3 Nose object Y 2-1-1-3-1 x number Y 2-1-1-3-2 y number Y 2-1-1-3-3 view number Y 2-1-1-4 Neck object Y 2-1-1-4-1 x number Y 2-1-1-4-2 y number Y 2-1-1-4-3 view number Y 2-1-1-5 Spine4 object Y 2-1-1-5-1 x number Y 2-1-1-5-2 y number Y 2-1-1-5-3 view number Y 2-1-1-6 Spine3 object Y 2-1-1-6-1 x number Y 2-1-1-6-2 y number Y 2-1-1-6-3 view number Y 2-1-1-7 Spine2 object Y 2-1-1-7-1 x number Y 2-1-1-7-2 y number Y 2-1-1-7-3 view number Y 2-1-1-8 Spine1 object Y 2-1-1-8-1 x number Y 2-1-1-8-2 y number Y 2-1-1-8-3 view number Y 2-1-1-9 Spine object Y 2-1-1-9-1 x number Y 2-1-1-9-2 y number Y 2-1-1-9-3 view number Y 2-1-1-10 Hips object Y 2-1-1-10-1 x number Y 2-1-1-10-2 y number Y 2-1-1-10-3 view number Y 2-1-1-11 LeftShoulder object Y 2-1-1-11-1 x number Y 2-1-1-11-2 y number Y 2-1-1-11-3 view number Y 2-1-1-12 LeftArm object Y 2-1-1-12-1 x number Y 2-1-1-12-2 y number Y 2-1-1-12-3 view number Y 2-1-1-13 LeftForeArm object Y 2-1-1-13-1 x number Y 2-1-1-13-2 y number Y 2-1-1-13-3 view number Y 2-1-1-14 LeftHand object Y 2-1-1-14-1 x number Y 2-1-1-14-2 y number Y 2-1-1-14-3 view number Y 2-1-1-15 LeftHandEE object Y 2-1-1-15-1 x number Y 2-1-1-15-2 y number Y 2-1-1-15-3 view number Y 2-1-1-16 RightShoulder object Y 2-1-1-16-1 x number Y 2-1-1-16-2 y number Y 2-1-1-16-3 view number Y 2-1-1-17 RightArm object Y 2-1-1-17-1 x number Y 2-1-1-17-2 y number Y 2-1-1-17-3 view number Y 2-1-1-18 RightForeArm object Y 2-1-1-18-1 x number Y 2-1-1-18-2 y number Y 2-1-1-18-3 view number Y 2-1-1-19 RightHand object Y 2-1-1-19-1 x number Y 2-1-1-19-2 y number Y 2-1-1-19-3 view number Y 2-1-1-20 RightHandEE object Y 2-1-1-20-1 x number Y 2-1-1-20-2 y number Y 2-1-1-20-3 view number Y 2-1-1-21 RightUpLeg object Y 2-1-1-21-1 x number Y 2-1-1-21-2 y number Y 2-1-1-21-3 view number Y 2-1-1-22 RightLeg object Y 2-1-1-22-1 x number Y 2-1-1-22-2 y number Y 2-1-1-22-3 view number Y 2-1-1-23 RightFoot object Y 2-1-1-23-1 x number Y 2-1-1-23-2 y number Y 2-1-1-23-3 view number Y 2-1-1-24 RightToeBase object Y 2-1-1-24-1 x number Y 2-1-1-24-2 y number Y 2-1-1-24-3 view number Y 2-1-1-25 RightFootEE object Y 2-1-1-25-1 x number Y 2-1-1-25-2 y number Y 2-1-1-25-3 view number Y 2-1-1-26 LeftUpLeg object Y 2-1-1-26-1 x number Y 2-1-1-26-2 y number Y 2-1-1-26-3 view number Y 2-1-1-27 LeftLeg object Y 2-1-1-27-1 x number Y 2-1-1-27-2 y number Y 2-1-1-27-3 view number Y 2-1-1-28 LeftFoot object Y 2-1-1-28-1 x number Y 2-1-1-28-2 y number Y 2-1-1-28-3 view number Y 2-1-1-29 LeftToeBase object Y 2-1-1-29-1 x number Y 2-1-1-29-2 y number Y 2-1-1-29-3 view number Y 2-1-1-30 LeftFootEE object Y 2-1-1-30-1 x number Y 2-1-1-30-2 y number Y 2-1-1-30-3 view number Y 2-1-2 label string Y actor_ID 2-1-3 type string Y pose 3-1 pose object Y 3-1-1 location object Y 3-1-1-1 HeadEE object Y 3-1-1-1-1 x number Y 3-1-1-1-2 y number Y 3-1-1-1-3 view number Y 3-1-1-2 Head object Y 3-1-1-2-1 x number Y 3-1-1-2-2 y number Y 3-1-1-2-3 view number Y 3-1-1-3 Nose object Y 3-1-1-3-1 x number Y 3-1-1-3-2 y number Y 3-1-1-3-3 view number Y 3-1-1-4 Neck object Y 3-1-1-4-1 x number Y 3-1-1-4-2 y number Y 3-1-1-4-3 view number Y 3-1-1-5 Spine4 object Y 3-1-1-5-1 x number Y 3-1-1-5-2 y number Y 3-1-1-5-3 view number Y 3-1-1-6 Spine3 object Y 3-1-1-6-1 x number Y 3-1-1-6-2 y number Y 3-1-1-6-3 view number Y 3-1-1-7 Spine2 object Y 3-1-1-7-1 x number Y 3-1-1-7-2 y number Y 3-1-1-7-3 view number Y 3-1-1-8 Spine1 object Y 3-1-1-8-1 x number Y 3-1-1-8-2 y number Y 3-1-1-8-3 view number Y 3-1-1-9 Spine object Y 3-1-1-9-1 x number Y 3-1-1-9-2 y number Y 3-1-1-9-3 view number Y 3-1-1-10 Hips object Y 3-1-1-10-1 x number Y 3-1-1-10-2 y number Y 3-1-1-10-3 view number Y 3-1-1-11 LeftShoulder object Y 3-1-1-11-1 x number Y 3-1-1-11-2 y number Y 3-1-1-11-3 view number Y 3-1-1-12 LeftArm object Y 3-1-1-12-1 x number Y 3-1-1-12-2 y number Y 3-1-1-12-3 view number Y 3-1-1-13 LeftForeArm object Y 3-1-1-13-1 x number Y 3-1-1-13-2 y number Y 3-1-1-13-3 view number Y 3-1-1-14 LeftHand object Y 3-1-1-14-1 x number Y 3-1-1-14-2 y number Y 3-1-1-14-3 view number Y 3-1-1-15 LeftHandEE object Y 3-1-1-15-1 x number Y 3-1-1-15-2 y number Y 3-1-1-15-3 view number Y 3-1-1-16 RightShoulder object Y 3-1-1-16-1 x number Y 3-1-1-16-2 y number Y 3-1-1-16-3 view number Y 3-1-1-17 RightArm object Y 3-1-1-17-1 x number Y 3-1-1-17-2 y number Y 3-1-1-17-3 view number Y 3-1-1-18 RightForeArm object Y 3-1-1-18-1 x number Y 3-1-1-18-2 y number Y 3-1-1-18-3 view number Y 3-1-1-19 RightHand object Y 3-1-1-19-1 x number Y 3-1-1-19-2 y number Y 3-1-1-19-3 view number Y 3-1-1-20 RightHandEE object Y 3-1-1-20-1 x number Y 3-1-1-20-2 y number Y 3-1-1-20-3 view number Y 3-1-1-21 RightUpLeg object Y 3-1-1-21-1 x number Y 3-1-1-21-2 y number Y 3-1-1-21-3 view number Y 3-1-1-22 RightLeg object Y 3-1-1-22-1 x number Y 3-1-1-22-2 y number Y 3-1-1-22-3 view number Y 3-1-1-23 RightFoot object Y 3-1-1-23-1 x number Y 3-1-1-23-2 y number Y 3-1-1-23-3 view number Y 3-1-1-24 RightToeBase object Y 3-1-1-24-1 x number Y 3-1-1-24-2 y number Y 3-1-1-24-3 view number Y 3-1-1-25 RightFootEE object Y 3-1-1-25-1 x number Y 3-1-1-25-2 y number Y 3-1-1-25-3 view number Y 3-1-1-26 LeftUpLeg object Y 3-1-1-26-1 x number Y 3-1-1-26-2 y number Y 3-1-1-26-3 view number Y 3-1-1-27 LeftLeg object Y 3-1-1-27-1 x number Y 3-1-1-27-2 y number Y 3-1-1-27-3 view number Y 3-1-1-28 LeftFoot object Y 3-1-1-28-1 x number Y 3-1-1-28-2 y number Y 3-1-1-28-3 view number Y 3-1-1-29 LeftToeBase object Y 3-1-1-29-1 x number Y 3-1-1-29-2 y number Y 3-1-1-29-3 view number Y 3-1-1-30 LeftFootEE object Y 3-1-1-30-1 x number Y 3-1-1-30-2 y number Y 3-1-1-30-3 view number Y 3-1-2 label string Y actor_ID 3-1-3 type string Y pose 실제 예시(JSON 형식)
{
"metaData": {
"main category": "필수 시간",
"middle category": "식사 및 간식",
"sub category": "건배",
"model01 id": "F050",
"model01 sex": "F",
"model01 age": 12,
"model01 age group": "teens",
"model01 physical": "일반체형",
"model02 id": "F074",
"model02 sex": "F",
"model02 age": 49,
"model02 age group": "fourties",
"model02 physical": "일반체형"
},
"annotation": [
{
"pose": {
"location": {
"HeadEE": {
"x": 817,
"y": 250,
"view": 1
},
...
},
"label": "F050",
"type": "pose"
}
},
{
"pose": {
"location": {
"HeadEE": {
"x": 1137,
"y": 263,
"view": 1
},
...
},
"label": "F074",
"type": "pose"
}
}
]
} -
데이터셋 구축 담당자
수행기관(주관) : ㈜위지윅스튜디오
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 고태윤 02-749-0507 [email protected] 실무 담당자 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜에어패스 데이터 정제, 데이터 가공 ㈜이오이스 데이터 수집 ㈜컴아트시스템 데이터 수집, 데이터 가공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 고태윤 02-749-0507 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.