#손 동작
# 입술 움직임
# 한국형 신체 말단 움직임
신체 말단 움직임 영상
- 분야영상이미지
- 유형 비디오
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.3 2023-03-31 원천데이터 수정 1.2 2021-12-01 데이터 추가 개방 1.1 2021-08-30 데이터 품질 보완 1.0 2021-06-30 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 소개
3D hand pose와 lip reading을 추정하는 AI개발을 위한 신체말단(손, 입술) 영상 데이터
구축목적
다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 비디오 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/15만 -
구축 내용 및 제공 데이터량
- 손 데이터
- - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
- - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음
신체 말단 움직임 영상-구축내용표-1 데이터 종류 2D 영상 3D 모델 3D 손 자세 손 영역 분량 500,000장 100,000개 100,000개 500,000개 데이터 구성 Full-HD 영상,카메라파라미터 30K 이상 polygon 21개 관절 위치 6영역 depth 영상 분할 데이터 포맷 jpg obj 파일 포맷 json 파일 포맷 json 파일 포맷
- 입술데이터
- - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
- - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음
신체 말단 움직임 영상-구축내용표-2 데이터 종류 2D 영상 2D 입술 데이터 3D 모델 분량 500,000개 500,000개 100,000개 데이터 구성 Full-HD 영상,
카메라 파라미터24개
입술 특징 위치 (x, y)3K 이상
Polygon데이터 포맷 mp4 파일 포맷 json 파일 포맷 obj 파일 포맷
- 손 데이터
-
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 손 데이터 - 3D 관절 유효성 Pose Estimation RootNet, H3Net MPJPE 18 mm 17.8 mm 2 손 데이터 - 2D 관절 유효성 Pose Estimation RootNet, H3Net PCK 75 % 94 % 3 입술 데이터 - 2D 관절 유효성 Pose Estimation ResNet-18 RMSE 0.1 mm 0.017 mm 4 입술 데이터 - 단어 정확도 Estimation Inception v4 WER 10 % 3.5 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
신체 말단 움직임 영상-데이터변경이력 버전 일자 변경내용 비고 1.2 2021.12.01 데이터 추가 개방 1.1 2021.08.30 데이터 품질 보완 1.0 2021.06.30 데이터 최초 개방 구축목적
- 다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용 분야
- 손의 움직임을 이용하는 커뮤니케이션 서비스 및 UI
- 시각장애인을 위한 독순술 및 입술 형태로 추정 가능한 커뮤니케이 션 서비스 및 UI
소개
- 본 과제는 손과 입술의 신체 말단의 움직임 영상에 대한 데이터 셋을 구축 하여 손 제스처, 정교한 악기 연주 모션, 독순술 등 VR, AR,MR 등 기반 산업, 3D 엔터테인먼트 산업, 재활 치료 및 질병 예방 등의 의료분야, 장애 인 복지 사업 등에서 활용할 수 있도록 하는 것을 목적으로 함
구축 내용 및 제공 데이터량
- 손 데이터
- - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
- - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음
신체 말단 움직임 영상-구축내용표-1 데이터 종류 2D 영상 3D 모델 3D 손 자세 손 영역 분량 500,000장 100,000개 100,000개 500,000개 데이터 구성 Full-HD 영상,카메라파라미터 30K 이상 polygon 21개 관절 위치 6영역 depth 영상 분할 데이터 포맷 jpg obj 파일 포맷 json 파일 포맷 json 파일 포맷
- 입술데이터
- - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
- - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음
신체 말단 움직임 영상-구축내용표-2 데이터 종류 2D 영상 2D 입술 데이터 3D 모델 분량 500,000개 500,000개 100,000개 데이터 구성 Full-HD 영상,
카메라 파라미터24개
입술 특징 위치 (x, y)3K 이상
Polygon데이터 포맷 mp4 파일 포맷 json 파일 포맷 obj 파일 포맷
대표도면
필요성
- 사람 동작을 이용한 커뮤니케이션 시 표정과 함께 가장 많이 사용되는 신체 부분이 손이므로 손과 입을 이용한 제스처 데이터셋 확보는 우리나라 AI 기술 연구 및 산업 확장에 큰 부분을 이바지할 것으로 예상함
- 신체 말단을 이용한 제스처 데이터는 주로 외국인을 대상으로 수집 및 공개가 된 경우가 많기에, 한국인을 대상으로 데이터를 수집하고, 우리나라 환경에 맞춰 구조를 설계하는 일련의 과정에 대한 노력이 필요함
- 독순술 및 수어 등 관련 데이터 셋을 확보하여 인공지능 기술과 결합한 연구개발 인프라를 구축하고, 연구·개발한 결과를 적용한 기술 및 서비스를 사회적 약자인 장애인들에게 보급하는 사회보장 정책이 필요함
데이터 구조
- 데이터 구성
- 1. 손 데이터
신체 말단 움직임 영상-데이터구조표-1 데이터 구성 형태 파일명 규칙 경로(폴더명) 포멧 데이터
종류라벨링 데이터 ┣Annotations 라벨링
데이터■ JSON 파일(Keypoint) (action_id)_(actor_id)_(camera_id)_(hand_type)_(frame_idx).json
⋅ action_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID
⋅ hand_type = 오른손 or 왼손 or 양손
⋅ frame_idx = 추출 이미지 프레임 번호
■ JSON 파일(Segmentation) (action_id)_(actor_id)_(camera_id)_(hand_type)_(seg_id)_(frame_idx).json ⋅ action_id = 동작별 고유 ID 값 ⋅ actor_id = 모델 고유 ID 값 ⋅ camera_id = 카메라 ID ⋅ hand_type = 오른손 or 왼손 or 양손 ⋅ seg_id = segmentation ID ⋅ frame_idx = 추출 이미지 프레임 번호┣Action[n]_Actor[k] ┣Camera[1~8] ┣Keypoint json ┣Segmentation[1] json ┣Segmentation[2] json ┣Segmentation[3] json ┣Segmentation[4] json 원천데이터 ┣Images 이미지 ■ JPG 파일 (action_id)_(actor_id)_(camera_id)_(hand)_(frame_idx).jpg
⋅ action_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID
⋅ hand = 오른손 or 왼손 or 양손
⋅ frame_idx = 추출 이미지 프레임 번호┣Action[n]_Actor[k] ┗Camera[1~8] ┗Mesh 메쉬 ■ OBJ 파일 (action_id)_(actor_id)_(image_id).obj
⋅ ex) 001_M255_0135465.obj
■ 텍스쳐 파일
(action_id)_(actor_id)_(image_id).jpg
⋅ ex) 001_M255_0135465.jpg┗Action[n]_Actor[k] obj,
jpg - 2. 입술
신체 말단 움직임 영상-데이터구조표-2 데이터 구성 형태 파일명 규칙 경로(폴더명) 포멧 데이터
종류라벨링 데이터 ┣Annotations 라벨링
데이터■ JSON 파일
(word_id)_(actor_id)_(camera_id)_(frame_idx).json
⋅ word_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
⋅ frame_idx = 추출 이미지 프레임 번호┣Word[n]_Actor[k] ┣Camera[1~5] ┗Keypoint json 원천데이터 ┣Images 이미지 ■ JPG 파일 (word_id)_(actor_id)_(camera_id)_(frame_idx).jpg
⋅ word_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
⋅ frame_idx = 추출 이미지 프레임 번호┣Word[n]_Actor[k] ┗Camera[1~5] JPG ┗Mesh 메쉬 ■ OBJ 파일 (word_id)_(actor_id)_(image_id).obj
⋅ ex) 001_M255_0135465.obj
■ 텍스쳐 파일
(word_id)_(actor_id)_(image_id).jpg
⋅ ex) 001_M255_0135465.jpg┗Action[n]_Actor[k] obj,
jpg
- 1. 손 데이터
- 어노테이션 포맷
- 1. 손
어노테이션 포맷 No 항목 내용 타입 필수 여부 1 categories 카테고리 List Y
1 type 데이터 종류 String Y 2 type_id 데이터 종류 ID Number Y 3 skeleton 관절 정의 List Y 4 keypoints 키포인트 정의 List Y 5 segments Segmentation 정의 List Y 2 licenses 라이선스 List Y
1 id 라이선스 ID Number Y 2 name 라이선스 이름 String Y 3 url 라이선스 URL String Y 3 info 데이터 정보 List Y
1 version 데이터 버전 String Y 2 description 데이터 설명 String Y 3 contributor 데이터 제작자 String Y 4 url 데이터 제공 주소 String Y 5 date_created 데이터 생성 날짜 String Y 4 annotations 어노테이션 정보 List Y
1 id 어노테이션 ID Number Y 2 image_id 이미지 ID Number Y 3 video_id 비디오 ID Number Y 4 actor_id 배우 ID String Y 5 action_id 행동 ID Number Y 6 is_both_hands 양손 유무 Number Y 7 is_right_hand 오른손 유무 Number Y 8 num_keypoints 키포인트 개수 Number Y 9 left_hand 왼손 정보 List N 9-1 2D keypoints 2D 키포인트 List N 9-2 3D keypoints 3D 키포인트 List N 9-3 segmentation 세그멘테이션 정보 List N 10 right_hand 오른손 정보 List N 10-1 2D keypoints 2D 키포인트 List N 10-2 3D keypoints 3D 키포인트 List N 10-3 segmentation 세그멘테이션 정보 List N 5 videos 비디오 정보 List Y
1 id 비디오 ID Number Y 2 frame_rate 프레임 레이트 Number Y 3 width 비디오 너비 Number Y 4 height 비디오 높이 Number Y 5 camera_id 카메라 ID Number Y 6 parameters 카메라 파라미터 List Y 6-1 intrinsic 내부 파라미터 List Y 6-2 extrinsic 외부 파라미터 List Y 7 file_name 비디오 파일 이름 String Y 6 images 이미지 정보 List Y
1 id 이미지 ID Number Y 2 file_name 이미지 파일 이름 String Y 3 width 이미지 너비 Number Y 4 height 이미지 높이 Number Y 5 frame_index 프레임 번호 Number Y 7 actors 배우 정보 List Y
1 id 배우 ID String Y 2 sex 배우 성별 String Y 3 age 배우 나이 Number Y 8 meshs 메쉬 정보 List N
1 id 메쉬 ID Number N 2 texture_file_name 텍스처 파일 이름 String N 3 obj_file_name 메쉬 파일 이름 String N - 2. 입술
데이터구조 어노테이션 포맷 입술 데이터 테이블 No 항목 내용 타입 필수 여부 1 categories 카테고리 List Y
1 type 데이터 종류 String Y 2 type_id 데이터 정류 ID Number Y 3 keypoints 키포인트 정의 List Y 4 segments Segmentation 정의 List Y 2 licenses 라이선스 List Y
1 id 라이선스 ID Number Y 2 name 라이선스 이름 String Y 3 url 라이선스 URL String Y 3 info 데이터 정보 List Y
1 version 데이터 버전 String Y 2 description 데이터 설명 String Y 3 contributor 데이터 제작자 String Y 4 url 데이터 제공 주소 String Y 5 date_created 데이터 생성 날짜 String Y 4 annotations 어노테이션 정보 List Y
1 id 어노테이션 ID Number Y 2 image_name 이미지 파일 이름 String Y 3 image_id 이미지 ID Number Y 4 video_id 비디오 ID Number Y 5 bbox 바운딩 박스 List Y 6 segmentation 세그멘테이션 List Y 7 area 세그멘테이션 넓이 List Y 8 actor_id 배우 ID String Y 9 word 단어 String Y 10 word_id 단어 ID Number Y 11 num_keypoints 키포인트 개수 Number Y 12 2D keypoints 2D 키포인트 List Y 5 videos 비디오 정보 List Y
1 id 비디오 ID Number Y 2 frame_rate 프레임 레이트 Number Y 3 width 비디오 너비 Number Y 4 height 비디오 높이 Number Y 5 camera_id 카메라 ID Number Y 6 parameters 카메라 파라미터 List Y 6-1 intrinsic 내부 파라미터 List Y 6-2 extrinsic 외부 파라미터 List Y 7 file_name 비디오 파일 이름 String Y 8 date_captured 데이터 촬영 날짜 String Y 6 images 이미지 정보 List Y
1 id 이미지 ID Number Y 2 file_name 이미지 파일 이름 String Y 3 width 이미지 너비 Number Y 4 height 이미지 높이 Number Y 5 frame_index 프레임 번호 Number Y 7 meshs 메쉬 정보 List N
1 id 메쉬 ID Number N 2 texture_file_name 텍스처 파일 이름 String N 3 obj_file_name 메쉬 파일 이름 String N 8 actor 배우 정보 List Y
1 id 배우 ID String Y 2 sex 배우 성별 String Y 3 age 배우 나이 Number Y
- 1. 손
-
데이터셋 구축 담당자
수행기관(주관) : KT
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 소영준 02-2057-1015 [email protected] · 과제 관리 · 데이터 수집, 가공, 활용 시나리오 설계 · AI 모델 프로토타입 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 이오이스 · 원천 데이터 촬영 및 정제 에이모 · 데이터셋 구축
· 어노테이션 저작도구 제작에프엑스기어 · AI 모델을 활용한 응용 서비스 개발 (손 동작 리타겟팅, 독순술 서비스) 홍익대학교 ·데이터 가공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 소영준(KT) 02-2057-1015 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.