NEW 로봇 행동 데이터(소형객체 파지)
- 분야로보틱스
- 유형 센서 , 이미지 , 비디오 , 텍스트 , 3D
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-10-30 데이터 최종 개방 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 물류 산업 현장에서 다양한 사물을 로봇을 이용하여 파지할 수 있는 인공지능 모델 연구 및 개발을 위하여 흡착식 그리퍼로 파지할 수 있는 소형 낱개 상품에 대한 로봇 파지 행동 데이터셋 구축
구축목적
- 물류센터의 개별 주문 처리 과정에 해당하는 오더 피킹, 리빈 등의 공정에서 다루는 다양한 외형의 소형/낱개 상품, 상품 외부를 에어캡 또는 비닐 등으로 재포장한 상품 등, 피스 단위 물품 파지에 로봇팔을 이용한 물류 공정 자동화를 위한 데이터 구축
-
메타데이터 구조표 데이터 영역 로보틱스 데이터 유형 센서 , 이미지 , 비디오 , 텍스트 , 3D 데이터 형식 JPG/PNG 데이터 출처 자체 수집 라벨링 유형 세그멘테이션(이미지) 라벨링 형식 JSON 데이터 활용 서비스 물류센터의 작업 공정 자동화에 필요한 소형/낱개 상품을 파지하는 로봇팔 제어 기술 데이터 구축년도/
데이터 구축량2023년/상품 데이터 200,000건/로봇팔 행동 이미지 데이터 200,000건 -
- 데이터 구축 규모
데이터 구축 규모 항목 형식 수량 원천 데이터 상품 2D 데이터 JPG
(RGB 이미지)209,403장 PNG
(Depth 이미지)209,403장 로봇팔 행동 이미지* JPG 201,517장 라벨링
데이터상품 2D 데이터 JSON 209,403개 로봇팔 행동 이미지 JSON 201,517개 Other 로봇팔 행동 데이터 MP4
(로봇팔 행동 동영상)209,403개 JSON
(메타데이터)209,403개 TXT
(로봇joint 데이터)209,403개 TXT
(로봇 센서 데이터)209,403개 상품 3D 데이터 PCD 209,403건 * 상품 데이터를 획들할 때마다 로봇이 파지를 수행하여 상품 이미지 수량만큼의 로봇팔 행동 동영상 수집함. 일부 동영상에서 추출한 20여만 개 로봇팔 행동 이미지로 데이터 구축 - 데이터 분포
○ 200종 상품 객체별 수
○ 낱개 – 더미 상황 상품 이미지 분포낱개 – 더미 상황 상품 이미지 분포 구분 수량 비율(%) 낱개 77,557개 37.04% 더미 131,846개 62.96% 합계 209,403개 100.00% ○ 비닐, 에어캡 등 파손방지 재포장을 사용한 상품 객체 분포
비닐, 에어캡 등 파손방지 재포장을 사용한 상품 객체 분포 구분 수량 비율(%) 비닐 77,965개 9.16% 에어캡 77,803개 9.15% 종이 71,164개 8.36% 재포장 없음 623,804개 73.33% 합계 850,736개 100.00% ○ 파지 성공 - 실패 분포
파지 성공 - 실패 분포 구분 수량 비율(%) 파지 성공 142,481개 68.04% 파지 실패 66,922개 31.96% 합계 209,403개 100.00% ○ 로봇 행동 다양성 분포
로봇 행동 다양성 분포 구분 수량 비율(%) 이송 위치로 이동 51,588개 25.60% 상품 파지 59,109개 29.33% 파지 실패 25,684개 12.75% 상품 이송 47,149개 23.40% 상품 이송 실패 714개 0.35% 상품 하역 17,273개 8.57% 합계 201,517개 100.00% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 객체 탐지
○ 모델 개요 및 학습
- 대표적으로 사용되는 Mask R-CNN 모델을 활용함. Mask R-CNN은 객체의 위치를 정확하게 탐지할 뿐 아니라, 각 객체에 대한 픽셀 수준의 분할 마스크를 생성하여 이를 통해 이미지 내 개별 객체의 형태와 경계를 더욱 세밀하게 파악할 수 있다는 장점이 있음. 본 사업을 통해 구축된 데이터셋에서 모델 입력 데이터 형식에 맞춰 전처리한 후, 전처리 된 데이터를 8:1:1(train:validation:test)의 비율로 나눠 학습 및 평가에 사용함
- 파지 품질 예측
○ 모델 개요 및 학습
- Grasp Quality Estimation은 센서 이미지와 미리 계산된 파지 후보점을 인공지능 모델에 입력시키고 각 파지후보점의 성공 가능성을 예측하는 기술임.
- Grasp Quality Convolutional Neural Network(GQ-CNN)은 Grasp Quality Estimation task에 활용되는 대표적인 모델임. 기존 모델은 depth image만을 input으로 하지만 depth image와 RGB image를 동시에 받을 수 있도록 수정하여 학습시켜 데이터셋의 유효성을 검증함.
- 본 사업을 통해 구축된 데이터셋에서 객체별로 전처리한 후, 전처리된 데이터를 8:1:1 (train:validation:test)의 비율로 나눠 학습 및 평가에 사용함.
○ 서비스 활용 시나리오
- 구축한 객체 탐지 및 파지 품질 예측 모델은 제조/물류 현장의 자동화 또는 서비스 로봇의 개발에 활용할 수 있음
1) 자동화 분야
▷ 물류 센터에서의 모바일 매니퓰레이터를 활용한 pick & place 작업 자동화
▷ 활용 예시
● 택배 하역장, 물류센터 등에서 컨베이어 또는 선반에 놓인 물건을 분류하고 이송하는 자동화 서비스
● 상품 pick & place 작업의 성능을 평가하기 위한 검수 시스템
● 기타 다양한 형상을 가진 객체의 manipulation 작업이 필요한 제조 자동화 현장
2) 서비스 로봇
▷ 사용자에게 편의를 제공하기 위해 협동로봇, 모바일 매니퓰레이터 등과 함께 객체 인식 및 파지 작업을 수행
▷ 활용 예시
● 사용자 대신 필요한 물건을 파지하여 운송하는 가사 / 서빙 로봇- 로봇 영역 탐지
○ 모델 개요 및 학습
- Semantic Segmentation에서 가장 높은 성능을 달성한 InterImage는 최근 Vision Transformer 기반의 Large Scale 모델이 크게 발전함에 따라, CNN기반의 Large Scale Model을 개발하였음.
- CNN의 단점을 완화하고, 대규모의 Parameter로 인해 더욱 견고하게 Pattern을 학습할 수 있게 하였음.
- 본 사업에서 구축된 원천 이미지 사이즈 기반으로 라벨링 데이터 상의 2d polygon 좌표를 이용하여 학습에 사용될 8-bit png를 생성하는 전처리 과정을 거친 후, 전처리된 데이터를 8:1:1 (train:validation:test)의 비율로 나눠 학습 및 평가에 사용함
[InternImage 모델 구조]
○ 서비스 활용 시나리오
- 로봇 주변 환경에서 장애물 회피 등의 로봇 궤적 생성 활용
- 로봇 관절 정보와 결합하여 로봇 이동 경로 생성을 위한 강화 학습에 활용
- 로봇팔의 외형 변화 또는 상태 모니터링 및 이상 징후 감지하는 시설 유지보수에 활용 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
데이터 구성 항목 설명 형식 원천 데이터 상품 2D 데이터 소형/낱개 상품 RGB 이미지
(200종 상품, 1,000건~/상품)JPG RGB 이미지에 상응하는 Depth 이미지 PNG 로봇팔 행동 이미지 로봇팔 행동 동영상에서 추출한 이미지 JPG 라벨링 데이터 상품 2D 데이터 상품/파지가능 영역 세그멘테이션 라벨링 정보 JSON 로봇 파지점, 파지 결과 등의 메타 데이터 로봇팔 행동 이미지 로봇팔 영역 세그멘테이션 라벨링 정보 JSON 로봇 상태(행동 유형), 로봇팔 각도값 등의 메타 데이터 Other 로봇팔 행동 데이터 로봇 파지 과정 촬영한 동영상 MP4 로봇 파지 성공 여부, 파지 안정성, 로봇 state sequence 정보 등의 메타 데이터 JSON 로봇 관절 각도 데이터 TXT 로봇 센서 데이터 TXT 상품 3D 데이터 RGBD 카메라로 획득한 포인트클라우드 데이터 PCD - 데이터 예시
데이터 예시 원천 데이터 라벨링 데이터 라벨링 데이터 시각화 상품 이미지 데이터 
[Depth 이미지]
[RGB 이미지]
그림 4
로봇팔 행동 이미지데이터 
- 어노테이션 포맷
○ 상품 2D 이미지 어노테이션 포맷상품 2D 이미지 어노테이션 포맷 No 속성명 Type 필수여부 속성 설명 1 2D_image_file_name string Y 원천데이터 파일 이름 2 box_type string Y 파지상자 종류 3 camera_info object 카메라 정보 3-1 camera_intrinsic_param object Y 카메라 내부 파라미터 정보 3-2 camera_name string Y 카메라 모델명 3-3 camera_type string Y 카메라 위치 4 data_key string Y 원천 데이터 이름 5 grip_data object 로봇 파지점 정보 5-1 grip_2d_pose object Y 파지점 위치(2D) 5-2 grip_3d_pose object Y 파지점 위치(3D) 6 grip_succeed number Y 파지 성공 여부 7 objects array 객체 정보 7-1 annotation_type string Y 어노테이션 타입 7-2 class_name string Y 클래스 이름 7-3 package_type string Y 파손방지 재포장 타입 7-4 properties object Y occlusion 여부 7-5 id number Y 라벨링 식별자 7-6 segmentation_points array Y 세그멘테이션 포인트 위치 8 robot_tf object 로봇에 대한 transformation matrix 8-1 rotation_3x3 array Y rotation matrix 8-2 translation_3x1 array Y translation matrix 9 human_annotation_grasp array 휴먼 어노테이션 파지영역 9-1 annotation_type string 어노테이션 타입 9-2 id number 라벨링 식별자 9-3 annotation_points array 세그멘테이션 포인트 위치 ○ 로봇팔 행동 이미지 어노테이션 포맷
로봇팔 행동 이미지 어노테이션 포맷 No 속성명 Type 필수여부 속성 설명 1 image_file_name string Y 원천데이터 파일명 2 camera_info object 카메라 정보 2-1 camera_intrinsic_param object Y 카메라 내부 파라미터 정보 2-2 camera_name string Y 카메라 모델명 3 chessboard_tf object 칼리브레이션을 위한 체스보드와 카메라간의 TF 3-1 leftbottom_tf_4x4 array Y 좌측 하단 체스보드의 TF 3-2 lefttop_tf_4x4 array Y 좌측 상단 체스보드의 TF 3-3 rightbottom_tf_4x4 array Y 우측 하단 체스보드의 TF 3-4 righttop_tf_4x4 array Y 우측 상단 체스보드의 TF 4 data_key object 동영상 정보 4-1 time string Y 프레임 추출 시점 4-2 video string Y 원본 동영상 이름 5 object_name string Y 파지 상품 이름 6 objects array Y 객체 정보 6-1 annotation_type string Y 로봇영역 폴리곤 세그멘테이션 6-2 class_name string Y 클래스 이름 6-3 id number Y 라벨링 식별자 6-4 segmentation_points array Y 포인트 위치 7 robot_behaviors string Y 로봇 행동 종류 8 robot_joint_value object 로봇팔 각도 8-1 robot_tf.j1 number Y 첫번째 joint의 각도 8-2 robot_tf.j2 number Y 두번째 joint의 각도 8-3 robot_tf.j3 number Y 세번째 joint의 각도 8-4 robot_tf.j4 number Y 네번째 joint의 각도 8-5 robot_tf.j5 number Y 다섯번째 joint의 각도 8-6 robot_tf.j6 number Y 여섯번째 joint의 각도 9 robot_speed string Y 로봇 속도 10 robot_tf object 10-1 tf_4x4 array Y 로봇에 대한 transformation matrix 11 robot_trajectory string Y 로봇 궤적 종류 - 라벨링 데이터 실제 예시
○ 상품 2D 이미지 라벨링 데이터 JSON
○ 로봇팔 행동 이미지 라벨링 데이터 JSON
-
데이터셋 구축 담당자
수행기관(주관) : ㈜씨유박스
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 전봉규 02-6277-7840 [email protected] 과제 총괄, 데이터 수집/정제 환경 구성, 데이터 가공, 데이터 검수, 학습 AI모델 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜비자림 데이터 수집, 데이터 정제, 데이터 검수 ㈜슈퍼브에이아이 데이터 가공, 데이터 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 전봉규 02-6277-7840 [email protected] 정지훈 02-6277-7806 [email protected] AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 서주환 02-6277-7806 [email protected] 박승휘 02-6277-7840 [email protected] 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 이현채 070-4121-5094 [email protected] 이현동 070-4121-5094 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.