Inpainting 자동화를 위한 영상 데이터
- 분야영상이미지
- 유형 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-14 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 2022-07-14 콘텐츠 최초 등록 소개
연속적인 시퀀스 정보를 가지고 있는 영상에서 자동으로 전,배경 분리가 수행될 수 있도록 영상 기반의 전,배경 분리 가공 및 구축
구축목적
이미지에서 가려진 부분을 복원하는 Image restoration과 영상의 불필요한 객체를 제거하는 object removal 같은 기본적인 이미지 편집 기술 등의 발전 및 상용화
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 이미지 데이터 형식 jpg, png 데이터 출처 ㈜미디어그룹사람과숲 라벨링 유형 세그멘테이션 라벨링 형식 JSON 데이터 활용 서비스 Inpainting 자동화 AI 응용 모델 개발, 방송 영상과 같은 전문가 영역에서도 기존 고가의 외산 S.W 및 전문인력 없이 쉽고 빠르게 인공지능 모델을 통해 동일 수준의 영상편집, 일반 사용자는 스마트폰/개인 카메라의 영상 내 불필요한 개체를 지우고 자연스러운 영상을 얻는 것과 같은 새로운 사용자 경험 서비스 제공 데이터 구축년도/
데이터 구축량2021년/516,303장(frame) -
데이터 통계
구축 데이터 전체 수량 : 전경, 배경 : 516,705 frame / GT : 3,447 frame
- 전경크기별 분포
크기 크기 ~10% 10~20% 20~30% 30%~ 비율(%) 23 24 20 33 
- 렌즈 분포
렌즈 분포 렌즈 광각 망원 비율(%) 46 54
- 촬영 대상 분포
촬영 대상 분포 실외 분류 운동 업무 여행 여가 애완용 야생 자동차 비행기 배 이륜차 기타 사물 비율(%) 14.3 6.2 8.6 6.6 2.7 1.3 3.4 1.5 0.8 2.9 3.7 12.5 
- Class 분포
Class 분포 분류 실외 실내 전경 
비율(%) 66 21 13 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드활용 모델
학습모델
항목 항목 내용 사용 모델 · PEPSI 알고리즘 사용
전처리 코드 make_data.py 학습 코드 train.py 테스트(추론)코드 result.py 평가 수행 로그 ./result/eval.csv Pre-trained ./model/PEPSI.pth 파라미터 서비스 활용 시나리오
- 2D 영상을 입체 영상으로 변환하기 위한 방면에서의 활용
- 연속된 영상 프레임 간에 영상 정보의 차이를 통하여 움직임 있는 영역 분리 활용
- Image Inpainting 인공지능 모델 인식률 향상
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 Inpainting(전경객체 0~10%) Image Synthesis PEPSI PSNR 31 dB 33.2 dB 2 Inpainting(전경객체 10~20%) Image Synthesis PEPSI PSNR 28 dB 28.02 dB 3 Inpainting(전경객체 20~30%) Image Synthesis PEPSI PSNR 25 dB 25.38 dB
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 포맷
데이터 명 데이터 명 Inpainting 자동화를 위한 영상 데이터 데이터 포맷 원시데이터 : mp4 (x264, xvid codec기준)
원천데이터 : jpg
학습용 데이터 : json, png활용 분야 ■ Image Inpainting 인공지능 모델 인식률 향상
■ 스마트폰, 태블릿과 같은 상업 영상 기기에 적용하여 더 나은 성능의 모델 적용
■ AI, 데이터 Science 등 관련 분야 일자리 창출데이터 요약 연속적인 시퀀스 정보를 가지고 있는 영상에서 자동으로 전,배경 분리가 수행될 수 있도록 영상 기반의 전,배경 분리 가공 및 구축 - 데이터 예시
데이터 예시 
Ground Truth 라벨링 데이터(배경) 
원천 데이터(전경) 라벨링 데이터(전경) - json 형식
json 형식 {
"Raw_Data_Info.": {
"Raw_Data_ID": "I-210501_O01001_W01",
"Location": "O01001",
"Copyrighter": "(주)미디어그룹사람과숲",
"Resolution": "1920, 1080",
"Date": "2021-05-01",
"Start_Time": "00:00:00",
"End_Time": "00:01:00",
"Length": "60",
"GPS": "37.48928201444317, 126.98666291768929",
"FPS": "30",
"F-Stop": "F2.4",
"Exposure_Time": "1/80",
"Lens": "W",
"File_Extension": "mp4"
},
"Source_Data_Info.": {
"Source_Data_ID": "I-210501_O01001_W01_G0001",
"Classification_ID": "O01001",
"File_Extension": "jpg"
},
"Learning_Data_Info.": {
"Path": "/infiniq_admin/I-210501_O01001_W01",
"File_Extension": "json",
"Json_Data_ID": "I-210501_O01001_W01_G0001",
"Annotation": [
{
"Class_ID": "BO02",
"segmentation": []
"type": "segmentation"
이하 생략- 학습데이터 공통 항목
학습데이터 공통 항목 작업 대상 작업 방식 작업 방법 결과값 예시 Ground Truth(정답지) segmentation 객체 외곽을 포인트로 가공 [x,y,x,y] [456, 567, 891, 234 ...] 배경 segmentation 객체 외곽을 포인트로 가공 [x,y,x,y] [456, 567, 891, 234 ...] 전경 segmentation 객체 외곽을 포인트로 가공 [x,y,x,y] [456, 567, 891, 234 ...] - 마스킹 데이터 항목
마스킹 데이터 항목 대분류 대분류 ID 중분류 ID Class ID 기준 비고 M 마스킹 42 마스킹 그림자를 포함한 동적객체 외곽 - 데이터 구조 (데이터 구성)
데이터 구조 (데이터 구성) 폴더구조 파일명 구조 
① 세부과제별 ID [40].Inpainting 자동화를 위한 영상데이터 ② 촬영날짜 원시데이터 촬영 일 (예 : 210504) ③ 분류 ID 실외 55곳, 실내 32곳 (_O01, _I02) ③-1 장소 ID 001(축구), 002(농구) ④ Type/촬영개수 W(광각, 렌즈번호:2), T(망원,렌즈번호:1) ④-1 정제 이미지 번호 G(Ground Truth), F(전경) ④-2 마스킹 _M ⑤ 파일 확장자 mp4, jpg, png, json - JSON 포맷 형식 (어노테이션 포맷)
JSON 포맷 형식 (어노테이션 포맷) 분류 항목 내용 데이터 타입 필수 여부 값 범위(예시) Raw_Data_Info. Raw_data_ID 원시 파일명 string Y "I-210614_O01001_W01"~"I-220228_I09032_T20" Location 촬영장소 ID string Y "O01001"~"I09032" Copyrighter ㈜미디어그룹사람과숲 string Y "㈜미디어그룹사람과숲" Resolution 1920*1080 이상 string Y "1920, 1080" Date 촬영일자(yyyy-mm-dd) string Y "2021-06-01"~"2022-02-28" Start_Time 촬영 시작시간 string Y "00:00:00" End_Time 촬영 종료시간 string Y “00:01:00"~"00:05:00” Length 영상길이 초(sec) string Y "60"~"300" GPS GPS 정보(위도, 경도) string Y "37.48928201444317, 126.98666291768929" FPS 30fps string Y "30","60" F-Stop 조리개 수치 string Y "F1.8"~"F11" Exposure_Time 노출시간 string Y "1/1043"~"1/40" Lens 광각/망원 string Y 광각: "W", 망원: "T" File_Extension 원시 파일 확장자 string Y "mp4" Source_Data_Info. Source_Data_ID 이미지 파일명 string Y "I-210614_O01001_W01_F0001"~"I-220228_I09032_T20_F0001" Classification_ID 분류ID string Y "O01001"~"I09032" File_Extension 이미지 확장자 string Y “jpg” Learning_Data_Info. Path 이미지 폴더명 string Y “//I-210501/” File_Extension Json 폴더 경로 string Y "json" Json_Data_ID Json 파일명 string Y "I-210614_O01001_W01_F0001"~"I-220228_I09032_T20_F0001" Annotation 어노테이션 값 array Y [] Class_ID class Id string Y "B000“~”F41" segmentation [x,y,x,y] array Y [1,0,0,903,574,634,576,0] type 어노테이션 종류 string Y “segmentation” - 학습데이터 (실제 예시)
학습데이터 (실제 예시) {
"Raw_Data_Info.": {
"Raw_data_ID": "I-210501_O01001_W01",
"Location": "O01001",
"Copyrighter": "(주)미디어그룹사람과숲",
"Resolution": “1920, 1080”,
"Date": "2021-05-01",
"Start_Time": "00:00:00",
"End_Time": "00:01:00",
"Length": "60",
"GPS": “37.48928201444317, 126.98666291768929”,
"FPS": "30",
"F-Stop": "F2.4",
"Exposure_Time": "1/80",
"Lens": "W",
"File_Extension": "mp4"
},
"Source_Data_Info.": {
"Source_Data_ID": "I-210501_O01001_W01_F0001",
"Classification_ID: "O01001",
"File_Extension": "jpg"
},
"Learning_Data_Info": {
"Path": "/infiniq_admin/I-210501_O01001_W01",
"File_Extension": “json”
"Json_Data_ID": "I-210501_O1001_W01_F0001",
"Annotation": [
{
"Class_ID: "BO02",
"segmentation": []
"type": "segmentation
},
]
},
}- 마스킹 데이터 (실제 예시)
마스킹 데이터 (실제 예시) {
"Learning_Data_Info": {
"Path": "/infiniq_admin/I-210501_O01001_W01",
"File_Extension": “json”
"Json_Data_ID": "I-210501_O1001_W01_F0001_M",
"Annotation": [
{
"Class_ID: "M42",
"segmentation": []
"type": "segmentation
},
]
},
} -
데이터셋 구축 담당자
수행기관(주관) : ㈜미디어그룹사람과숲
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 한윤기 02-6959-6632 [email protected] 과제 총괄 책임 수행기관(참여)
수행기관(참여) 기관명 담당업무 넥스터 주식회사(舊 센스비전) 39. 외부환경 노이즈 제거를 위한 영상 데이터 수집/정제 링크플로우 주식회사 40. Inpainting 자동화를 위한 영상 데이터 수집/정제 주식회사 인피닉 39. 외부환경 노이즈 제거를 위한 영상 데이터 가공
40. Inpainting 자동화를 위한 영상 데이터 가공아이브스㈜ 39. 외부환경 노이즈 제거를 위한 영상 데이터 알고리즘 개발
40. Inpainting 자동화를 위한 영상 데이터 알고리즘 개발
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.