-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2022-09-15 데이터 품질 개선 1.0 2022-07-28 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 2022-07-28 콘텐츠 최초 등록 소개
뉴스, 유튜브 콘텐츠 등 영상을 수집하고 주요 장면의 위치를 레이블링 및 카테고리 항목에 대해 태깅하여 동영상 요약 학습용 데이터셋을 구축. 해당 데이터를 통해 인공지능 영상 요약 모델을 개발하고 자동화된 영상 편집 시스템을 제시.
구축목적
인공지능 동영상 자동 요약 기술 개발에 필요한 뉴스 및 유튜브 콘텐츠의 하이라이트 구간 및 라벨링 데이터셋을 구축하기 위함.
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 비디오 데이터 형식 mp4, json 데이터 출처 방송사, 유튜브 라벨링 유형 내용 키워드(동영상 하이라이트) / 세그멘테이션(하이라이트 구간) 라벨링 형식 JSON 데이터 활용 서비스 동영상 자동 요약 서비스 데이터 구축년도/
데이터 구축량2021년/원천데이터 6,001시간 / 가공데이터 18,123시간 -
세부과제 산출물 성과 기준 결과 달성률(%) 동영상 하이라이트 편집 및 설명(요약) (데이터 41) 데이터셋 총 원천데이터 수량 6,000시간 이상 6,001시간
(KBS: 1,001시간 / 유튜브: 5,000시간)100 총 가공데이터 수량 별도로 없음 18,123시간
(KBS: 3,121시간 / 유튜브: 15,001시간)- 
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드
[동영상 요약 및 설명 모델 개요]
- 데이터 전처리
- 동영상 원본에서 특징 벡터를 추출하여 인공지능 모델이 학습할 수 있는 형태로 가공
- 영상 1초당 1개의 프레임을 추출하여 벡터로 변환, 벡터의 차원은 (3, 244, 244)
- Vision Transformer와 ResNet 등 CNN 기반 알고리즘을 비교하여 통한 학습용 알고리즘 평가 진행
- Vision Transformer가 ResNet(CNN)구조의 단점인 귀납편향(inductive bias)이 없기 때문에, 컨텐츠의 범위가 아주 넓은 비디오 도메인에서 그 특징을 잘 살릴 수 것으로 예상하였고, 실험 결과도 동일하게 Vision Transformer로 알고리즘 선정
[Vision Transformer 구조]
- 동영상 요약 모델 생성
- 고차원의 벡터를 정답 형식에 맞도록 차원을 줄이고, 정규화되지 않은 벡터값을 확률로 변환하기 위해 Feed-forward neural network를 사용 후 클래스를 예측 진행
[Feed-forward neural network 구조] - Feed-forward neural network: 단위 간의 연결이주기를 형성하지 않는 인공 신경망 (artificial neural network)으로 재귀 신경 네트워크(RNN)과는 다르게 정보는 입력 노드에서 숨겨진 노드 (있는 경우)를 통해 한 방향으로만 이동하며 출력 노드. 네트워크에 순환이나 루프가 없음
- FFN의 출력 차원은 1이며, sigmoid 활성함수로 입력 프레임이 요약본에 포함될 확률을 출력, 본 과제에서는 해당 확률이 0.7 이상일 경우, 주요 장면이라도 간주하여 정량평가 진행
- 정밀도와 재현율을 이용해 산출한 F1-score로 모델 성능 평가
- 고차원의 벡터를 정답 형식에 맞도록 차원을 줄이고, 정규화되지 않은 벡터값을 확률로 변환하기 위해 Feed-forward neural network를 사용 후 클래스를 예측 진행
- 동영상 설명 모델 생성
- 고차원의 벡터를 정답 형식에 맞도록 차원을 줄이고, 정규화되지 않은 벡터값을 확률로 변환하기 위해 Feed-forward neural network를 사용 후 클래스를 예측 진행
- 각 설명 카테고리 (인물관계, 장소 등) 마다 한 개의 FFN이 존재, 각 FFN의 출력 차원은 해당 카테고리의 가능한 정답 개수
- FFN을 통과한 특징 벡터는 각 카테고리마다 가능한 모든 정답에 대한 확률을 계산하고, 그 중 가장 높은 확률의 정답을 선택
- 각 카테고리 (인물관계, 장소 등)마다 주어진 보기 중 한 개씩의 정답을 예측
- 정밀도와 재현율을 이용해 산출한 F1-score로 모델 성능 평가
- 데이터 전처리
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 Video Summarization Generation Video Transformer F1-Score 0.3 점 0.65 점 2 Video Captioning Generation Video Transformer F1-Score(micro) 0.3 점 0.51 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
데이터셋 구축 담당자
수행기관(주관) : 한국과학기술원
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 박주용 042-350-2924 [email protected] · 데이터 구축 총괄 및 설계 수행기관(참여)
수행기관(참여) 기관명 담당업무 메트릭스리서치 · 데이터 수집 및 정제 소리자바 · 데이터 수집 및 정제 KBS · 데이터 수집 및 정제 데이터메이커 · 데이터 가공 및 검수 액션파워 · 데이터 학습모델 개발 미소정보기술 · 데이터 학습모델 개발 인터마인즈 · 데이터 검수 및 품질검증 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 박주용 042-350-2924 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.