AI-Hub

데이터 변경이력

데이터 히스토리

소개

영상 내 사건 경계 타임스탬프, 바운딩 박스, 사건 경계별 상황에 대한 자연어 캡션을 통한 영상 속 등장 인물 및 사물의 행동을 포괄적으로 이해하기 위한 인공지능 학습 데이터를 구축주류 객체 정보 수집 및 자연어 묘사 데이터가 포함된 멀티모달 데이터 수집

구축목적

본 세부과제에서는 실세계 미디어 영상으로부터 화면 전환의 경계를 추론하여 주요 장면 요약, 광고 삽입 등 다양한 응용에 활용할 수 있는 인공지능 모델을 학습할 수 있도록 하는 학습용 영상 데이터를 구축하고자 함

1. 데이터구축 수량
 영상 : 184,699개

2. 데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

학습모델
ㅇ GEBD(Generic Event Boundary Detection) 모델은 긴 시간의 비디오를 샷, 이벤트 등을 구분하여 자연스럽게 비디오를 의미 단위로 나누어 사람의 인지기능과 같이 긴 비디오 속에서도 지역적 특성을 찾는 “일반적인 사건 지점 탐색”을 목표로 하는 모델이다.

ㅇ 데이터 셋 분할

                                          <데이터 사용 단계>

활용서비스
ㅇ 컴퓨터 비전 영역
  ① 장면 전환 경계 탐색
   - 영상 내 장면 전환 경계 탐색 분야는 컴퓨터 비전 연구의 주요 분야 중 하나이며 국내에서도 다수의 연구실에서 높은 성과를 거두고 있음
   - 관련 연구실에서는 제안하는 데이터 셋을 활용하여 더욱 풍부한 실험을 통해 경쟁력 확보 가능
  ② 영상 장면 예측
   - 영상을 구성하는 장면들의 일반적인 흐름과 구조을 학습하여 앞으로 나올법한 장면을 예측하는 연구 가능
  ③ 영상 장면 구성 분석
   - 동일한 장면이지만 촬영 기법 상 장면 내에서 화면의 전환이 일어나는 경우가 있음
   - 사람이 악보를 보는 하나의 장면 내에서 카메라가 로우 앵글에서 하이 앵글로 변화하거나, 구조물 등으로 인해 화면이 전환되는 경우가 이에 해당됨
   - 화면 전환은 일반적으로 인공지능이 하나의 장면을 올바르게 하나라고 인식하지 못하도록 하는 장애물로서 작용하는데, 제안하는 데이터 셋을 학습하여 화면의 전환에 구애받지 않도록 하는 분야의 연구 가능
  ④ 영상 장면 설명문 데이터와 연계
   - 장면 전환 경계 탐색 분야를 기반으로, 영상 내 장면의 분할을 효율적으로 수행하는 인공지능을 장면 설명문을 위한 장면의 효율적인 탐색에 적용하여 설명문 생성 인공지능의 성능을 향상시키고자 하는 연구 가능

ㅇ 미디어 콘텐츠 영역
  ① 하이라이트 소스 생성 서비스
   - 장면 간의 중요도를 판단하는 인공지능을 기반으로, 영상의 장면들을 분할하고 중요도가 높은 장면들을 엮어 하이라이트 영상의 소스를 제공하는 서비스 제공
  ② 영상 검색 서비스
   - 객체 검색 등을 함께 활용하여 특정 장면이 포함되어 있는 영상을 효율적으로 검색 하는 인공지능을 활용한 영상 검색 서비스 제공
  ③ 영상 추천 서비스
   - 영상의 장면들을 기반으로 사용자가 선호할만한 장면이 포함된 영상들을 추천하는 인공지능을 활용한 추천 서비스 제공

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 설명

2. json 형식
 ▼video info {19}
    video_name: D2_AN_0531_000002.mp4
    width: 1920
    height: 1080
    frame_rate: 30
    duration: 60.0
    total_frame: 1800.0
    film_method: filmed_directly
    filmed_date: 2022-05-31
    domain_id: AN
    place": outdoor
    f1_consis: 1
    f1_consis_avg: 1,
    annotated_date: 2022-08-22
    version": 1
    revision_history: N/A
    ▼seg_annotator_id [5]
        282,
        ...
    seg_confirmer_id [5]
        331,
        ...
    distributor: selectstar
    ▼trigger_info {4} or {6}
            timestamps:
                0:00.00000,
                0:16.00000
            trigger: Change of action or Change due to cut
            trigger_object: 사건 유발 객체
            trigger_action: 사건 유발 설명문
            bbox:
                x1: 0.47987416144579403,
                y1: 0.19551638529754684,
                x2: 0.5091957049242872,
                y2: 0.35008483091943976
            time: 0:08.00000

3. 어노테이션 포맷

4. json 실제 예시

{
    "video_name": "D2_AN_0531_000002.mp4",
    "width": 1920,
    "height": 1080,
    "frame_rate": 30,
    "duration": 60.0,
    "total_frame": 1800.0,
    "film_method": "filmed_directly",
    "filmed_date": "2022-05-31",
    "domain_id": "AN",
    "place": "outdoor",
    "f1_consis": [
        1
    ],
    "f1_consis_avg": 1,
    "annotated_date": "2022-08-22",
    "version": 1,
    "revision_history": "N/A",
    "seg_annotator_id": [
        282,
        161,
        336,
        807,
        618
    ],
    "seg_confirmer_id": [
        331,
        674,
        312,
        710,
        116
    ],
    "distributor": "selectstar",
    "trigger_info": [
        {
            "timestamps": [
                "0:00.00000",
                "0:16.00000"
            ],
            "trigger": "Change of action",
            "trigger_object": "휴대폰",
            "trigger_action": "여자가 휴대폰으로 사진을 찍는다.",
            "bbox": {
                "x1": 0.47987416144579403,
                "y1": 0.19551638529754684,
                "x2": 0.5091957049242872,
                "y2": 0.35008483091943976
            },
            "time": "0:08.00000"
        },
        {
            "timestamps": [
                "0:15.92013",
                "0:15.92013"
            ],
            "trigger": "Change due to cut",
            "trigger_object": "null",
            "trigger_action": "null"
        },
 

데이터셋 구축 담당자

수행기관(주관) : 스파크엑스

수행기관(참여)

데이터 관련 문의처