-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019-12-31 데이터 최초 개방 소개
AI 8종 임무 유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미 정보를 구축한 영상 데이터 제공
구축목적
AI 개발에 공통적으로 활용 가능한 데이터셋 확보 영상, 음성, 텍스트 등의 데이터 타입을 제공함으로써 다양한 AI 분야에 적용 가능 하나의 상황에 대해 여러 타입의 데이터를 제공함으로써 멀티모달 데이터 분석 가능
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 오디오 , 비디오 , 텍스트 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2019년/100시간 -
구축량
100시간 분량의 멀티모달 영상 데이터셋 구축
- AI 8종 임무유형을 고려한 의미정보 부착
- 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보
* AI 8종 임무유형: 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식
구축내용
- 110시간 17분 분량의 멀티모달 영상 데이터셋 구축
- 총 6,000개 영상 클립
- 총 발화 정보: 85,077개 - AI 8종 임무유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미정보 부착
- 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식 등 AI 서비스 개발이 가능하도록 데이터 구축
- AI 8종 임무유형을 고려한 의미정보 부착
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 성별/나이인식 Estimation CNN Accuracy % 10 % 2 음성인식 Speech Recognition RNN Accuracy % 90 % 3 영상질의응답 Question Answering LSTM + CNN Accuracy % 10 % 4 멀티모달감정인식 Speech Recognition FFNN Accuracy % 10 % 5 복수발화의도분석 Estimation Bi-directional LSTM Accuracy % 10 % 6 단일발화의도분석 Estimation LSTM Accuracy % 10 % 7 텍스트감정인식 Estimation LSTM Accuracy % 10 % 8 음성감정인식 Estimation CNN + LSTM Accuracy % 10 % 9 영상감정인식 Estimation CNN Accuracy % 10 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019.12.31 데이터 최초 개방 구축목적
- AI 개발에 공통적으로 활용 가능한 데이터셋 확보
- 영상, 음성, 텍스트 등의 데이터 타입을 제공함으로써 다양한 AI 분야에 적용 가능
- 하나의 상황에 대해 여러 타입의 데이터를 제공함으로써 멀티모달 데이터 분석 가능
활용분야
- 지능형 서비스 로봇
- CCTV 영상 분석
- 챗봇 어플리케이션
사례
- ㈜아크릴의 Jonathan Intelligence System에 탑재된 감성 인식, 객체 인식 기술에 활용
구축량
100시간 분량의 멀티모달 영상 데이터셋 구축
- AI 8종 임무유형을 고려한 의미정보 부착
- 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보
* AI 8종 임무유형: 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식
대표도면
필요성
- 현재 공개된 멀티모달 영상 데이터는 인공지능 학습 데이터로 사용하기에는 규모가 크지 않아 대규모의 학습 데이터의 제작이 필요함
- 기존 데이터는 저작권 및 초상권 문제, 연구개발 목적으로의 사용 제약 등 데이터 활용에 제한이 있음
- 국내 서비스에 적용하기 위해서는 국내 상황에 맞는 인물(감정), 개체, 대화내용(맥락), 상황정보 등 의미정보가 포함된 대규모의 데이터가 필요함
구축내용
- 110시간 17분 분량의 멀티모달 영상 데이터셋 구축
- 총 6,000개 영상 클립
- 총 발화 정보: 85,077개 - AI 8종 임무유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미정보 부착
- 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식 등 AI 서비스 개발이 가능하도록 데이터 구축
데이터 구조
- 데이터 폴더 구조
<데이터 폴더 구조>
- ./0001-0400/clip_(id)/[clip_(id).json, clip_(id).mp4] - 1번 clip 부터 400번 clip 까지 모아둔 폴더명 : 0001-0400 - clip id 원본 영상 데이터와 어노테이션 json 파일이 묶여있는 폴더명 : clip_(id) - clip id 원본 영상 데이터 : clip_(id).mp4 - clip id 원본 영상 어노테이션 데이터 json 파일 : clip_(id).json
- 데이터 구조는 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 등 정보를 포함하며 각 구조 정보는 아래 그림 및 표와 같이 구성
<데이터 구조도>
[ 데이터 항목 및 설명 ]
상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식) 항목 설명 결과물의
형태1~3분 내외의 대화를 포함하는 영상 파일과 영상을 설명하는 메타파일 인물 감정 기쁨, 슬픔, 분노, 놀람, 공포, 경멸, 혐오, 중립(총 8종) 표기
arousal(감정의 강도): 1(약함)~10(강함)의 값을 가지며 중간값은 5
valence(감정의 긍부정도): 1(부정)~10(긍정)의 값을 가지며 중간값은 5인물 별 성별 영상에 나오는 인물 별 성별 2종(남, 여) 표기 인물 별
연령대10대 이하, 10대, 20대, 30대, 40대, 50대, 60대 이상 (총 7종) 표기 발화
스크립트인물 별 발화 스크립트 표기 개체 정보 개체 위치, 개체 분류 관계 정보 17종의 개체 관계(위치/행동 관계) 상황 설명 정보 대화 전체의 주제에 대한 설명 질문/답변 이미지에 대한 질문/답변 정보 발화 의도 진술/주장, 질문, 명령/요청, 약속, 표출, 응대/답변,
인사/부르기/환기, 기타 등 8종 내외의 발화 의도
표기대화 전략
분류 정보CMU RAPT 데이터셋의 7가지 대화전략 카테고리
기반 정보 표기: 자기대화(SD), 질문대화(QESD),
공감대화(RSD), 칭찬대화(PR), 비윤리적대화(VSN),
완곡대화(IN), 비언어적대화(BC)[ 각 데이터 항목에 대한 라벨명 및 예시 ]
상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식) 데이터
항목라벨 한글명 라벨 영어명 예시 감정 기쁨 happy 오늘 정말 기분이 좋아 놀람 surprise 믿을 수가 없어! 분노 angry 여기는 동네 단골을 이런 식으로 대하나? 슬픔 sad 나 진짜 너무 속상해 엄마. 혐오 dislike 아이고, 잘도 그러겠다. 공포 fear 이러다가 영영 안되는거아닐까 걱정되어요 경멸 contempt 너라는 사람 정말 지긋지긋하다 중립 neutral 이거 한번 볼래? 성별 남성 male 여성 female 연령대 10대 이하 under_10s 10대 10s 20대 20s 30대 30s 40대 40s 50대 50s 60대 over_60s 위치
관계~ 위에 있다 on ~ 아래에 있다 under ~ 앞에 있다 ahead ~ 뒤에 있다 behind 가까이 있다 close 닿아 있다 reach ~ 안에 있다 in 행동
관계잡다 catch 들다 lift 밀다/당기다 pull_push 기대다 lean 사용하다/착용하다 use_wear 먹다/마시다 eat_drink 앉다 sit 눕다 lie 따라가다 follow 때리다 hit 상황
설명
정보사회 society 패션 fashion 연애 relationship 교육 education 예술 art 문화 culture 과학 science IT it 방송 media 연예 entertainment 주거 living 음식 foods 스포츠 sports 여행 travel 건강 health 질문/
답변질문/답변 QA Q: 남자가 몇 명 있나요?
A: 1명발화
의도진술/주장 statement 이렇게 해서는 장사가 안됩니다. 질문 question 거기까지 가는데 얼마나 걸리는데? 명령/요청 request 오늘 청소 좀 해줬으면 좋겠는데 약속 promise 이건 내가 내일까지 해올게 표출 expression 아이고 억울해 주겠어 응대/답변 response 내가 안했다니까 그러네 인사/부르기/환기 greeting_call 그건 그렇고, 어제는 무슨 일 있었어? 기타 others 대화
전략자기대화 SD 나는 애완동물을 좋아해 질문대화 QESD 그래서, 너는 어디에 사니? 공감대화 RSD 너도 xbox 게임을 좋아하니? 칭찬대화 PR 이번에 정말 잘했어 비윤리적대화 VSN 기분 잡치네 진짜 완곡대화 IN 어쩌면 그게 아닐 수도 있어 비언어적대화 BC (머리 끄덕임, 웃음) 
<데이터 구조 예시>
-
데이터셋 구축 담당자
수행기관(주관) : 아크릴
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 고의열 02-557-4958 [email protected] · AI 학습용 데이터 제작 · 영상 어노테이션 저작도구 개발 · 시범서비스 "GUI 기반 학습지원도구" 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜테스트웍스 · AI 학습용 데이터 어노테이션 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 고의열(아크릴) 02-557-4958 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.