한국어 강의 음성
- 분야한국어
- 유형 오디오 , 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2021-09-09 데이터 품질 보완 1.0 2021-06-25 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-14 신규 샘플데이터 개방 소개
한국어로 된 강의영상/음성을 인식하여 자동으로 자막을 생성해주고, 내용을 이해하는 강의 음성 데이터
구축목적
한국인의 음성을 문자로 바꾸어 주고, 문맥을 이해하는 한국어 음성 언어처리 기술 개발을 위한 AI 학습용 한국어 음성 DB를 구축 한국어로 된 강의 영상/음성을 인식하여 자동으로 자막을 생성해주고, 내용을 이해하는 서비스를 위한 한국어 강의 음성 DB를 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 오디오 , 텍스트 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/576만 -
구축 내용 및 제공 데이터량
- 대분류(초,중,고,직업/자격증,기타 성인)에서 파생된 10여종의 콘텐츠 기반으로 한 주제별, 수준별 학습 목적에 적합한 4,000시간의 한국교육방송공사(EBS) TV/라디오 방송콘텐츠 및 온라인 강의 콘텐츠
구축 내용 및 제공 데이터량 구분 초 중 고 직업/자격증 기타 성인 시간(hr) 960시간 이상 750시간 이상 1,340시간 이상 530시간 이상 420시간 이상 데이터 선정 기준 - 총 12학년 (초,중,고)
- 국어, 수학, 사회, 과학, 역사 5종
- 국어 640시간, 수학 680시간, 사회 570시간, 과학 610시간, 역사 550시간- 10종 분류 (국어, 한국사, 사회, 과학, 수학, 전문자격, 금융, 경영, IT, 기술)
- 종별 50~80시간- 10종 분류 (인문, 철학, 문학, 예술, 과학, 사회, IT,교육)
- 종별 30~100시간수집항목 - 강의음성, 강사정보(성별, 연령), 강의주제(과목, 학년), 강의정보(방송날짜, 발화장소) 등 - 강의음성, 강사정보(성별), 강의주제, 강의정보(방송날짜, 발화장소) 등 -
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 한국어 강의 학습 성능 Speech Recognition Jasper CER 15 % 11.44 % 2 한국어 강의 학습 성능 Speech Recognition Jasper WER 38 % 33.72 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2021.09.09 데이터 품질 보완 1.0 2021.06.25 데이터 최초 개방 구축 목적
- 한국인의 음성을 문자로 바꾸어 주고, 문맥을 이해하는 한국어 음성 언어처리 기술 개발을 위한 AI 학습용 한국어 음성 DB를 구축
- 한국어로 된 강의 영상/음성을 인식하여 자동으로 자막을 생성해주고, 내용을 이해하는 서비스를 위한 한국어 강의 음성 DB를 구축
활용 분야
- 연구분야 : 음성인식, 음성언어처리, 자연어처리, 한국어 음성언어연구, 신호처리 등
- 산업분야: 온/오프라인 기반의 음성인식, 강의 자동 자막생성기, AI로봇, Untact 교육 솔루션 등
소개
- 연령, 주제별, 과목별 다양한 한국어 강의 음성으로부터 음성의 내용을 전사하고 AI모델 개발을 진행한 한국어 강의 음성 AI 데이터셋으로, EBS의 교육영상을 기반으로 데이터를 수집하였으며, 강의 자막 자동 생성 서비스 및 교육 관련 응용서비스 개발에 활용할 수 있음.
다양한 음성의 재사용에 제한이 없도록 저작권 문제를 완전히 해결한 원천 데이터를 확보함.
구축 내용 및 제공 데이터량
- 대분류(초,중,고,직업/자격증,기타 성인)에서 파생된 10여종의 콘텐츠 기반으로 한 주제별, 수준별 학습 목적에 적합한 4,000시간의 한국교육방송공사(EBS) TV/라디오 방송콘텐츠 및 온라인 강의 콘텐츠
구축 내용 및 제공 데이터량 구분 초 중 고 직업/자격증 기타 성인 시간(hr) 960시간 이상 750시간 이상 1,340시간 이상 530시간 이상 420시간 이상 데이터 선정 기준 - 총 12학년 (초,중,고)
- 국어, 수학, 사회, 과학, 역사 5종
- 국어 640시간, 수학 680시간, 사회 570시간, 과학 610시간, 역사 550시간- 10종 분류 (국어, 한국사, 사회, 과학, 수학, 전문자격, 금융, 경영, IT, 기술)
- 종별 50~80시간- 10종 분류 (인문, 철학, 문학, 예술, 과학, 사회, IT,교육)
- 종별 30~100시간수집항목 - 강의음성, 강사정보(성별, 연령), 강의주제(과목, 학년), 강의정보(방송날짜, 발화장소) 등 - 강의음성, 강사정보(성별), 강의주제, 강의정보(방송날짜, 발화장소) 등 대표도면
필요성
- 최근 AI를 활용한 음성인식 기술이 인공지능 비서를 포함한 다양한 서비스에 적용되고 있음
- 하지만 AI 음성인식 모델이 한국어 강의 데이터로 학습이 이루어지지 않을 경우, 강의에서 발생하는 다양한 노이즈 등으로 인해 음성인식 성능이 떨어지는 경향을 보임
- 기존에 공개된 한국어 강의 도메인에 대한 데이터셋은 존재하지 않으며, 저작권 문제 등으로 활용이 불가하였음
- 본 과제를 통해 한국어 강의 도메인에 대한 AI 음성인식 성능 향상을 위한 한국교육방송공사(EBS)로부터 제공받은 4,000 시간 이상의 한국어 강의 데이터셋을 구축함
데이터 구조
데이터 구조 ID 항목 타입 키 명 키 설명 dataSet 데이터셋 Dict 1 version 데이터셋 버전 String 3 date 녹취된 날짜 String 4 typeInfo 음원 데이터 상세 정보 Dict 4-1 category 음원 카테고리 정보 String 4-2 subcategory 음원 서브카테고리 String 4-3 place 음원 녹취 장소 String 4-4 speakers 화자 목록 List 4-3-1 id 화자 아이디 String 4-3-1 age 나이대: 20대, 30대, 50대(추정), null(알수없음) 등 4-3-2 gender 화자 성별: 남, 여 String 4-3-2 residence 거주지역: 서울, 대전, 부산, 광주, null(알수없음) 등 4-5 inputType 입력형식:
방송, 유선, 모바일, 인터넷 등List 5 dialogs 전사 데이터 목록:
묵음 기준으로 나누어진 발화 단위로 생성List 5-1 speaker 화자 아이디: speakers에 등록된 id String 5-2 audioPath 발화 단위 RAW 데이터 경로 String 5-3 textPath 발화 단위 TEXT 데이터 경로 String -
데이터셋 구축 담당자
수행기관(주관) : 티맥스소프트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김윤성 031-8018-9325 [email protected] · 데이터구축 총괄 · 데이터 수집 · 데이터 정제 · 데이터 가공 · AI모델개발 · 응용서비스 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜아이스크림에듀 · 데이터 수집
· 데이터 정제
· 데이터 가공(사)한국에듀테크산업협회 · 데이터 수집
· 데이터 정제
· 데이터 가공나무기술(주) · 품질검증 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 박윤수(티맥스소프트) 031-8081-9398 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.