※온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-01-10 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-24 산출물 전체 공개 소개
민간분야 5개 클래스(교통/차량, 금융, 보험, 생활/패션, 의료/보건) 3,300시간 고객 상담 음성 데이터 수집 및 감정·의도 태깅 및 요약문 등으로 이루어진 학습데이터 구축 ※ 의료/보건 클래스의 경우, 개인정보/민감정보 보호를 위해 시나리오 기반 음성데이터 수집
구축목적
학습용 민원 관련 질의응답 음성 데이터 및 이와 매치되는 전사 텍스트 구축 음성 인식률 확보를 통해 음성기능 활용 제고, 인공지능 고객서비스, 통합 민원 관리에 활용
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 오디오 , 텍스트 데이터 형식 WAV, JSON 데이터 출처 자체 수집 라벨링 유형 전사(음성) 라벨링 형식 JSON 데이터 활용 서비스 소비자민원 통합지능화 시스템 중 피해구제 관련 서비스 활용 데이터 구축년도/
데이터 구축량2022년/40,328건 -
- 파일수 : 원천데이터는 WAV, 라벨링 데이터는 JSON 포맷으로 아래와 같이 구축
* 원천데이터 구축규모 및 분포 (WAV)원천데이터 구축규모 및 분포 (WAV) 구분 도메인 수량(건) 비율 원천데이터 (WAV) 교통_차량 8,753 21.70% 금융 9,558 23.70% 보험 6,284 15.60% 생활_패션 10,780 26.70% 의료_보건 4,953 12.30% 총계 40,328 100.00% * 라벨링데이터 구축규모 및 분포 (JSON)
라벨링데이터 구축규모 및 분포 (JSON) 구분 도메인 수량(건) 비율 라벨링데이터 (JSON) 교통_차량 8,753 21.70% 금융 9,558 23.70% 보험 6,284 15.60% 생활_패션 10,780 26.70% 의료_보건 4,953 12.30% 총계 40,328 100.00% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드○ 모델 학습
- 다양한 소비자, 시민의 의도를 정확하게 파악하고 답변을 제공할 수 있는 음성 챗봇 등 연구⦁개발에 활용가능한 학습모델 설계
- 음성인식 모델(Jasper) : 성능 개선이 가능한 인공지능 기반 음성 대화 모델 연구.
* 학습조건 : Batch Size 16, 120 epoch fine-tunning
* 민간분야 음성데이터 5종 카테고리 3,300시간 분량 학습 진행. CER 13% 이하 달성- 의도 분류 모델(KoBERT) : 음성을 전사한 텍스트에서 발화자의 의도를 분석하여 분류
* 민간분야 음성데이터 5종 카테고리 3,300시간 학습 진행. Accuracy 74% 달성○ 응용(시범)서비스 소개
- 피해구제 지능화 시스템 구축 : 콜센터 유입 민원 응대 음성을 자동으로 인식하여 피해구제 서비스 지능화 및 민원 해결 대응력 향상
○ 응용(시범)서비스 예시
- 피해구제 지능화 시스템 예시
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 음성인식 Speech Recognition Jasper CER 15 % 12.94 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 민간분야 라벨링 데이터 구성요소
민간분야 라벨링 데이터 구성요소 구분 속성명 타입 필수여부 설명 범위 비고 1 dataSet Object Y 데이터셋정보 1-1 version String Y 데이터셋 버전 1-2 date String Y 녹취된 날짜 2 typeInfo Object Y 음원 데이터 상세 정보 2-1 category String Y 음원 카테고리 정보 민간분야 2-2 subcategory String Y 음원 도메인 교통/차량, 금융, 보험, 의료/보건, 생활/패션 2-3 place String Y 음원 녹취 장소 소비자원, 엑스퍼트 2-4 pattern String Y 대화패턴 정보 간편해결, 문제해결, 심화응대 2-5 inputType String Y 입력형식 유선 3 speakers Array 화자 목록 3-1 - object 3-1-1 id String Y 화자 아이디 3-1-2 type String Y 화자 타입 상담사, 고객 타입 뒤에 등장순서를 넘버링 (상담사1, 고객1, 고객2 등) 3-1-3 age String 화자 나이 25, 33, 30대, 50대 등 (추정 금지) 3-1-4 gender String Y 화자 성별 남, 여 3-1-5 summary String Y 요약문 4 dialogs Array 전사 데이터 목록 4-1 - object 4-1-1 speaker String Y 화자 아이디 [3] speakers에 등록된 id 4-1-2 dialogID number Y 발화 문장에 해당하는 id 4-1-3 directText String Y 발화를 기준으로 한 한글 발음전사 방언 포함 4-1-4 standardText String 이중전사 대치어 (표준어, 숫자, 영어 등 철자전사) 4-1-5 sentiment String Y 감정 태깅 긍정, 부정, 중립 4-1-6 intent String Y 의도 태깅 부르기/환기, 진술/주장/표출, 명령/요청, 질문, 응대/답변 4-1-7 startPoint number Y 문장 시작 시간 4-1-8 endPoint number Y 문장 종료 시간 4-1-9 turnNum number 발화 턴에 해당하는 Index - 민간분야 라벨링 데이터 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜타임게이트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김민관 02-575-0409 [email protected] 실무책임 수행기관(참여)
수행기관(참여) 기관명 담당업무 한국소비자원 수집 엑스퍼트컨설팅 수집 세명소프트 정제, 가공 미소정보기술 품질관리(검수) 타임게이트 모델링 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김민관 02-575-0409 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.