AI-Hub

데이터 변경이력

데이터 히스토리

소개

● 인공지능 학습용 영어 사용자의 한국어 음성 데이터 수집 및 가공
● 발음 및 말하기 교육과 평가에 활용할 수 있는 인공지능 프로그램 개발에 실질적으로 도움을 줄 수 있는 고품질의 음성데이터 수집 및 가공

구축목적

● 인공지능 학습용 데이터 구축
● 인공지능 기반 한국어 교육 및 평가용 서비스 모델 개발 및 실증
● 인공지능 데이터 생태계 조성

     * 통계데이터별첨 참조

발화자별 발화 시간(다양성 통계)

발화 오류 유형(다양성 통계)

한국어 학습 기간(다양성 통계)

한국 거주 기간(다양성 통계)

한국어 학습 목표(다양성 통계)

한국어 학습 방법(다양성 통계)

발화자 학력(다양성 통계)

평가별 점수 분포(다양성 통계)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

◯ 음성데이터 활용에 최적화한 Wavegram-Logmel-CNN, ResNet, Trident ResNet 등 활용AI모델을 제시합니다.
  ① 한국어 말하기 내용과 언어사용을 평가하는 말하기 내용 및 언어사용 평가 모델
  ② 음성인식 오류율에 기반하여 전달력을 평가하는 말하기 전달력 평가 모델
  ③ 문장 구사 실력에 대한 숙달도 평가 모델
  ④ 개별적인 소리가 맞는 발음인지 틀린 발음인지를 판단하는 개별 발음 평가 모델
  ⑤ 숙련도, 이해가능도, 유창성에 대하여 발음을 평가하는 발음평가 모델

◯ 응용서비스에서는 지능형 한국어 발음·말하기 자동평가 시스템개발을 지원합니다.
  ① 외국인의 한국어 발음 자동 채점 서비스
  ② 한국어 시험의 말하기 영역 자동 채점 서비스
  ③ 발음 및 운율의 정확성과 자연스러움에 대한 평가 서비스
  ④ 대화 기반 표현력, 구성력, 내용 적절성 평가 서비스

◯ 수요주체와의 긴밀한 네트워크를 통해 응용서비스 개발과 데이터 즉시 활용 
  ① 주관 및 참여기관: 엔에스데블과 서울대 언어교육원의 지능형 평가플랫폼 개발시 AI 자동채점 활용, 네이버클로바 기능 고도화
  ② 예상 수요기관(기업): 한글과 컴퓨터, 글로벌 챗봇 심심이, 보이스웨어, 이드웨어, 스마트미디어테크, 휴먼미디어테크, 브이에스웍스 등
  ③ 예상 수요기관(공공): 교육부 국립국제교육원 TOPIK 시험, 한국전자통신연구원(ETRI) 등

데이터 성능 점수

설명서 및 활용가이드 다운로드

◯ 데이터 포맷

(원천 음성데이터)
- 발화 앞·뒤 500~1000ms의 묵음이 들어간 단어 단위, 문장 단위, 문단 단위, 전체 스토리 단위의 PCM 형식의 영어 모어 화자의 한국어 음성데이터
- 원시 음성데이터는 CD 품질(16비트, 44.1kHz 샘플링레이트)로 녹음하고, 발화자의 문항별로 wav 파일의 음성 파일명 부여 원칙에 입각하여 저장

(발화자 메타데이터)
- 녹음 진행 전 부여받은 계정을 통해 워크벤치 내 발화자 메타데이터를 입력하여 Json 형식으로 저장

(말하기 전사 라벨링 데이터)
- 말하기 교육 및 평가용 음성데이터의 발음오류가 그대로 드러나는 수동 발음전사 데이터(JSON) 

(발음오류 태깅 라벨링 데이터)
- 발음 교육 및 평가용 음성데이터와 대응되는 음절 및 음소 열의 정보와 발음오류에 대한 태깅 데이터(JSON, TextGrid)

(말하기/발음 평가 라벨링 데이터)
- 데이터 건당 음성 & 전사 데이터와 매치되는 발음 및 말하기 레벨 스코어링 평가 결과(JSON)

◯ 데이터 구성
발음문항

말하기 문항

◯ 어노테이션 데이터 포맷
발음문항

말하기 문항

◯ 실제 데이터

◆ 원천음원(WAV)

 - 파일명: 00678-F-86-EN-A-RW101-0183094.WAV

◆ 메타 데이터 (JSON) 

 - 파일명: 00678-F-86-EN-A-RW101-0183094.JSON

{    "UserID": "00678",
    "SpeakerMetadata": {
        "birth_year": "86",
        "gender": "F",
        "nationality": "United States",
        "language": "English",
        "proficiency": "Beginner",
        "topik_score": 0,
        "topik_level": 0,
        "education": "Master’s Degree",
        "learning_period": "5",
        "korea_residency": "8",
        "purpose": "None",
        "learning_method": "None",
        "recording_level": "Advanced"
    },
    "sound_id": "0183094",
    "RecordingMetadata": {
        "task_create": "2022-09-08 05:51:12",
        "task_end": "2022-09-08 05:51:14",
        "RecordedTime": 1.96,
        "sound_environment": "online",
        "prompt": "기막히다",
        "phonemic": {
            "words": [
                {
                    "word": "기막히다",
                    "start": 0.57,
                    "end": 1.94
                }
            ],
            "phones": [
                {
                    "phone": "ㄱ",
                    "start": 0.57,
                    "end": 0.68
                },
                {
                    "phone": "ㅣ",
                    "start": 0.68,
                    "end": 0.77
                },
                {
                    "phone": "ㅁ",
                    "start": 0.77,
                    "end": 0.84
                },
                {
                    "phone": "ㅏ",
                    "start": 0.84,
                    "end": 0.95
                },
                {
                    "phone": "ㅋ",
                    "start": 0.95,
                    "end": 1.03
                },
                {
                    "phone": "ㅣ",
                    "start": 1.03,
                    "end": 1.14
                },
                {
                    "phone": "ㄷ",
                    "start": 1.14,
                    "end": 1.21
                },
                {
                    "phone": "ㅏ",
                    "start": 1.21,
                    "end": 1.94
                }
            ],
            "error_tags": [
                {
                    "error_tag": "격음화",
                    "start": 0.95,
                    "end": 1.03
                }
            ]
        }
    },
    "EvaluationMetadata": {
        "PronunProfEval": 4,
        "FluencyEval": 0,
        "ComprehendEval": 4
    },
    "TaggingMetadata": {
        "file_type": "TextGrid",
        "filename": "00678-F-86-EN-A-RW101-0183094.TextGrid"
    }
}

◆ Pratt TextGrid 태깅정보

 - 파일명: 00678-F-86-EN-A-RW101-0183094.TextGrid

File type = "ooTextFile"
Object class = "TextGrid"
xmin = 0.54 
xmax = 1.42 
tiers?  
size = 3 
item []: 
    item [1]:
        class = "IntervalTier" 
        name = "words" 
        xmin = 0.54 
        xmax = 1.42 
        intervals: size = 1 
        intervals [1]:
            xmin = 0.54 
            xmax = 1.42 
            text = "기막히다" 
    item [2]:
        class = "IntervalTier" 
        name = "phones" 
        xmin = 0.54 
        xmax = 1.42 
        intervals: size = 8 
        intervals [1]:
            xmin = 0.54 
            xmax = 0.68 
            text = "ㄱ" 
        intervals [2]:
            xmin = 0.68 
            xmax = 0.76 
            text = "ㅣ" 
        intervals [3]:
            xmin = 0.76 
            xmax = 0.84 
            text = "ㅁ" 
        intervals [4]:
            xmin = 0.84 
            xmax = 0.95 
            text = "ㅏ" 
        intervals [5]:
            xmin = 0.95 
            xmax = 1.03 
            text = "ㄱ" 
        intervals [6]:
            xmin = 1.03 
            xmax = 1.14 
            text = "ㅣ" 
        intervals [7]:
            xmin = 1.14 
            xmax = 1.21 
            text = "ㄷ" 
        intervals [8]:
            xmin = 1.21 
            xmax = 1.42 
            text = "ㅏ" 
    item [3]:
        class = "IntervalTier" 
        name = "tags" 
        xmin = 0.54 
        xmax = 1.42 
        intervals: size = 3 
        intervals [1]:
            xmin = 0.54 
            xmax = 0.95 
            text = "" 
        intervals [2]:
            xmin = 0.95 
            xmax = 1.03 
            text = "격음화" 
        intervals [3]:
            xmin = 1.03 
            xmax = 1.42 
            text = "" 

데이터셋 구축 담당자

수행기관(주관) : ㈜엔에스데블

수행기관(참여)

데이터 관련 문의처