AI-Hub

데이터 변경이력

데이터 히스토리

소개

음성인식 성능개선을 위해 다양한 극한 소음환경에서 발성된 음성데이터를 수집/정제/가공하여 인공지능(AI) 학습용 데이터셋 구축

구축목적

음성인식기 성능 저하의 가장 큰 요인인 극한 소음 환경에서 소음을 제거하는 학습 방법을 적용하여 극한 소음 환경에서도 강인한 음성 인식 성능이 나오도록 연구 개발을 목적으로 함

ㅇ 데이터 구축 규모 
 - 극한 소음 환경 클래스 분류

 - 구축 규모

ㅇ 데이터 분포
 - 극한 소음 환경 분포

 - 대화 주제 분포

 - 화자 성별 분포

 - 화자 연령대 분포

 - 소음원 거리 분포

 - 화자 발성 정도 분포

- 녹음 환경 분포

  - 화자별 발화 시간 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

ㅇ 학습모델
 - TSCN : 딥러닝 기반 소음 제거 모델(Deep Noise Suppression)로 ICASSP 2021 DNS Challenge의 트랙1(실시간 소음감소)에서 1위를 차지한 모델로 최근 DNS 모델과 비교해서 가장 높은 성능 결과를 나타냄

	→		→	CME-Net	→	CSR-Net	→
음성+소음 입력		Spectrogram						음성(소음감소)
TSCN 모델

- CME-Net은 노이즈가 많은 스펙트럼의 크기를 입력으로, 깨끗한 음성 스펙트럼의 크기를 출력으로 사용하여 복잡한 스펙트럼을 얻기 위해 노이즈가 많은 위상을 추가로 결합함
 - CSR-Net에서는 CSS와 원래 노이즈 스펙트럼을 모두 입력으로 받아 잔류 스펙트럼을 추정하는 방식으로, 즉 CME-Net은 스펙트럼의 크기를 최적화하고, CSR-Net은 위상을 수정 및 크기를 세분화 함

ㅇ 데이터 셋 분할

ㅇ 활용서비스
 - 인공지능 스피커, 음성 명령어 인식기, 음성 기반 안전 감시 시스템 등 다양한 음성인식 분야에서 소음으로 인한 간섭이 발생할 경우, 음성인식 엔진의 전처리로서 DNS를 활용하여 깨끗한 음성을 남기로 음성인식에 전달하기 위한 서비스
 - 예시 
  · 도시 소음 등 시끄러운 환경에서 음성인식 키오스크의 인식률 향상
  · 추가적인 학습을 위해서는 소음+음성(Noisy data)과 음성(Clean data)이 세트로 이루어진 데이터 셋을 구축하여, 응용 서비스에 특화된 소음을 따로 훈련할 수 있음
 - 유의사항
  · 현재 개발된 모델은 30초 단위의 16Khz 샘플링을 입력으로 사용하고, 출력 데이터 역시 30초 16Khz를 기본형식으로 하고 있음. 긴 음성의 경우 resampling 및 30초 단위의 절단 및 병합 과정이 필요함

데이터 성능 점수

설명서 및 활용가이드 다운로드

ㅇ 데이터 소개
 - 음성인식기 성능 저하의 가장 큰 요인인 소음환경 중에서 보다 나은 인식 성능 개선을 위해 다양한 극한 소음 환경(예 : 비행기소리, 공장, 자동차 경주장, 공연장 등)에서 발성된 음성 데이터 구축
 - 주변 소음이 자연스럽게 포함된 음성 데이터 및 해당 음성을 전사한 데이터 구축

ㅇ 데이터셋 구성

ㅇ 어노테이션 포맷
 - 음성위주의 녹음파일, 음성+극한 소음의 녹음파일 모두 아래와 같은 어노테이션 포맷을 생성하며 메타항목은 전부 필수임

ㅇ 라벨링데이터 실제 예시

 {
  "dataSet":"극한소음음성",
  "version":"1.0",
  "mediaUrl":"01.교통수단/02.철로운송수단/01_01_103203_220823_0005_VN.wav",
  "date":"20220823",
  "noiseInfo":{
    "category":"교통수단",
    "subCategory":"철로운송수단",
    "noisePlace":"안양역 근처 철교",
    "bgnoisespl":"91.5",
    "distance":"근거리"
  },
  "conversationType":"개인및관계",
  "speakerNumber":"2",
  "speakerPlace":"현장",
  "speakers":[
    {
      "speaker":"103",
      "gender":"여성",
      "ageGroup":"40"
    },
    {
      "speaker":"203",
      "gender":"남성",
      "ageGroup":"40"
    }
  ],
  "dialogs":[
    {
      "speaker":"103",
      "speakerText":"오늘 날씨도 만만치 않네. 시원하게 냉물로 샤워를 하거나 시원한 얼음물로 등목해야 하는 날씨야. 밖에 나오기조차 싫은 그런 너무 더운 날이야.",
      "startTime":2,
      "endTime":15.999,
      "speakTime":13.999,
      "vocalVolume":"고음"
    },
    {
      "speaker":"203",
      "speakerText":"난 이렇게 더운 날이면 몸이 진이 다 빠지더라. 근데 나와 다르게 너는 왜 이렇게 아무렇지 않아 보이네. 너는 괜찮아?",
      "startTime":16.001,
      "endTime":29.999,
      "speakTime":13.998,
      "vocalVolume":"고음"
    },
- 중  략 -
  ],
  "audioResolution":{
    "bitDepth":16,
    "sampleRate":44.1
  },
  "recStime":"14",
  "recLen":316,
  "recDevice":"6ch Zoom h6 audio recorder"
}
 

데이터셋 구축 담당자

수행기관(주관) : ㈜코테크시스템

수행기관(참여)

데이터 관련 문의처