AI-Hub

데이터 변경이력

데이터 히스토리

소개

병원(한림대 강남성심병원, 동탄성심병원 등), 청각 센터(한림대 청각학과 졸업생 네트워크 활용)에서 최소 1,200명(총 5,000 시간 이상 5,250시간 이하)의 원시데이터를 확보하여 다양한 나이, 지역, 성별, 질환으로부터 정제된 발화 데이터 추출 및 질환 분류 인공지능 데이터셋 구축

구축목적

구음장애 중재 시 진전 과정을 모니터링하거나 여러 중재 방법들을 비교하는데 유용하게 사용하거나 병증 진단의 목표 수준을 제시하는데 활용할 수 있도록 구음장애 환자를 대상으로 1200명(5,000시간 이상 5250시간 이하) 발화 데이터 구축

1. 지역 비율

2. 연령 비율

3. 성별 비율

4. 스트립트 분류 비율

5. 장애 분류 비율

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

• 같은 음소의 경우라도 정상인과 다른 음성을 발화할 뿐 아니라 장애에 따라서도 다른 음성으로 발화하는 것을 고려하여 장애별 음성 모델을 딥러닝 알고리즘을 이용하여 각각 구현함. 
• 음성 인식 학습을 위한 인공지능 모델에는 CNN-HMM, CNN-biLSTM, 그리고 CNN-biLSTM-CTC를 이용하고 질병 분류 학습을 위한 인공지능 모델에는 AE-CNN을 이용함.

• 음향 모델은 기존의 렉시콘과 언어 모델과 함께 뇌신경/청각/후두 장애의 음성 인식 시스템 구축에 활용함.
• Pre-processing : 파이럿 스터디 과정에서 정상인과 구음장애 각 음성데이터는 샘플링 과정을 통해 디지털 데이터로 변환된 후 MFCC를 통한 특징벡터들과 함께 추가적으로 pitch, jitter (피치의 변화율), Shimmer (최대 진폭 변화율), HNR (Harmonics to Noise Ratio : 고조파 성분과 잡음 비율), PPT (Pitch Period Entrophy : 피치 주기 엔트로피), DFA (Detrended Fluctuation Analysis : 자기 상관도), RPDE (Recurrence period density entropy : 재귀 주기 밀도 엔트로피), 등을 포함하는 특징벡터 추출. 이 때, 오디오 파일을 일정 간격 (10-20ms)의 윈도우 사이즈로 프레임을 나누고 각 프레임 마다 이산푸리에변환을 취한 다음 MFCC 파라미터 값들을 추출함.
• 각 프레임 마다 문자열을 할당할 때 자모를 분리하고 초성, 중성, 중성을 분리하여 할당함.
• 정상인 음성데이터 변조 : 정상인과 구음장애의 특징벡터를 비교하여 가장 차이가 큰 순서대로 n개의 특징 파라미터 선별하여 정상인 음성데이터에 적용 
• CNN-HMM : 구음장애의 특징벡터를 활용 변조된 정상인 음성데이터, 구음장애 음성데이터에 각각 CNN-HMM 알고리즘을 이용하여 학습하여 학습 모델 생성
• 성능검사 및 비교 : 정상인과 구음장애 테스트용 음성데이터를 각각 해당 CNN      -HMM 학습 모델을 이용하여 성능 검사 후 비교
• 구음장애 대표 특징 추출 : 정상인 음성데이터 변조 단계부터 성능검사 및 비교 단계를 반복 시행을 통하여 구음 장애를 가장 잘 나타내는 대표 특징 추출
• CNN-BiLSTM(-CTC) 학습모델 생성 : 본 과제에서 구축할 구음장애 데이터를 학습용과 테스트용으로 나눈 다음 학습용 데이터로부터 구음장애 대표 특징을 추출하고, CNN-BiLSTM(-CTC) 알고리즘을 이용하여 학습 모델 생성 
• (가) CNN-BiLSTM(-CTC) 구조 : Hybrid CTC/attention based E2E : RNN
  
  * (bench mark한 논문 : https://www.mdpi.com/2076      -3417/10/19/6936, http://oa.ee.tsinghua.edu.cn/ouzhijian/pdf/iscslp18_xiaozy.pdf, https://merl.com/publications/docs/TR2019      -158.pdf)
• Encoder type : VGG-like CNN + BiRNN (LSTM/GRU)
• No. input layers : 2 VGG (sub-sampling=4)
• No. encoder layers×cells : 5×1024
• Decoder type : LSTM
• No. decoder layers×cells : 2×1024
• No. feature maps : 10
• window size : 100
• Optimizer : AdaDelta
• CTC weight : 0.5
• Epochs : 20
• Early stop : 3
• Drop out : 0.2
• (나) CNN-BiLSTM(-CTC) 구조 : Hybrid CTC/attention based E2E : Transformer
  * (bench mark한 논문 : https://www.mdpi.com/2076-3417/10/19/6936, http://oa.ee.tsinghua.edu.cn/ouzhijian/pdf/iscslp18_xiaozy.pdf, https://merl.com/publications/docs/TR2019-158.pdf)
• Encoder and decoder Types : transformer
• No. input layers : 2 VGG (sub      -sampling=4)
• No. encoder layers×dim : 12×2048
• No. decoder layers×dim : 6×2048
• No. attention heads×dim : 4×256/8×512
• Optimizer : Noam
• CTC weight : 0.3
• Epochs : 100/120
• Early stop : 0
• Drop out : 0.1
• Gradient clipping : 5
• Warmup-steps : 25000
• (다) AE-CNN 구조 : 
  
  * (bench mark한 논문 : Sensors 2020, 20, 3741. https://doi.org/10.3390/s20133741)
• Encoder and decoder Types : Convolutional
• No. encoder layers×dim : 3×128/4×256/8×512
• No. decoder layers×dim : 3×128/4×256/8×512
• Optimizer : Adam
• Epochs : 100
• Drop out : 0.1
• 성능 분석 : 테스트용 구음장애 데이터를 이용하여 성능 분석 
• 본 데이터를 활용한 AI 분류 모델 지표의 경우 아래와 같음.

  본 데이터를 활용한 AI 분류 모델 지표의 경우 아래와 같음.

  질병분류모델	sensitivity	specificity	precision	accuracy	F1-score
  언어청각(Disease 1)	99.32224	99.57025	99.2	99.48365	99.26108
  후두 (Disease 2)	98.7961	94.28478	99.10823	98.18885	98.95192
  뇌기능 (Disease 3)	99.78282	96.56438	99.65093	99.48562	99.71683

• 본 과제에서 구축하는 데이터에 대한 대표성 및 다양성 분석, 고찰 및 문제점 보완

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터셋 구축 담당자

수행기관(주관) : 한림대학교 산학협력단

수행기관(참여)

데이터 관련 문의처