※온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
NEW 노인 정신건강 영상 데이터
- 분야헬스케어
- 구분 안심존(온라인)
- 유형 비디오 , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-10-30 데이터 최종 개방 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 의료기관에서 인지기능검사를 수행하면서 얻어지는 영상과 음성, 이미지 데이터를 기반으로 치매사전진단을 지원하는 AI 모델 개발에 필요한 학습용 데이터셋
구축목적
- 대상자의 음성, 발화, 행동적 특성 등을 AI 기술을 통해 분석하여 영상 및 음성데이터 등의 디지털 바이오마커들을 포함한 치매조기진단 모델을 개발하고자 함
-
메타데이터 구조표 데이터 영역 헬스케어 데이터 유형 비디오 , 이미지 데이터 형식 jpg, png, mp4 데이터 출처 5개 의료기관(강원대학교 병원, 건국대학교 충주병원, 동국대학교 경주병원, 제주대학교 병원, 충남대학교 병원) 라벨링 유형 키포인트, 이미지분류 라벨링 형식 json 데이터 활용 서비스 치매 예측 서비스 데이터 구축년도/
데이터 구축량2023년/총계: 47,887개, 원천 데이터 : 39,902개 1) 음성(jpg) : 29,640개 2) 오각형(png) : 5,700개 3) 얼굴이상(mp4)- 부분 블러링 처리 clip : 4,562개, 라벨링 데이터 : 7,982개 1) 음성(json) : 1,140개 2) 오각형(json) : 1,140개 3) 얼굴이상(json) : 1,140개 4) 얼굴이상표현 피클데이터(pkl) : 4,562개, 메타 데이터 : 3개 1) 음성(csv) : 1개(1,140건) 2) 오각형(csv) : 1개(1,140건) 3) 얼굴이상(csv) : 1개(1,140건) -
- 데이터 구축 규모
데이터 구축 규모 데이터 종류 데이터 형태 데이터 규모 어노테이션 규모 메타 데이터 csv 3,420건 1,140건 1,140건 1,140건 1,140건 원천데이터 jpg 29,640건 1,140건 png 5,700건 1,140건 mp4 4,562건 1,140건 라벨링데이터 json 7,982건 1,140건 1,140건 1,140건 1,140건 1,140건 1,140건 pkl 4,562건 4,562건 - 데이터 분포
o 다양성
의료기관에서 인지기능검사를 수행하는 피검자의 인지기능상태 분포- 성별: 남:여 비율은 가급적 1:1로 데이터를 수집함
총 피험자 (수집된 원시데이터 기준) 1,203명 중 여성 765명(63.59%), 남성 438명(36.41%)- 연령은 50대, 60대, 70대, 80대이상, 4개의 클래스로 분류함
총 피험자 (수집된 원시데이터 기준) 1,203명 중 50대 피험자 149명(12.39%), 60대 피험자 264명(21.95%), 70대 피험자 451명(37.49%), 80대 이상 피험자 339명(28.18%)- 질병 클래스별 분포
총 피험자 (수집된 원시데이터 기준) 1,203명 중 정상 518명(43.06%), 비정상인지(경도인지+치매) 685명(56.94%) -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 음성 정보 기반 치매 여부 분류 모델 성능
학습 알고리즘: DenseNet121
학습 조건
train batch size = 16
epoch = 100
optimizer = ADAM
initial ir = 1e-4- 오각형 이미지 기반 정상/이상 분류 모델 성능
학습 알고리즘: DenseNet121
학습 조건
train batch size = 16
epoch = 100
optimizer = ADAM
initial ir = 1e-4
[그림] DenseNet
- 구간 영상 정보 기반 눈깜박임 정상/이상 분류 모델 성능
학습 알고리즘: CTR-GCN
학습 조건
batch_size=32
earning_rate = 0.01
weight_decay=0.001
num_epochs=64
max_frames=90
ramdom_rot=False- 구간 영상 정보 기반 입술떨림 정상/이상 분류 모델 성능
학습 알고리즘: CTR-GCN
학습 조건
batch_size=32
learning_rate = 0.0001
weight_decay=0.0005
num_epochs=64
max_frames=90
ramdom_rot=True- 구간 영상 정보 기반 머리 기울기 정상/이상 분류 모델 성능
학습 알고리즘: CTR-GCN
학습 조건
batch_size=64
learning_rate = 0.01
weight_decay=0.001
num_epochs=128
max_frames=90
ramdom_rot=False
[그림] CTR-GCN
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 설명
□ 노인 정신건강 영상 데이터 설명
• 치매 환자의 경우 언어능력의 변화가 크기 때문에 이를 활용하여 치매 환자의 조기 발견을 시도할 수 있음.
• 치매 환자는 머뭇거림, 잦은 멈춤, 흐릿한 발음, 떨림, 가벼운 말더듬, 불규칙한 단어 사용, 언어 유창성 감소, 말의 리듬 변화, 단순한 문법 및 어휘 규칙에서 벗어나는 것과 같은 언어 관련 증상을 보일 수 있음.
• 따라서 정상, 치매 환자의 2그룹에 대하여 진단 검사를 시행하고, 동시에 동영상을 촬영하여 진단 중에 나타나는 피험자 음성, 오각형 그린 형상과 얼굴의 특이한 표정을 찾아내고자 함.
• 이때 진단 중 특이한 사항은 임상 전문가들이 Check sheet에 기록하여, 라벨링 시 반영할 예정임.
• 결론적으로 사전 정의된 AI 시스템 질의에 대한 일반인 답변의 음성특징과 일반인이 그린 특정 도형의 이미지 특징을 활용하여 치매 사전 진단을 준실시간 판별하는 서비스가 제공되어야 하며, 이를 위한 학습 데이터를 구축하였음.□ 노인 정신건강 영상 데이터 가공 주요 요소
• 본 사업에서 데이터는 동영상 분류 이외에 Label Studio 저작도구를 통해서 이루어지며, 오토라벨링 기법을 사용하지 않고 음성데이터의 구간 라벨링, 오각형 이미지의 이미지 분류, 그리고 얼굴 표현 영상 데이터에서 구간 라벨링을 수행함
노인 정신건강 영상 데이터 가공 주요 요소 데이터명 어노테이션 방법 저작도구 오토라벨링 여부 오토라벨링 기법 음성데이터 구간 라벨링 Label Studio X 이미지 분류 오각형 이미지 구간 라벨링 Label Studio X 이미지 분류 얼굴표현 영상 데이터 구간 라벨링 Label Studio X 동영상 분류 자체제작 O Unidocs Faceer □ 데이터 정보 및 항목
1) 음성 데이터
노인 정신건강 영상 데이터를 토대로, MMSE 질문에 대한 답변의 음성 특성 분석을 위한 응답 구간을 라벨링 하여, 음성 특성을 분석하고 라벨링 하도록 한다.2) 오각형 데이터
피험자에게 겹친 오각형 형상을 그리게 하여, png 파일을 추출하여, 그린 결과에 대한 이상 여부를 분석하고 라벨링 하도록 한다.3) 얼굴표현 데이터
진단 검사 중 임상 전문가가 특이한 표정을 기록하여 라벨링하고, 별도 제작한 프로그램을 활용하여 face landmark 분석을 시행, 인공 진단 학습 데이터로 사용할 수 있도록 한다.□ 데이터구성
• 음성 데이터 (voice)
음성 데이터 (voice) Key Description Type Child Type dataset 원천데이터 JsonArray { 파일 정보 JsonObject id 파일 id String name 데이터셋 이름 String src_path 원천데이터 경로 String label_path 라벨링데이터 경로 String } meta 메타데이터 JsonArray { 환자 메타 정보 JsonObject patient 환자 정보 JsonArray { 환자 정보 JsonObject id 환자 id String gender 환자 성별 Int age 환자 나이 Int diagnosis 환자 진단코드 Int } } • 오각형 데이터 (pentagon)
오각형 데이터 Key Description Type Child Type dataset 원천데이터 JsonArray { 파일 정보 JsonObject id 파일 id String name 데이터셋 이름 String src_path 원천데이터 경로 String label_path 라벨링데이터 경로 String } meta 메타데이터 JsonArray { 환자 메타 정보 JsonObject patient 환자 정보 JsonArray { 환자 정보 JsonObject id 환자 id String gender 환자 성별 Int age 환자 나이 Int diagnosis 환자 진단코드 Int } } • 얼굴표현 데이터 (face)
얼굴표현 데이터 (face) Key Description Type Child Type dataset 원천데이터 JsonArray { 파일 정보 JsonObject id 파일 id String name 데이터셋 이름 String src_path 원천데이터 경로 String label_path 라벨링데이터 경로 String } meta 메타데이터 JsonArray { 환자 메타 정보 JsonObject patient 환자 정보 JsonArray { 환자 정보 JsonObject id 환자 id String gender 환자 성별 Int age 환자 나이 Int diagnosis 환자 진단코드 Int } v_file 비디오 JsonArray { JsonObject format 영상파일포맷 String fps 영상 초당 프레임 수 Int width 영상 넓이 Int height 영상 높이 Int } }
2. 어노테이션 방식과 포맷 설명
□ 어노테이션 방식
어노테이션 방식 데이터명 가공 타입 원천데이터 수량 음성 데이터 • (구간 라벨링) 영상에서 추출한 음성파일에 질의 별 응답 각각에 대해 시작/끝점을 라벨링 음성파일 특징 이미지
1140명 x 26개
29,640개• (이미지 분류) 음성정보에서 특징을 추출한 후 피검자에 대해 통합된 이미지를 생성한 후 분류 • 25개 응답에 대한 각 mfcc 이미지 및 AI모델 학습용인 누적 mfcc 이미지 오각형 이미지 • (이미지 분류) 오각형 그리기 구간에서 마지막에 보여주는 오각형 이미지에서 가장 선명한 5장의 이미지를 선정한 후 분류 1140명 x 5개
5,700 장 이상얼굴표현 영상 데이터 • (구간 라벨링) 동영상에서 정상/이상 얼굴표현이 존재하는 구간 라벨링 4,562개 영상 • (동영상 분류) 정상/이상 얼굴표현이 존재하는 구간을 별도 영상클립으로 추출한 후 분류 • (키포인트 라벨링) 추출된 동영상클립에서 모든 프레임에 존재하는 얼굴에 대한 14 landmark를 자동으로 추출 □ 어노테이션 포맷
• 음성 데이터 (voice)음성 데이터 (voice) 구분 속성명 타입 필수여부 설명 범위 비고 1 dataset obj Y 데이터셋 객체 1 1 dataset.id str Y 데이터셋 식별자 1 2 dataset.name str Y 데이터셋 이름 1 3 dataset.src_path str Y 데이터셋 폴더 위치 1 4 dataset.label_path str Y 데이터셋 레이블 폴더 위치 2 meta obj Y 메타데이터 객체 2 1 meta.patient obj Y 피검자 메타정보 2 1 1 meta.patient.id str Y 아이디 2 1 2 meta.patient.gender int Y 성별 0, 1 0:여성, 1:남성 2 1 3 meta.patient.age int Y 나이 1~4 번호 유형 1 50대 2 60대 3 70대 4 80대 이상 2 1 4 meta.patient.diagnosis int Y 인지기능상태 0, 1 번호 유형 0 정상인지 1 비정상인지
(경도인지+치매)2 2 meta.wfs obj Y 음성 파일 메타정보 2 2 1 meta.wfs.root_path str Y 음성파일 루트경로 2 2 2 meta.wfs.format str Y 음성파일 포맷 2 2 3 meta.wfs.fnames list Y 음성파일명 리스트 2 2 3 1 meta.wfs.fnames.no str Y 응답번호 2 2 3 2 meta.wfs.fnames.name str Y 음성 파일명 2 3 meta.mfs obj Y mfcc 파일 메타정보 2 3 1 meta.mfs.root_path str Y mfcc 파일 루트경로 2 3 2 meta.mfs.format str Y mfcc 파일 포맷 2 3 3 meta.mfs.fnames arr Y mfcc 파일명 리스트 2 3 3 1 meta.mfs.fnames.no str Y 응답번호 2 3 3 2 meta.mfs.fnames.name str Y mfcc 파일명 3 labels obj Y 라벨 객체 3 1 labels.qas arr Y 통합 mfcc 파일 정보 3 1 1 labels.qas.id str Y 통합 mfcc 파일 id 3 1 2 labels.qas.name str Y 통합 mfcc 파일명 • 오각형 데이터 (pentagon)
오각형 데이터 (pentagon) 구분 속성명 타입 필수여부 설명 범위 비고 1 dataset obj Y 데이터셋 객체 1 1 dataset.id str Y 데이터셋 식별자 1 2 dataset.name str Y 데이터셋 이름 1 3 dataset.src_path str Y 데이터셋 폴더 위치 1 4 dataset.label_path str Y 데이터셋 레이블 폴더 위치 2 meta obj Y 메타데이터 객체 2 1 meta.patient obj Y 피검자 메타정보 2 1 1 meta.patient.id str Y 아이디 2 1 2 meta.patient.gender int Y 성별 0, 1 0:여성, 1:남성 2 1 3 meta.patient.age int Y 나이 1~4 번호 유형 1 50대 2 60대 3 70대 4 80대 이상 2 1 4 meta.patient.diagnosis int Y 인지기능상태 0, 1 번호 유형 0 정상인지 1 비정상인지
(경도인지+치매)3 labels obj Y 라벨 객체 3 1 labels.ptgs obj Y 오각형 이미지 통합 정보 3 1 1 labels.ptgs.id str Y 오각형이미지 id 3 1 2 labels.ptgs.ptg_status int Y 오각형 이미지 이상여부 1, 2 1:정상, 2:비정상 3 1 3 labels.ptgs.files arr Y 오각형 이미지 리스트 3 1 3 1 labels.ptgs.files.id str Y 오각형 파일 id 3 1 3 2 labels.ptgs.files.name str Y 오각형 파일 이름 • 얼굴 데이터 (face)
얼굴 데이터 (face) 구분 속성명 타입 필수여부 설명 범위 비고 1 dataset obj Y 데이터셋 객체 1 1 dataset.id str Y 데이터셋 식별자 1 2 dataset.name str Y 데이터셋 이름 1 3 dataset.src_path str Y 데이터셋 폴더 위치 1 4 dataset.label_path str Y 데이터셋 레이블 폴더 위치 2 meta obj Y 메타데이터 객체 2 1 meta.patient obj Y 피검자 메타정보 2 1 1 meta.patient.id str Y 아이디 2 1 2 meta.patient.gender int Y 성별 0, 1 0:여성, 1:남성 2 1 3 meta.patient.age int Y 나이 1~4 번호 유형 1 50대 2 60대 3 70대 4 80대 이상 2 1 4 meta.patient.diagnosis int Y 인지기능상태 0, 1 번호 유형 0 정상인지 1 비정상인지
(경도인지+치매)2 2 meta.v_file obj Y 동영상 파일 메타정보 2 2 1 meta.v_file.format str Y 파일 포맷 2 2 2 meta.v_file.fps int Y 초당 프레임 재생속도 2 2 3 meta.v_file.width int Y 영상 넓이 2 2 4 meta.v_file.height int Y 영상 높이 3 labels obj Y 라벨 객체 3 1 labels.fes obj Y 얼굴표현 통합 라벨링 정보 3 1 1 labels.fes.detail obj Y 얼굴표현 상세 라벨링 정보 3 1 1 1 labels.fes.detail.face_index obj Y 얼굴표현 개수 정보 3 1 1 1 1 labels.fes.detail.face_index.Total_num int Y 얼굴표현 총 개수 3 1 1 1 2 labels.fes.detail.face_index.Tilt_num int Y 얼굴 기울기 개수 3 1 1 1 3 labels.fes.detail.face_index.Eye_num int Y 눈 깜박임, 눈 떨림 개수 3 1 1 1 4 labels.fes.detail.face_index.Lip_num int Y 입술 떨림 개수 3 1 1 2 labels.fes.detail.id obj Y 얼굴표현 등의 id 3 1 1 2 1 labels.fes.detail.id.Tilt obj N 얼굴 기울기 통합 정보 3 1 1 2 1 1 labels.fes.detail.id.Tilt.type int N 얼굴 기울기 표현 정보 3, 4 번호 유형 1 눈깜박임
정상2 눈깜박임
이상3 머리 기울기
정상4 머리 기울기
이상5 입술 떨림
정상6 입술 떨림
이상3 1 1 2 1 2 labels.fes.detail.id.Tilt.number arr N 얼굴 기울기 상세 정보 3 1 1 2 1 2 1 labels.fes.detail.id.Tilt.number_id int N 얼굴 기울기 라벨 3 1 1 2 1 2 2 labels.fes.detail.id.Tilt.number.trim_v_name str N 파일 이름 3 1 1 2 1 2 3 labels.fes.detail.id.Tilt.number.trim_start int N 얼굴 기울기 시작(초) 3 1 1 2 1 2 4 labels.fes.detail.id.Tilt.number.trim_end int N 얼굴 기울기 종료(초) 3 1 1 2 1 2 5 labels.fes.detail.id.Tilt.number.keypoints list N 해당구간 내 프레임단위 keypoints 정보리스트 3 1 1 2 1 2 5 1 labels.fes.detail.id.Tilt.number.keypoints.id int N 해당구간 내 프레임 id 3 1 1 2 1 2 5 2 labels.fes.detail.id.Tilt.number.keypoints.xys arr N 해당구간 프레임 내 기울기 landmark 좌표 3 1 1 2 2 labels.fes.detail.id.Eye obj N 눈깜박임 통합 정보 3 1 1 2 2 1 labels.fes.detail.id.Eye.type int N 눈깜박임 표현 정보 1, 2 번호 유형 1 눈깜박임
정상2 눈깜박임
이상3 머리 기울기
정상4 머리 기울기
이상5 입술 떨림
정상6 입술 떨림
이상3 1 1 2 2 2 labels.fes.detail.id.Eye.number arr N 눈깜박임 상세 정보 3 1 1 2 2 2 1 labels.fes.detail.id.Eye.number_id int N 눈깜박임 라벨 3 1 1 2 2 2 2 labels.fes.detail.id.Eye.number.trim_v_name str N 파일 이름 3 1 1 2 2 2 3 labels.fes.detail.id.Eye.number.trim_start int N 눈깜박임 시작(초) 3 1 1 2 2 2 4 labels.fes.detail.id.Eye.number.trim_end int N 눈깜박임 종료(초) 3 1 1 2 2 2 5 labels.fes.detail.id.Eye.number.keypoints list N 해당구간 내 프레임단위 keypoints 정보리스트 3 1 1 2 2 2 5 1 labels.fes.detail.id.Eye.number.keypoints.id int N 해당구간 내 프레임 id 3 1 1 2 2 2 5 2 labels.fes.detail.id.Eye.number.keypoints.xys arr N 해당구간 프레임 내 눈깜박임 landmark 좌표 3 1 1 2 3 labels.fes.detail.id.Lip obj N 입술 떨림 통합 정보 3 1 1 2 3 1 labels.fes.detail.id.Lip.type int N 입술 떨림 표현 정보 5, 6 번호 유형 1 눈깜박임
정상2 눈깜박임
이상3 머리 기울기
정상4 머리 기울기
이상5 입술 떨림
정상6 입술 떨림
이상3 1 1 2 3 2 labels.fes.detail.id.Lip.number arr N 입술 떨림 상세 정보 3 1 1 2 3 2 1 labels.fes.detail.id.Lip.number_id int N 입술 떨림 라벨 3 1 1 2 3 2 2 labels.fes.detail.id.Lip.number.trim_v_name str N 파일 이름 3 1 1 2 3 2 3 labels.fes.detail.id.Lip.number.trim_start int N 입술 떨림 시작(초) 3 1 1 2 3 2 4 labels.fes.detail.id.Lip.number.trim_end int N 입술 떨림 종료(초) 3 1 1 2 3 2 5 labels.fes.detail.id.Lip.number.keypoints list N 해당구간 내 프레임단위 keypoints 정보리스트 3 1 1 2 3 2 5 1 labels.fes.detail.id.Lip.number.keypoints.id int N 해당구간 내 프레임 id 3 1 1 2 3 2 5 2 labels.fes.detail.id.Lip.number.keypoints.xys arr N 해당구간 프레임 내 입술 떨림 landmark 좌표 □ 실제 예시
• 음성 데이터 (voice)
• 오각형 데이터 (pentagon)
• 얼굴표현 데이터 (face)
-
데이터셋 구축 담당자
수행기관(주관) : 충남대학교병원
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 양희원 010-7559-5673 [email protected] 임상정보, 데이터 수집, 원시데이터 구축 데이터 구축 및 품질 관련 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 강원대학교병원 데이터 구축 건국대 충주병원 데이터 구축 제주대학교병원 데이터 구축 동국대학교경주병원 데이터 구축 유니닥스 AI 모델 개발 및 유효성 검사 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 양희원 010-7559-5673 [email protected] 조민우 010-3915-6666 [email protected] AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 유석 010-4132-3941 [email protected] 조민우 010-3915-6666 [email protected] 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 고지연 010-9808-2611 [email protected] 최승재 010-5201-6192 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.