-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-30 데이터 최종 개방 1.0 2023-06-28 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-27 산출물 전체 공개 소개
청소년들이 스마트기기를 활용한 국어, 수학 교과목 학습과정에서의 언어적 표현을 담은 질의응답 데이터셋과 그 과정 속에서 자연히 표출되는 청소년들의 기질적 표상인 스마트기기 센서 데이터 셋을 구축함.
구축목적
청소년의 감성적/인지적 반응을 실시간으로 예측하는 모델을 학습하여, 감성 공감을 통한 학습 동기유발 및 개인 맞춤형 학습 커리큘럼을 제공하는 청소년 감성 AI 튜터의 핵심 기술로써 활용
-
메타데이터 구조표 데이터 영역 교육 데이터 유형 센서 , 텍스트 데이터 형식 JSON 데이터 출처 자체 수집 라벨링 유형 질의응답 (정답여부, 이해여부, 감정여부) 라벨링 형식 JSON 데이터 활용 서비스 청소년 맞춤형 교육 서비스, 청소년 학습 동기유발 서비스, 청소년 학습역량 자동 파악 서비스 등 다양한 교육산업 분야에서 활용 가능 데이터 구축년도/
데이터 구축량2022년/질의응답데이터 – 21,600건 스마트기기 센서 데이터 – 75,600건 -
1. 데이터 구축 규모
1. 데이터 구축 규모 단위: 건 구분 문항수 질의응답 데이터 스마트기기 센서 데이터 라벨링 데이터
(21,600)75,600 3축 가속도 3축 각속도 키보드
다이나믹스스타일러스 다이나믹스 국어 20 10,800 10,800 10,800 10,800 - 10,800 수학 20 10,800 10,800 10,800 10,800 10,800 10,800 Total 20 21,600 21,600 21,600 21,600 10,800 21,600 2. 데이터분포
a) 다양성 통계: 학군 분포
참여 학생들의 소속 학교를 11개 학군으로 구분
[그림 9]. 학군 분포
b) 다양성 조건
성별, 교과목 문제 난이도별 정답여부, 교과목 문제 난이도별 이해여부, 교과목 문제 난이도별 감정여부
[그림 10]. 다양성 조건에 대한 데이터분포
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. 언어정보 기반 감정여부 예측 인공지능 모델
KR-BERT 모델을 활용하여 언어정보 기반 감정여부 예측 인공지능 모델을 구현.
감정여부 질의응답 데이터 21,600건을 Train:Validation:Test (7:1:2)의 비율로 검증하여 82.74%의 정확도를 달성함.
[그림 11]. 언어정보 기반 감정여부 예측 인공지능 모델
2. 행동정보 기반 정답여부/이해여부/감정여부 예측 인공지능 모델
a) 키보드 다이나믹스
SVM 모델을 활용하여 행동정보 기반 정답여부/이해여부/감정여부 예측 인공지능 모델을 구현.
키보드 다이나믹스 데이터 21,600건을 Train:Validation:Test (7:1:2)의 비율로 검증하여 정답여부-73.88%, 이해여부-70.18%, 감정여부-71.41%의 정확도를 달성함.
[그림 12]. 행동정보 기반 (키보드 다이나믹스)
정답여부/이해여부/감정여부 예측 인공지능 모델
b) 스타일러스 다이나믹스
XGBoost 모델을 활용하여 행동정보 기반 정답여부/이해여부/감정여부 예측 인공지능 모델을 구현.
스타일러스 다이나믹스 데이터 10,800건을 Train:Validation:Test (7:1:2)의 비율로 검증하여 정답여부-76.52%, 이해여부-73.24%, 감정여부-59.16%의 정확도를 달성함.
[그림 12]. 행동정보 기반 (스타일러스 다이나믹스)
정답여부/이해여부/감정여부 예측 인공지능 모델 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 언어 기반 감정 여부 예측 성능 Text Classification KRBERT Accuracy 80 % 83.98 % 2 행동 기반 정답 여부 예측 성능 Text Classification SVM(Support Vector Machine) Accuracy 65 % 74.54 % 3 행동 기반 이해 여부 예측 성능 Text Classification SVM(Support Vector Machine) Accuracy 65 % 73.8 % 4 행동 기반 감정 여부 예측 성능 Text Classification SVM(Support Vector Machine) Accuracy 65 % 66.65 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 설명
1) 질의응답 데이터:
- 스마트기기를 이용하여 챗봇을 통해 국어, 수학 교과목을 학습하는 과정에서 발생하는 질의응답 데이터를 수집·정제하고, 인지상태와 감정상태에 대해 라벨링 함.
- 각 교과목 문제는 3개의 세부 질의로 구성됨 (정답여부-STAGE_BASE, 이해여부-STAGE_COMPREHENSION, 감정여부-STAGE_EMOTION)● 원천 데이터
a) 국어 교과목 문제 (세부 질의 모두 키보드로 답변하도록 구성)
[그림 1]. 질의응답 데이터 - 국어 교과목
b) 수학 교과목 문제 (세부 질의 중 정답여부, 이해여부는 스타일러스로 답변, 감정여부는 키보드로 답변하도록 구성함)
[그림 2]. 질의응답 데이터 - 수학 교과목
● 라벨링 데이터
3개 세부 질의 응답에 대한 라벨링을 진행함. 각 세부 질의 별 라벨링의 종류는 아래와 같음
- 정답여부 (정답-CORRECT / 오답-WRONG),
- 이해여부 (이해함-UNDERSTAND / 이해못함-MISUNDERSTNAD)
- 감정여부 (긍정-POSITIVE / 부정-NEGATIVE /중립-NEUTRAL)a) 국어 교과목 문제
[그림 3]. 국어 교과목 질의응답 라벨링 데이터
b) 수학 교과목 문제
[그림 4]. 수학 교과목 질의응답 라벨링 데이터
2) 스마트기기 센서 데이터:
- 스마트기기를 이용하여 챗봇을 통해 국어, 수학 교과목을 학습하는 과정에서 발생하는 스마트기기 센서 데이터를 수집·정제하고, 질의응답 데이터와 같은 라벨링 정보를 적용함. (*스마트기기 센서 데이터 종류: 3축 가속도, 3축 각속도, 키보드 다이나믹스, 스타일러스 다이믹스)● 원천 데이터
a) 국어 교과목 문제 (스마트기기 센서 데이터 종류: 3축 가속도, 3축 각속도, 키보드 다이나믹스)
[그림 5]. 스마트기기 센서 데이터 – 국어 교과목
b) 수학 교과목 문제 (스마트기기 센서 데이터 종류: 3축 가속도, 3축 각속도, 키보드 다이나믹스, 스타일러스 다이나믹스)
[그림 6]. 스마트기기 센서 데이터 – 수학 교과목
● 라벨링 데이터 - 스마트기기 센서 데이터에 대한 라벨링은 질의응답 라벨 정보와 동일 적용
[그림 7]. 스마트기기 센서 데이터의 라벨링 데이터 (국어 교과목)
[그림 8]. 스마트기기 센서 데이터의 라벨링 데이터 (수학 교과목)
1. 데이터 어노테이션 포맷 설명
1) 질의응답 데이터
1. 데이터 어노테이션 포맷 설명 1) 질의응답 데이터 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 student_sex string Y 학생의 성별 ‘MALE’, ‘FEMALE’ 3 student_grade string Y 학생의 교과목 성적 ‘ADVANCED’, ‘INTERMEDIATE’, ‘LOW’ 4 school_district string Y 학생 소속학교 지역 ‘BUKBU’, ‘DONGBU’, ‘DONGJAK GWANAK’, ‘GANDONG SONGPA’, ‘GANGNAM SEOCHO’, ‘GANGSEO YANGCHEON’, ‘JUNGBU’, ‘NAMBU’, ‘SEOBU’, ‘SEONGBUK GANGBUK’, ‘SEONGDONG-GWANGJIN’ 5 question_id string Y 교과목 문제 고유ID 6 subject string Y 교과목 종류 ‘KOREAN’, ‘MATH’ 7 difficulty string Y 난도 ‘SUPER HARD’, ‘HARD’, ‘NORMAL’, ‘EASY’ 8 answers object Y 답변 8-1 STAGE_BASE object Y 정답여부 질의답변에 대한 식별자 8-1-1 question string Y 정답여부 문제 8-1-2 question_content string 정답여부 문제 추가 내용 (지문 등) 8-1-3 questionIMG string 정답여부 문제 추가 이미지 8-1-4 answer string Y 정답여부 질의답변 8-1-5 answerIMG string 정답여부 질의답변 이미지 8-2 STAGE_COMPREHENSION object Y 이해여부 질의답변에 대한 식별자 8-2-1 question string Y 이해여부 문제 8-2-2 question_content string 이해여부 문제 추가 내용 (지문 등) 8-2-3 questionIMG string 이해여부 문제 추가 이미지 8-2-4 answer string Y 이해여부 질의답변 8-2-5 answerIMG string 이해여부 질의답변 이미지 8-3 STAGE_EMOTION object Y 감정여부 질의답변에 대한 식별자 8-3-1 question string Y 감정여부 문제 8-3-2 answer string Y 감정여부 질의답변 2) 라벨링 데이터
1. 데이터 어노테이션 포맷 설명 2) 라벨링 데이터 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 question_id string Y 교과목 문제 고유ID 3 labels object Y 라벨링 정보 3-1 STAGE_BASE object Y 정답여부 답변에 대한 식별자 3-1-1 annotation string Y 정답여부 답변에 대한 라벨링 정보 ‘CORRECT’ or ‘WRONG’ 3-2 STAGE_COMPREHENSION object Y 이해여부 답변에 대한 식별자 3-2-1 annotation string Y 이해여부 답변에 대한 라벨링 정보 ‘UNDERSTAND’ or ‘MISUNDERSTAND’ 3-3 STAGE_EMOTION object Y 감정여부 답변에 대한 식별자 3-3-1 annotation string Y 이해여부 답변에 대한 라벨링 정보 ‘POSITIVE’ or ‘NEUTRAL’ or ‘NEGATIVE’ 3) 스마트기기 센서 데이터
• accelerometer1. 데이터 어노테이션 포맷 설명 3) 스마트기기 센서 데이터• accelerometer 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 question_id string Y 교과목 문제 고유ID 3 sensor_type string Y 센서 종류 ‘accelerometer’ 4 start_time string Y 수집 시작시간 5 end_time string Y 수집 종료 시간 6 data object Y 센서 데이터 6-1 STAGE_BASE array Y 정답여부에 대한 식별자 6-1-1 time string Y 수집 기록 시점 6-1-2 accX number Y x축값 6-1-3 accY number Y y축값 6-1-4 accZ number Y z축값 6-2 STAGE_COMPREHENSION array Y 이해여부에 대한 식별자 6-2-1 time string Y 수집 기록 시점 6-2-2 accX number Y x축값 6-2-3 accY number Y y축값 6-2-4 accZ number Y z축값 6-3 STAGE_EMOTION array Y 감정여부에 대한 식별자 6-3-1 time string Y 수집 기록 시점 6-3-2 accX number Y x축값 6-3-3 accY number Y y축값 6-3-4 accZ number Y z축값 • gyroscope
1. 데이터 어노테이션 포맷 설명 3) 스마트기기 센서 데이터• gyroscope 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 question_id string Y 교과목 문제 고유ID 3 sensor_type string Y 센서 종류 ‘gyroscope’ 4 start_time string Y 수집 시작시간 5 end_time string Y 수집 종료 시간 6 data object Y 센서 데이터 6-1 STAGE_BASE array Y 정답여부에 대한 식별자 6-1-1 time string Y 수집 기록 시점 6-1-2 rotX number Y x축값 6-1-3 rotY number Y y축값 6-1-4 rotZ number Y z축값 6-2 STAGE_COMPREHENSION array Y 이해여부에 대한 식별자 6-2-1 time string Y 수집 기록 시점 6-2-2 rotX number Y x축값 6-2-3 rotY number Y y축값 6-2-4 rotZ number Y z축값 6-3 STAGE_EMOTION array Y 감정여부에 대한 식별자 6-3-1 time string Y 수집 기록 시점 6-3-2 rotX number Y x축값 6-3-3 rotY number Y y축값 6-3-4 rotZ number Y z축값 • keyboard (국어 교과목)
1. 데이터 어노테이션 포맷 설명 3) 스마트기기 센서 데이터• keyboard (국어 교과목) 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 question_id string Y 교과목 문제 고유ID 3 sensor_type string Y 센서 종류 ‘keyboard’ 4 start_time string Y 수집 시작시간 5 end_time string Y 수집 종료 시간 6 data object Y 센서 데이터 6-1 STAGE_BASE array Y 정답여부에 대한 식별자 6-1-1 time string Y 수집 기록 시점 6-1-2 action string Y 키보드 액션 ‘KEY_UP’, ‘KEY_DOWN’, ‘KEY_CANCEL’ 6-1-3 key string Y 입력 키 값 6-2 STAGE_COMPREHENSION array Y 이해여부에 대한 식별자 6-2-1 time string Y 수집 기록 시점 6-2-2 action string Y 키보드 액션 ‘KEY_UP’, ‘KEY_DOWN’, ‘KEY_CANCEL’ 6-2-3 key string Y 입력 키 값 6-3 STAGE_EMOTION array Y 감정여부에 대한 식별자 6-3-1 time string Y 수집 기록 시점 6-3-2 action string Y 키보드 액션 ‘KEY_UP’, ‘KEY_DOWN’, ‘KEY_CANCEL’ 6-3-3 key string Y 입력 키 값 • keyboard (수학 교과목)
1. 데이터 어노테이션 포맷 설명 3) 스마트기기 센서 데이터• keyboard (수학 교과목) 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 question_id string Y 교과목 문제 고유ID 3 sensor_type string Y 센서 종류 ‘keyboard’ 4 start_time string Y 수집 시작시간 5 end_time string Y 수집 종료 시간 6 data object Y 센서 데이터 6-1 STAGE_EMOTION array Y 감정여부에 대한 식별자 6-1-1 time string Y 수집 기록 시점 6-1-2 action string Y 키보드 액션 ‘KEY_UP’, ‘KEY_DOWN’, ‘KEY_CANCEL’ 6-1-3 key string Y 입력 키 값 • stylus
1. 데이터 어노테이션 포맷 설명 3) 스마트기기 센서 데이터• stylus 구분 속성명 타입 필수여부 설명 범위 1 student_id string Y 학생의 고유ID 2 question_id string Y 교과목 문제 고유ID 3 sensor_type string Y 센서 종류 ‘stylus’ 4 start_time string Y 수집 시작시간 5 end_time string Y 수집 종료 시간 6 data object Y 센서 데이터 6-1 STAGE_BASE array Y 정답여부에 대한 식별자 6-1-1 time string Y 수집 기록 시점 6-1-2 action string Y 스타일러스 움직임 ‘ACTION_DOWN’, ‘ACTION_MOVE’ 6-1-3 tooltype string Y 사용 센서 정보 ‘TOOL_TYPE_STYLUS’’ 6-1-4 pressure number Y 스타일러스 센서 스크린 입력 시 압력 값 6-1-5 x number Y x축 값 6-1-6 y number Y y축 값 6-2 STAGE_COMPREHENSION array Y 이해여부에 대한 식별자 6-2-1 time string Y 수집 기록 시점 6-2-2 action string Y 스타일러스 움직임 ‘ACTION_DOWN’, ‘ACTION_MOVE’ 6-2-3 tooltype string Y 사용 센서 정보 ‘TOOL_TYPE_STYLUS’’ 6-2-4 pressure number Y 스타일러스 센서 스크린 입력 시 압력 값 6-2-5 x number Y x축 값 6-2-6 y number Y y축 값 -
데이터셋 구축 담당자
수행기관(주관) : 서울대학교 산학협력단
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 이창건 (총괄책임자), 김도형 (실무책임자) 02-880-2562 [email protected] 과제 총괄, 데이터 수집, 데이터 정제, 데이터 분석, 인공지능 모델 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜ 오픈링크시스템 크라우드 워커 채용, 데이터 수집, 관리, 정제, 가공, 어노테이션, 검사 등 참여 ㈜ 유탑소프트 데이터 정제, 가공, 검사 과정에서 사용할 라벨링 도구 개발 (저작도구), 크라우드 소싱
근태 관리 시스템 운영데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 이창건 (총괄책임자), 김도형 (실무책임자) 02-880-2562 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.