일반상식 문장 생성 평가 데이터
- 분야한국어
- 유형 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-15 데이터 최종 개방 1.0 2023-04-30 데이터 개방(Beta Verison) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-15 산출물 전체 공개 소개
■ 기계가 생성한 문장과 인간이 생성한 문장을 다섯 가지 기준에 따라 평가함으로써 향후 AI가 생성한 문장을 AI가 검증할 수 있도록 하는 데이 ■ 한국어 일반상식 문장 평가 과제 중 세 번째 데이터로서 두 번째 데이터(제2과제 데이터)에서 제작한 문장에 대해 사람이 만든 문장과 기계가 생성한 문장을 네 가지 속성*에 따라 3점 리커트 척도로 채점한 점수를 기술 *채점 속성 : 문법성, 사실성, 유창성, 다양성
구축목적
■ 사람이 생성한 문장으로 학습한 AI모델이 생성한 문장과 사람이 생성한 문장을 평가하여 인공지능을 훈련하기 위한 데이터셋
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 15-2 일반상식 문장 생성 데이터 라벨링 유형 내용요약(텍스트) 라벨링 형식 CSV 데이터 활용 서비스 ● 자연어처리 기반기술에 대한 연구 어플리케이션(질의응답, 대화, 요약 등)에 대한 적용 ● 다양한 산업에서 민원·응대 등에 활용되는 챗봇, AI 비서와 같은 지능형 시스템의 성능 향상 등 데이터 구축년도/
데이터 구축량2022년/사람과 AI모델이 생성한 전체 1,071,345 문장 -
1) 전체 문장수 : 1,071,345
2) 데이터 분포
데이터 분포 ❍ 생성문장 어절 수 분포 생성자 평균 어절수 mBART-50-1 15.9 koLANG-T5-1 15.29 human_1 15.18 koBART_1 15.15 PKO-T5_1 15.41 koGPT2_1 18.46 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1) 학습 모델 후보
● 과제 3은 과제1,2에서 구축한 모델과 동일한 구조를 지닌 서로 다른 네 개의 모델을 구축해 상식 문장을 생성해야 함
● 과제 1에서 제시한 5개의 후보 모델 중 가장 성능이 낮은 5번을 제외한 네 개의 모델, 즉 KoGPT2, KoBART, mBART-50, KE-T5로 구현 하기로함
* (모델변경 1) 1-cycle 진행과정에서 문제가 발생한 KE-T5를 대신하여 추가된 PKO-T5가 전반적으로 가장 좋은 성능을 보였음
* (모델변경 1) 1-cycle 진행과정에서 목표치에 비하여 많이 낮은 정도의 성능을 보이는 KoGPT2는 KoLANG-T5 모델로 대체하였으며, 대체한 KoLANG-T5 모델은 기존 KoGPT2 목표를 달성함.
● 한편, 위 생성 데이터를 이용하여 작업자가 문법성, 사실성, 유창함, 다양성 네 기준에 의해 점수를 부여하고 나면, 일반상식 문장 평가 모델을 구축일반 상식 문장 생성 평가 데이터 데이터 명 15-3 일반 상식 문장 생성 평가 데이터 학습 모델 후보 알고리즘 성능지표 선정 여부 선정 사유 koelectra 생성자(generator)가 만든 토큰에 대해 판별자(discriminator)가 진위를 판별하게 만드는 새로운 구조를 제안한 Electra 모델을 한국어에 적용한 모델 문법성: 0.85, 사실성: 0.70, 유창함: 0.70, 다양성: 0.70 이상 ○ 2021년 국립국어원 대회 참가 시 koelectra의 우수한 성능을 확인하였음 TUNiB-Electra 생성자(generator)가 만든 토큰에 대해 판별자(discriminator)가 진위를 판별하게 만드는 새로운 구조를 제안한 Electra 모델을 한국어에 적용한 모델 문법성: 0.85, 사실성: 0.65, 유창함: 0.70, 다양성: 0.70 이상 X 2021년 국립국어원 대회 참가 시 koelectra의 우수한 성능을 확인하였음. 본 과제의 모델링 담당기관이 직접 구축한 모델이어서 가장 이해도가 높음 Klue RoBERTa BERT에 비해 훨씬 많은 데이터를 압축적으로 학습하도록 한 RoBERTa 모델을 한국어에 적용한 모델 문법성: 0.83, 사실성: 0.65, 유창함: 0.70, 다양성: 0.70 이상 X 한국의 대표적인 NLU 데이터 세트인 KLUE에 사용된 모델로 여러 한국어 이해 과제에서 높은 성능을 보였음 kcelectra 생성자(generator)가 만든 토큰에 대해 판별자(discriminator)가 진위를 판별하게 만드는 새로운 구조를 제안한 Electra 모델을 한국어에 적용한 모델. 한국어 댓글 데이터들로 구성된 텍스트를 학습 데이터로 삼은 것이 특징 문법성: 0.83, 사실성: 0.65, 유창함: 0.70, 다양성: 0.70 이상 X 한국어 구어체 문장에 강점을 보임 kobert Masked Language Model이라는 기법을 통해 새로운 언어모델 학습 방식을 제안한 BERT를 한국어에 적용한 모델 문법성: 0.77, 사실성: 0.60, 유창함: 0.65, 다양성: 0.65 이상 X 가장 기본적인 한국어 분류 모델 ● ‘2021 국립국어원 인공 지능 언어 능력 평가’ 대회 참여 당시 TUNiB-Electra ≒ koelectra > Klue RoBERTa > kobert 순으로 성능이 나타났음. 이에 따라 예비 실험에서는 koelectra와 TUNiB-Electra 등 두 모델을 적용하여 비교함
● 측정 지표는 정확도(Accuracy)임. 즉 전체 라벨들 중 모델이 정확히 예측한 것의 비율을 계산함. 예를 들어 전체 테스트 세트 143개 중 14개를 모델이 맞췄으며 정확도는 약 0.1임
● 실험 결과실험 결과 항목 예비실험1 예비실험2 모델 koelectra (후보1) TUNiB-Electra (후보2) 파라미터수 110M 110M 품질 문법성 0.79 0.8 기준 사실성 0.61 0.55 (정확도) 유창함 0.61 0.61
● 실험 결과 분석
▸문법성은 TUNiB-Electra가 근소하게 우세함 (0.80 > 0.79)
▸사실성은 koelectra가 월등히 우세함(0.61 >>> 0.55)
▸유창성은 두 모델의 성능이 같았음 (0.61)
▸따라서 문법성, 사실성, 유창성, 다양성을 평가/예측하는 서로 다른 네 개의 koelectra 모델을 최종 과제 수행시 구현하기로 결정함2) 학습 모델 개발
(개발 목표)
- 3과제를 통해 구축한 최종 데이터, 즉 <개념 정보, 상식 문장, 라벨>을 이용해서 임의의 한국어 상식 문장에 대해 아래와 같이 문법성/사실성/유창함/다양성 정도를 각각 평가하는 네 개의 모델을 구축(개발 내용)
- koelectra
▸ 3과제를 통해 구축한 최종 데이터, 즉 <개념 정보, 상식 문장, 라벨>을 이용해서 임의의 한국어 상식 문장에 대해 아래와 같이 문법성/사실성/유창함/다양성 정도를 각각 평가하는 네 개의 모델을 구축함학습 모델 기준 모델 입력 요소 모델 출력값 문법성 상식 문장(예: 는_해남군 전라남도에 있다) {0,1,2} 사실성 개념(예: 전라남도 해남군 있다) {0,1,2} 상식 문장(예: 전라남도는 해남군에 있다) 유창함 상식 문장(예: 강아지와 고양이는 순간을 지난다) {0,1,2} 다양성 개념(예: 옷 세탁소 가다 더럽다) {0,1,2} 기준 문장(예: 옷이 더러워지면 세탁소에 간다) 상식 문장(예: 더러운 옷은 세탁소에 가서 맡겨야 한다) -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 문법성 측정 Text Classification ELECTRA 기반 모델 Accuracy 85 % 93 % 2 사실성 측정 Text Classification ELECTRA 기반 모델 Accuracy 70 % 93 % 3 유창성 측정 Text Classification ELECTRA 기반 모델 Accuracy 70 % 80 % 4 다양성 측정 Text Classification ELECTRA 기반 모델 Accuracy 70 % 93 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1) 데이터 포맷 : CSV
2) 어노테이션 포맷
어노테이션 포맷 No. 속성명 항목 설명 타입 필수 작성예시 1 No ID string Y “1” 2 id 15-1 결과 ID string Y “7763f348e5f2b94db0ce38e2b85882d7d9c20c58ba952686eb8b1ed12c65f65e” 3 concepts 개념집합 string Y “동전,때각하다,떨어지다“ 4 sentence 기본 문장 string Y “동전이 때각하며 떨어졌다.” 5 sentence_words 기본문장 단어수 string Y “8” 5-1 sentence_id 평가문장 ID string Y “PKO-T5_68866” 5-2 label-scenes 평가문장 string Y “동전을 때각할 때마다 동전은 떨어지기 일쑤였다.” 5-3 label-scenes_words 평가문장 단어수 string Y “14” 5-4 gen_type 생성자 string Y “PKO-T5” 6-1 votes[1].voter.gender 평가자 1 성별 string Y “여성” (남성, 여성) 6-2 votes[1].voter.age 평가자 1 연령대 string Y “20대” (10대, 20대, 30대, 40대, 50대, 60대) 6-3-1 votes[1].grammar 평가자 1 문법성 평가값 (0,1,2) string Y 2 6-3-2 votes[1].reality 평가자 1 사실성 평가값 (0,1,2) string Y 1 6-3-3 votes[1].fluency 평가자 1 유창성 평가값 (0,1,2) string Y 0 6-3-4 votes[1].diversity 평가자 1 다양성 평가값 (0,1,2) string Y 1 7-1 votes[2].voter.gender 평가자 1 성별 string Y “여성” (남성, 여성) 7-2 votes[2].voter.age 평가자 2 연령대 string Y “20대” (10대, 20대, 30대, 40대, 50대, 60대) 7-3-1 votes[2].grammar 평가자 2 문법성 평가값 (0,1,2) string Y 1 7-3-2 votes[2].reality 평가자 2 사실성 평가값 (0,1,2) string Y 2 7-3-3 votes[2].fluency 평가자 2 유창성 평가값(0,1,2) string Y 0 7-3-4 votes[2].diversity 평가자 2 다양성 평가값 (0,1,2) string Y 1 8-1 votes[3].voter.gender 평가자 1 성별 string Y “여성” (남성, 여성) 8-2 votes[3].voter.age 평가자 2 연령대 string Y “20대” (10대, 20대, 30대, 40대, 50대, 60대) 8-3-1 votes[3].grammar 평가자 3 문법성 평가값 (0,1,2) string Y 2 8-3-2 votes[3].reality 평가자 3 사실성 평가값 (0,1,2) string Y 1 8-3-3 votes[3].fluency 평가자 2 유창성 평가값 (0,1,2) string Y 0 8-3-4 votes[3].diversity 평가자 1 다양성 평가값(0,1,2) string Y 1 9-1 votes[4].voter.gender 평가자 1 성별 string N “여성” (남성, 여성) 9-2 votes[4].voter.age 평가자 2 연령대 string N “20대” (10대, 20대, 30대, 40대, 50대, 60대) 9-3-1 votes[4].grammar 평가자 3 문법성 평가값 (0,1,2) string N 2 9-3-2 votes[4].reality 평가자 3 사실성 평가값 (0,1,2) string N 1 9-3-3 votes[4].fluency 평가자 2 유창성 평가값 (0,1,2) string N 0 9-3-4 votes[4].diversity 평가자 1 다양성 평가값(0,1,2) string N 1 10-1 final.grammar 최종 문법성 값 string Y 2 (0,1,2) 10-2 final.reality 최종 사실성 값 string Y 1 (0,1,2) 10-3 final.fluency 최종 유창성 값 string Y 0 (0,1,2) 10-4 final.diversity 최종 다양성 값 string Y 0 (0,1,2) -
데이터셋 구축 담당자
수행기관(주관) : ㈜나라지식정보
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 송영숙 02-3141-7644 [email protected] 총괄PM 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜메트릭스 가공/검수 ㈜테스트웍스 저작도구 ㈜나라지식정보 검수 ㈜튜닙 모델링
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.