-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-10 데이터 최종 개방 1.0. 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-04-08 데이터 구축량, 데이터 통계, 활용AI모델 및 코드 수정 2023-12-22 산출물 전체 공개 소개
인문학 30만 문장 이상의 원시데이터에 대한 인공지능 학습용 데이터 저작권 확보 후 중분류 5개 분야, 소분류 10개 분야로 분류하여 원시데이터를 수집하고 정제, 가공(특수라벨링/번역), 검수 작업을 실시하여 공공/산업전반에 빅데이터로 활용할 수 있는 인문학 분야 다국어(영어, 중국어, 일본어) 번역 말뭉치 데이터
구축목적
● 인문학 분야의 원시데이터에 대한 인공지능 학습용 데이터 저작권 확보 ● 활용도가 높은 영어, 중국어, 일본어 번역 말뭉치 구축 ● 인공지능 성능 향상을 위한 30만 문장 이상의 고품질 대규모 데이터 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 JSON 데이터 출처 도서,논문,간행물 라벨링 유형 번역(자연어) 라벨링 형식 JSON 데이터 활용 서비스 다국어 기계번역 데이터 구축년도/
데이터 구축량2022년/301,181 건 -
데이터 통계
<데이터 구축 규모> 총 301,181 건
<데이터 구축 규모> 데이터 종류 데이터 형태 문장 수 비율 도서 텍스트 213,398 70.9% 논문 텍스트 60,407 20.1% 간행물 텍스트 27,376 9.1% 합계 301,181 <주제별 분포>
<주제별 분포> 구분 문장 수 비율 역사/고고학 55,881 18.6% 정치/행정 59,478 19.7% 경제/경영 64,870 21.5% 철학/종교 55,050 18.3% 교육 65,902 21.9% 합계 301,181 <언어별 분포>
<언어별 분포> 구분 문장 수 비율 영어 번역 121,150 40.2% 중국어 번역 90,014 29.9% 일본어 번역 90,017 29.9% 합계 301,181 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드학습 AI 모델
- 구축 데이터의 유효성을 검증하기 위하여 가공이 완료된 본 데이터를 인공지능 학습모델을 통해 검증
- 다국어로 번역하여 구축한 데이터의 유효성을 입증하게 위해 self-attention 기반의 Transformer 알고리즘을 통해 번역 모델 구성
- 학습된 번역 모델로 실제 구축한 데이터를 검증하기 위하여 범용적인 평가도구인 BLEU score 사용
<기계번역 모델의 번역 품질 평가_BLEU score>
<기계번역 모델의 번역 품질 평가_BLEU score> 구분 항목명 측정 지표 측정 산식 유효성 기계 BLEU score 
번역 - 모델 구축은 언어별로 진행하였으며, 한영 말뭉치는 121,150 쌍, 한중 말뭉치는 90,014 쌍, 한일 말뭉치는 90,017 쌍임
- 언어별 학습을 통한 BLEU 평가 결과, 한영 번역 모델은 31.32가 나왔으며 한중 번역 모델은 42.49, 한일 번역 모델은 65.30이 나옴
- 이러한 결과는 사업 제안서에서 제시안 BLEU score 27.5 보다 월등히 높은 수치로 구축한 인문학 분야 다국어 번역 말뭉치 데이터 품질의 우수성을 입증함 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 인공신경망 기반 번역모델의 문장 번역 성능 (한-영) Machine Translation Attention 메커니즘을 기반으로 한 Transformer 모델 BLEU 0.275 점 0.3254 점 2 인공신경망 기반 번역모델의 문장 번역 성능 (한-중) Machine Translation Attention 메커니즘을 기반으로 한 Transformer 모델 BLEU 0.275 점 0.4454 점 3 인공신경망 기반 번역모델의 문장 번역 성능 (한-일) Machine Translation Attention 메커니즘을 기반으로 한 Transformer 모델 BLEU 0.275 점 0.6942 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 구성
데이터 구성 제목 일본은 어디로 향하는가 도서 유형 도서 저자 사토 마사루.가타야마 모리히데 지음, 송태욱 옮김 출간연도 2021 대분류 인문학 중분류 역사/고고학 소분류 HA03 원문 고등학교의 전통적 행사라는 낡은 장치 안에서 싱글맘 등 현대적인 문제를 정리하고 있다. 전처리 후 고등학교의 전통적 행사라는 낡은 장치 안에서 싱글맘 등 현대적인 문제를 정리하고 있다. {
"chunk-number": ,
"paragraph": [
{
"info": {
"Index": "",
"Title": "",
"Publication_type": "",
"Author": "",
"ISBN": "",
"ISSN": null,
"Published_year": ,
"Date_created": "",
"Classify_1": "",
"Classify_2": "",
"Classify_3": ""
},
"sentences": [
{
"src_sentence": "",
"tgt_sentence": "",
"src_lang": "ko",
"tgt_lang": "ch",
"src_paragraphs_id": "",
"src_word_count": 17,
"spc_technical_label": "",
"spc_idiomatic_label": ,
"spc_proper_label": "",
"spc_double_label":
},
데이터 구성
데이터 구성 Key Description Type Child Type chunk-number 문장수 Number paragraph 도서정보 JsonArray JsonObject [ Index 데이터셋 식별자 String Title 제목 String Publication_type 출판물 종류 String Author 저자 String ISBN ISBN 도서 식별 넘버 String ISSN ISSN 논문 식별 넘버 String Published_year 도서 출간연도 Number Date_created 데이터 최초 생성일자 String Classify_1 주제 대분류 String Classify_2 주제 중분류 String Classify_3 주제 소분류 String ] sentences 문장정보 JsonArray JsonObject [ src_sentence 원문 텍스트 String tgt_sentence 번역문 텍스트 String src_lang 원문 언어 String tgt_lang 번역문 언어 String src_paragraphs_id 문장 식별코드 String src_word_count 원문 어절수 String spc_technical_label 특수라벨(전문용어) String spc_idiomatic_label 특수라벨 (관용표현) String spc_proper_label 특수라벨 (고유명사) String spc_double_label 특수라벨 (중의어) String ] 어노테이션 포맷
어노테이션 포맷 No 항목 길이 타입 필수여부 비고 한글명 영문명 1 도서정보 JsonObject 1-1 데이터셋 식별자 Index String Y 1-2 제목 Title String Y 1-3 출판물 종류 Publication_type String Y 1-4 저자 Author String Y 1-5 ISBN 도서 식별 넘버 ISBN String 1-6 ISSN 논문 식별 넘버 ISSN String 1-7 도서 출간연도 Published_year Number Y yyyy 1-8 데이터 최초 생성 일자 Date_created String Y yyyy-mm-dd 1-9 주제 대분류 Classify_1 String Y 1-10 주제 중분류 Classify_2 String Y 1-11 주제 소분류 코드 Classify_3 String Y 2 문장정보 JsonObject 2-1 원문 텍스트 src_sentence String Y 2-2 번역문 텍스트 tgt_sentence String Y 2-3 원문 언어 src_lang String Y 2-4 번역문 언어 tgt_lang String Y 2-5 문장 식별코드 src_paragraphs_id String Y 2-6 원문 어절수 src_word_count String Y 2-7 특수라벨(전문용어) spc_technical_label String 2-8 특수라벨 (관용표현) spc_idiomatic_label String 2-9 특수라벨 (고유명사) spc_proper_label String 2-10 특수라벨 (중의어) spc_double_label String 실제예시
"chunk-number": 9603,
"paragraph": [
{
"info": {
"Index": "0000000392",
"Title": "일본은 어디로 향하는가",
"Publication_type": "도서",
"Author": "사토 마사루.가타야마 모리히데 지음, 송태욱 옮김",
"ISBN": "2147483647",
"ISSN": null,
"Published_year": 2021,
"Date_created": "2023-01-31",
"Classify_1": "인문학",
"Classify_2": "역사/고고학",
"Classify_3": "HA03"
},
"sentences": [
{
"src_sentence": "고등학교의 전통적 행사라는 낡은 장치 안에서 싱글맘 등 현대적인 문제를 정리하고 있다.",
"tgt_sentence": "高校の伝統的行事という古い仕掛けの中でシングルマザーなど現代的な問題をまとめている。",
"src_lang": "ko",
"tgt_lang": "jp",
"src_paragraphs_id": "SH-0000000000P00000000R0000001",
"src_word_count": 12,
"spc_technical_label": "고등학교,전통,행사,장치,싱글맘,현대,정리",
"spc_idiomatic_label": null,
"spc_proper_label": null,
"spc_double_label": null
},
... -
데이터셋 구축 담당자
수행기관(주관) : 미니게이트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 황지영 070-4088-0143 [email protected] 데이터 라벨링, 검사 수행기관(참여)
수행기관(참여) 기관명 담당업무 (주)웅진북센 데이터 수집 와이즈닷 데이터 정제, 번역 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 황지영 070-4088-0143 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.