온라인 구어체 말뭉치 데이터
- 분야한국어
- 유형 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-28 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-21 산출물 추가 등록 저작도구 2023-12-04 AI 모델 등록 2022-07-28 콘텐츠 최초 등록 소개
온라인 플랫폼(게시판, 댓글 등)에서 구어체 위주의 텍스트 데이터를 수집 후 전사 도구를 활용하여 구축된 10억 어절의 말뭉치 요소별(범용용어 및 고유명사) AI 학습 데이터셋
구축목적
온라인상 상호 교류 데이터 수집을 통하여 다양한 상호 작용(인터렉티브)문장 표현, 감정 등을 학습할 수 있는 말뭉치 데이터 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 온라인 플랫폼 라벨링 유형 텍스트 라벨링 형식 JSON 데이터 활용 서비스 다양한 상호 작용과 감정표현 학습, 챗봇 기반의 상담서비스, 비대면 정확한 의미 전달 서비스, 텍스트 데이터의 감성 분석 서비스 등에 활용 데이터 구축년도/
데이터 구축량2021년/10억 어절 -
1. 데이터 구축 규모
- 원천 데이터
– 원시데이터(웹데이터)로부터 비문, 비속어, 편향성, 비식별화 등 정제된 JSON 구조의 텍스트 데이터 10억 어절 이상 - 라벨링 데이터
– 원천데이터로부터 JSON구조의 구문에 맞게 개체명과 신조어, 형태소(간투어, 부사 등)에 대하여 태깅된 텍스트 데이터 10억 어절 이상
2. 데이터 분포
- 출처 및 기간별 분포
2. 데이터 분포 출처 및 기간별 분포 No. 항목명 비율 1 영상 데이터 엔터테인먼트 댓글 26.1% 2 영상 데이터 사회 댓글 23.4% 3 DIATV 게시판 18.5% 4 영상 데이터 게임 댓글 5.1% 5 영상 데이터 생활 댓글 4.9% 6 영상 데이터 동물 댓글 3.7% 7 영상 데이터 제품리뷰 댓글 3.7% 8 영상 데이터 스포츠 댓글 3.6% 9 영상 데이터 취미 댓글 3.1% 10 영상 데이터 연애 댓글 2.2% 11 영상 데이터 음식 댓글 2.0% 12 영상 데이터 뷰티 댓글 1.5% 13 영상 데이터 기타 댓글 1.1% 14 영상 데이터 건강 댓글 0.7% 15 자유게시판 웹 크롤링 0.2% 16 기타 0.2% 
[출처 및 기간별 분포 그래프]
- 카테고리별 분포
2. 데이터 분포 카테고리별 분포 No. 분류코드 분류명 파일 수 어절수 비율 1 FO 음식 12,763 29,139,007 2.4% 2 BU 뷰티 12,044 31,440,550 2.6% 3 MA 연애·결혼 10,255 32,942,222 2.7% 4 KP 케이팝 11,002 38,443,709 3.1% 5 AN 동물 17,043 43,450,636 3.6% 6 HE 건강·의학 19,004 45,800,736 3.7% 7 OV 해외 6,164 47,203,274 3.9% 8 HB 취미 19,310 47,363,631 3.9% 9 IE 과학 8,298 47,996,619 3.9% 10 PR 제품리뷰 17,854 55,127,746 4.5% 11 HU 유머 11,405 55,730,975 4.6% 12 LI 일상 14,835 59,281,648 4.8% 13 SP 스포츠 21,688 59,618,059 4.9% 14 EN 엔터테인먼트 29,783 73,102,406 6.0% 15 SO 사회 31,709 80,727,123 6.6% 16 GA 게임 37,139 84,097,654 6.9% 17 SI 사회이슈 14,110 85,755,500 7.0% 18 BR 방송 39,273 96,160,656 7.9% 19 NW 뉴스 44,888 103,497,357 8.5% 20 IB 인터넷방송 45,856 106,919,968 8.7% 합계 424,423 1,223,799,476 100.0% 
[카테고리별 어절 분포 그래프]
- 원천 데이터
-
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드1. 모델학습
- 한국어 언어모델 생성 AI 모델링
- ELECTRA 언어모델 학습 방법을 이용한 언어모델 구축
- Masked Language Model(MLM)과 Replaced Token Prediction(RTP)을 학습 목표를 향한 언어 모델 학습
- 한국어 파인튜닝 모델 생성 AI 모델링
- 생성된 언어모델을 활용한 한국어 Downstream Task에 대한 파인튜닝학습 모델 생성
- 한국어 파인튜닝학습모델을 만들기 위해서 KLUEBenchmark의 NER, NLI, RE, STS와 KorQuad1.0에서 테스트
2. 서비스 시나리오
- 학습을 완료한 모델은 기계 독해, 문장 분류, 감성 분석, 개체명 인식, 자연어 추론 등의 다양한 자연어 이해 문제를 해결할 수 있음.
- 이에 따라서 텍스트로 구성된 데이터가 주어진다면, 텍스트를 이용한 다양한 종류의 자연어 처리 서비스 만들 수 있음.
- 한국어 언어모델 생성 AI 모델링
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 의미적 유사성 (KLUE-STS) Estimation Transformer 기반 (BERT, ELECTRA 등) F1-Score 점 0.8314 점 2 자연어 추론 (KLUE-NLI) Estimation Transformer 기반 (BERT, ELECTRA 등) F1-Score 점 0.7954 점 3 개체명 인식 (KLUE-NER) Text Classfication Transformer 기반 (BERT, ELECTRA 등) F1-Score 점 0.8963 점 4 관계 추출 (KLUE-RE) Information Extraction Transformer 기반 (BERT, ELECTRA 등) F1-Score 점 0.6657 점 5 기계 독해 (KoQuAD 1.0) Machine Translation Transformer 기반 (BERT, ELECTRA 등) F1-Score 점 0.913 점 6 대화 상대 추적 (KLUE-DST) Estimation Transformer 기반 (BERT, ELECTRA 등) F1-Score 점 0.8732 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
데이터셋 구축 담당자
수행기관(주관) : 솔트룩스
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 방재준 02-2193-1682 [email protected] · 컨소시엄 총괄 및 관리 · 데이터셋 설계 · 데이터 정제(비식별화) 및 검수 · 저작도구 개발 및 학습모델 구현 · 경진대회 개최 수행기관(참여)
수행기관(참여) 기관명 담당업무 알토비전 · 데이터 수집 및 정제
· 데이터 저작권 계약, 데이터 수집 및 표준 설계
· 비속어, 비방글, 비문 등 삭제, 원천데이터 파일 생성이노그루 · 데이터 교차 검수 오픈큐비트 · 데이터 교차 검수 알체라 · 데이터 가공
· 크라우드 워커 모집
· 저작도구 활용 데이터 가공소리자바 · 데이터 가공
· 크라우드 워커 모집
· 저작도구 활용 데이터 가공데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 방재준 02-2193-1682 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.