AI-Hub

데이터 변경이력

데이터 히스토리

소개

웹사이트 기반 (메가뉴스) 대용량의 텍스트 데이터를 수집 후 전사 도구를 활용하여 타이틀, 단락 제목, 본문 텍스트가 구조화된 10억 어절의 말뭉치 요소별(범용용어 및 고유명사) AI 학습 데이터셋

구축목적

AI 학습용 데이터로서의 대용량 텍스트 데이터가 필요하나, 현재 웹 기반의 다양한 한국어 말뭉치 데이터가 부족하여 10억 어절 이상의 웹 데이터 기반 한국어 말뭉치 데이터를 구축

1. 데이터 구축 규모

• 원천 데이터
  – 원시데이터(웹데이터)로부터 비문, 비속어, 편향성, 비식별화 등 정제된 JSON 구조의 텍스트 데이터 10억 어절 이상
• 라벨링 데이터
  – 원천데이터로부터 JSON구조의 구문에 맞게 개체명과 신조어에 대하여 태깅된 텍스트 데이터 10억 어절 이상

2. 데이터 분포

• 출처별 분포

  2. 데이터 분포 출처별 분포

  No.	항목명	비율
  1	뉴스1	34.8%
  2	뉴시스	24.3%
  3	머니투데이뉴스	18.6%
  4	머니S	9.8%
  5	스타뉴스	8.7%
  6	지디넷	1.9%
  7	더리더	1.3%
  8	코스모폴리탄	0.2%
  9	엘르	0.2%
  10	디스이즈게임	0.2%
  11	하퍼스 바자	0.1%
  합계		100.0%

  
  
  [출처별 분포 그래프]
   
• 카테고리별 분포

  2. 데이터 분포 카테고리별 분포

  No.	분류코드	분류명	파일수	어절 수	비율
  1	SC	IT/과학	1,535	41,970,255	3.6%
  2	CU	문화/패션/뷰티	2,280	44,853,911	3.8%
  3	IN	국제	2,752	49,390,134	4.2%
  4	WO	여성복지	3,420	49,970,850	4.3%
  5	ED	교육	3,371	57,060,422	4.9%
  6	LC	지역	3,962	57,954,012	4.9%
  7	LI	라이프스타일	3,732	62,600,032	5.3%
  8	SP	스포츠	3,178	62,942,643	5.4%
  9	AC	사건사고	3,562	65,350,073	5.6%
  10	HE	건강	4,403	68,648,804	5.8%
  11	HB	취미	3,672	70,524,485	6.0%
  12	SG	사회일반	4,501	74,946,093	6.4%
  13	TL	여행레저	4,063	79,220,922	6.7%
  14	PO	정치	4,153	93,955,104	8.0%
  15	EC	경제	6,140	97,426,330	8.3%
  16	EN	연예	5,996	98,190,180	8.4%
  17	ID	산업	5,031	100,459,770	8.5%
  합계			65,751	1,175,464,020	100.0%

  
  [카테고리별 어절 분포 그래프]

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 모델학습

• 한국어 언어모델 생성 AI 모델링
  • ELECTRA 언어모델 학습 방법을 이용한 언어모델 구축
  • Masked Language Model(MLM)과 Replaced Token Prediction(RTP)을 학습 목표를 향한 언어 모델 학습

• 한국어 파인튜닝 모델 생성 AI 모델링
  • 생성된 언어모델을 활용한 한국어 Downstream Task에 대한 파인튜닝학습 모델 생성 
  • 한국어 파인튜닝학습모델을 만들기 위해서 KLUEBenchmark의 NER, NLI, RE, STS와 KorQuad1.0에서 테스트

2. 서비스 시나리오

• 학습을 완료한 모델은 기계 독해, 문장 분류, 감성 분석, 개체명 인식, 자연어 추론 등의 다양한 자연어 이해 문제를 해결할 수 있음.
• 이에 따라서 텍스트로 구성된 데이터가 주어진다면, 텍스트를 이용한 다양한 종류의 자연어 처리 서비스 만들 수 있음.

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 포맷

2. 데이터 구성 및 어노테이션 포맷

3. 실제 예시

데이터셋 구축 담당자

수행기관(주관) : 솔트룩스

수행기관(참여)

데이터 관련 문의처