AI-Hub

#한국어 # 위키백과 # 일반상식 # 지식베이스 # 질의응답 # 챗봇 # 지능형 QA 서비스

일반상식

분야한국어
유형 텍스트

구축년도 : 2017 갱신년월 : 2018-01 조회수 : 16,326 다운로드 : 4,390 용량 :

소개 파일 목록 (API 다운로드)

※ 내국인만 데이터 신청이 가능합니다.

문의하기 목록

데이터 변경이력

데이터 변경이력
버전	일자	변경내용	비고
1.0	2018-01-02	데이터 최초 개방

소개

한국어 위키백과 내 주요 문서 15만 개에 포함된 지식을 추출하여 객체(entity), 속성(attribute), 값(value)을 갖는 트리플 형식의 데이터 75만 개를 구축한 지식베이스 제공.

메타데이터 구조표
데이터 영역	한국어	데이터 유형	텍스트
데이터 형식		데이터 출처
라벨링 유형		라벨링 형식
데이터 활용 서비스		데이터 구축년도/ 데이터 구축량	2017년/15만

구축내용

한국어 위키백과내 주요 문서 15만개에 포함된 지식을 추출하여 객체(entity), 속성(attribute), 값(value)을 갖는 트리플 형식의 데이터 75만개를 구축
일반상식 지식베이스에 포함된 데이터

상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
데이터 종류	포함 내용	제공 방식
일반상식 지식베이스	WIKI 정보를 기반으로 한 entity, attribute, value 형태의 트리플 데이터	파일 다운로드
WIKI 본문에 대한 질문-답 쌍	WIKI 본문내용과 관련한 질문과 질문에 대응되는 WIKI 본문 내의 정답 쌍	파일 다운로드
무형대용어 복원 태깅	동사나 명사 표현 어구에서 일부 문장 성분(주어, 목적어, 관형어 등)이 미리 나타나 유추가 가능하거나 암묵적으로 알고 있기에 문장 내에서 생략된 해당 문장 성분을 찾아 복원한 데이터(WIKI 기반)	파일 다운로드
상호참조 복원 태깅	임의의 개체(entity)에 대하여 다른 표현으로 사용되는 단어들을 찾아, 서로 같은 개체로 연결한 형태의 데이터(WIKI 기반)	파일 다운로드

데이터 변경이력

데이터 변경이력
버전	일자	변경내용	비고
1.0	2018.01.02	데이터 최초 개방

필요성

최근 인공지능 비서, 질문에 답변하는 챗봇 등 사람의 자연어를 이해하고 이에 대한 답변을 제공하는 지능형 QA서비스가 사회 각 분야에 급속히 확산
법률분야는 국민 생활영위에 필수적인 분야이지만 높은 전문성으로 일반인이 이해하고, 접근하기 어려워 일반인, 기업인 등 일반 수요자 중심의 법률서비스 제공이 요구
최근 대두된 인공지능기술은 기계가 이해할 수 있는(machine readable) 데이터로 법령, 판례, 법률용어, 상담사례 등 다양한 지식자원을 이용함에 따라 법률 상담과 같은 전문영역의 서비스를 일반인이 쉽고, 저렴한 비용으로 제공 받을 수 있는 기회를 제공

구축내용

한국어 위키백과내 주요 문서 15만개에 포함된 지식을 추출하여 객체(entity), 속성(attribute), 값(value)을 갖는 트리플 형식의 데이터 75만개를 구축
일반상식 지식베이스에 포함된 데이터

상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
데이터 종류	포함 내용	제공 방식
일반상식 지식베이스	WIKI 정보를 기반으로 한 entity, attribute, value 형태의 트리플 데이터	파일 다운로드
WIKI 본문에 대한 질문-답 쌍	WIKI 본문내용과 관련한 질문과 질문에 대응되는 WIKI 본문 내의 정답 쌍	파일 다운로드
무형대용어 복원 태깅	동사나 명사 표현 어구에서 일부 문장 성분(주어, 목적어, 관형어 등)이 미리 나타나 유추가 가능하거나 암묵적으로 알고 있기에 문장 내에서 생략된 해당 문장 성분을 찾아 복원한 데이터(WIKI 기반)	파일 다운로드
상호참조 복원 태깅	임의의 개체(entity)에 대하여 다른 표현으로 사용되는 단어들을 찾아, 서로 같은 개체로 연결한 형태의 데이터(WIKI 기반)	파일 다운로드

지식베이스 구조

일반상식분야 지식베이스는 N-Triples형태의 RDF로 구성되었으며, 일반인이 직관적으로 이해할 수 있고 쉽게 사용 가능하도록 entity-attribute-value값의 트리플 구조를 가짐
-entity : 위키피디아 표제어
-id : entity가 동형일 경우, 이를 구분하기 위한 값
-attribute : 표제어가 가질 수 있는 정보의 속성(평균 5개 내외)
-value : 위키피디아 표제어의 속성에 대응하는 값
질문-답 쌍 (Machine Reading Comprehension) 데이터셋은 정보를 담고 있는 문장, 문장내용과 관련있는 질문, 질문에 대한 정답을 각각 포함
Paragraphs는 가장 상위의 클래스로 질문-답 세트와 질문-답 세트의 근거 단락인 context를 하위 클래스로 가짐
질문-답 세트의 클래스인 qas에는 question으로 표현되는 질문과 answers로 정의된 답변이 포함
Answer_start는 Context에서 정답이 위치하는 글자 수 기준 인덱스를 나타내며 text와 id는 각각 context 내의 정답과 질문-답 세트의 고유 아이디를 의미
질문-답변-근거문장의 예시


{"paragraphs": 
[{"qas": [{"question": "일반성면의 면적이 얼마야", 
"answers": [{"answer_start": 84, "text": "19.41 km²"}], "id": "9_f9_wiki_2703-1"}], 
"context": "일반성면은 동부 5개 면의 교통, 문화, 교육, 상업의 중심지로서 일찍부터 상업이 발달한 곳으로 날로 반성 재래시장이 번성하고 있는 고장이다.
 면적은 19.41 km²로 진주시 16개 읍면동 중 가장 적은 면이지만 인근에 경남 산림환경연구원이 있어 그곳을 찾는 관광객이 이곳 일반성면을 지나간다. 
 2012년 1월 1일 기준으로 인구 3,233명 (남 : 1,556명, 여 : 1,677명) 1,413세대로 6개 법정리 19개 자연마을 31개 반으로 구성되어 있다. [1]"}], 
"title": "일반성면"}

활용예시

일반상식 지식베이스를 챗봇 대화를 위한 추론용 데이터로 활용하여 사람의 질문에 대해 자연스러운 대답을 할 수 있는 QA(Question-Answering) 챗봇의 개발 및 개선에 활용

데이터셋 구축 담당자

수행기관(주관) : 마인즈랩

데이터 관련 문의처

데이터 관련 문의처
담당자명	전화번호	이메일
안준환(마인즈랩)	031-625-4349	[email protected]

보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청

인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석
1. AI 허브 접속
  신청자
2. 안심존
  사용신청신청자신청서류 제출*
3. 심사구축기관
4. 승인구축기관
5. 데이터 분석 활용신청자
6. 분석모델반출신청자
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의