AI-Hub

데이터 변경이력

데이터 히스토리

소개

한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 SNS 데이터 구축

구축목적

한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 메신저 채팅 데이터 구축

구축 내용 및 제공 데이터량

• 한국어 일상대화 200만건
• 말차례 수: 대화당 최소 4회, 평균 8회 내외, 총 1,600만회 내외
• 발화 수: 대화당 최소 8회, 총 3,200만회 내외
• 개인정보 비식별화
• 메타정보(화자정보, 대화 유형, 대화 주제) 부착

  데이터 통계 표

  데이터셋	내용	형식	규모
  한국어 SNS 데이터	·메타정보(화자정보, 대화 유형, 대화 주제)	JSON	2,000,000건

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 변경이력

구축 목적

• 한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 메신저 채팅 데이터 구축

활용 분야

• AI 상담센터, 챗봇, AI 스피커, 개인비서, 스마트홈 등 한국어 구어 자연어 처리 엔진에 필요한 산업

소개

• 대화 참여자와 제공자 모두로부터 개인정보처리 및 저작권 이용 허락 계약을 체결하여 수집한 다양한 주제의 한국어 대화 원문 데이터에 대하여 개인정보 비식별화 및 정제 작업을 거쳐, 대화 주제 분류 후 AI 모델링을 통해 데이터의 유효성을 검증한 한국어 SNS 데이터셋 구축

구축 내용 및 제공 데이터량

• 한국어 일상대화 200만건
• 말차례 수: 대화당 최소 4회, 평균 8회 내외, 총 1,600만회 내외
• 발화 수: 대화당 최소 8회, 총 3,200만회 내외
• 개인정보 비식별화
• 메타정보(화자정보, 대화 유형, 대화 주제) 부착

  구축 내용 및 제공 데이터량 표

  데이터셋	내용	형식	규모
  한국어 SNS 데이터	·메타정보(화자정보, 대화 유형, 대화 주제)	JSON	2,000,000건

대표도면

필요성

• 코비드-19 상황이 장기화되면서 1990년대 후반 이후 미국을 중심으로 시작된 ‘디지털 경제’로의 전환이 가속화됨
• 디지털 경제의 핵심 요소 가운데 하나는 ‘비대면 경제’이므로 비대면 의사소통의 수요가 폭발적으로 증가하고 있음
• 효율적인 비대면 의사소통과 엄청난 속도와 규모로 축적되기 시작한 대화 데이터의 활용성을 높이기 위해서는 대화 처리 기술의 도입이 요구됨
• 대화 처리 기술은 아직 초기 단계에 머물러 있으나 딥러닝 기술의 발달과 대규모 대화 데이터의 구축으로 비약적 발전이 가능할 것으로 기대됨

데이터 구조

• 데이터구성

  데이터구성 표

  Key	Description	Type	Child type
  header	대화 메타 데이터	JsonObject	JsonObject
  {
  dialogueInfo	대화 정보	JsonObject	JsonObject
  {
  dialogueID	대화 ID	String
  numberOfParticipants	대화 참여자 수	Integer
  numberOfUtterances	발화 수	Integer
  numberOfTurns	말차례 수	Integer
  type	대화 유형	string
  topic	대화 주제	string
  }
  participantsInfo	대화 참여자 정보	Array	JsonObject
  [
  participantID	대화 참여자 ID	String
  gender	대화 참여자 성별	String
  age	대화 참여자 연령대	String
  residentialProvince	대화 참여자 거주지역	String
  ]
  }
  body	대화 데이터 본문	Array	JsonObject
  [
  utteranceID	발화 ID	String
  turnID	말차례 ID	String
  participantID	대화 참여자 ID	String
  date	발화 날짜	String
  time	발화 시간	String
  utterance	발화	String
  ]
  }

• 어노테이션 포맷

  어노테이션 포맷 표

  No		항목		길 이	타입	필수 여부
  		한글명	영문명
  1		대화 메타 데이터	header		JsonObject	Y
  	1-1	대화 정보	dialogueInfo		JsonObject	Y
  		{
  	1-1-1	대화 ID	dialogueID		String	Y
  	1-1-2	대화 참여자 수	numberOfParticipants		Integer	Y
  	1-1-3	발화 수	numberOfUtterances		Integer	Y
  	1-1-4	말차례 수	numberOfTurns		Integer	Y
  	1-1-5	대화 유형	type		String	Y
  	1-1-6	대화 주제	topic		String	Y
  		}
  	1-2	대화 참여자 정보	participantsInfo		Array	Y
  		[
  		{
  	1-2-1	대화 참여자 ID	participantID		String	Y
  	1-2-2	대화 참여자 성별	gender		String	Y
  	1-2-3	대화 참여자 연령대	age		String	Y
  	1-2-4	대화 참가자 거주지역	residentialProvince		String	Y
  		}
  		]
  2		대화 데이터 본문	body		JsonObject	Y
  		[
  		{
  	2-1	발화 ID	utteranceID		String	Y
  	2-2	말차례 ID	turnID		String	Y
  	2-3	대화 참여자 ID	participantID		String	Y
  	2-4	발화 날짜	date		String	Y
  	2-5	발화 시간	time		String	Y
  	2-6	발화	utterance		String	Y
  		}
  		]

데이터셋 구축 담당자

수행기관(주관) : 포티투마루

수행기관(참여)

데이터 관련 문의처