AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 일상대화 맥락에서 자연스러운 연속 대화가 가능한 AI를 구축하기 위한 학습용 데이터
- 멀티세션 대화 및 발화에 활용한 문서 정보, 검색어 등이 태깅된 대화 데이터

구축목적

- 긴 맥락의 연속된 대화를 기억하고 전문분야 문서 내용을 반영한 자연스러운 대화 데이터 수집

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

- 모델학습
전체 대화방 json을 세션 수를 고려하여 8:1:1로 훈련, 검증, 평가 데이터셋을 나누어 준비한다. 대화 생성 모델을 구축할 때, 인코더-디코더 구조의 생성형 AI 모델 ET5를 활용한다. 모델의 인풋에 이전 대화의 히스토리에 해당하는 토큰 시퀀스, 참고 전문문서 토큰 시퀀스, 요약 정보 토큰 시퀀스의 컨캐트네이션 (concatenation)을 통해 입력 토큰 시퀀스를 생성하고, 이에 해당하는 답변을 예측하도록 모델링한다. 

- 서비스 활용 시나리오
 ○ 연구 분야
   - 일상대화 분야에서 연속된 대화의 맥락을 기억하고 참조하여 심도 있는 문제 해결에 기여할 수 있음.
   - 연속된 대화를 기억하고 활용함으로써 챗봇 및 자연어 처리 기술의 발전을 도모, 심도 있는 문제 해결을 가능하게 함.
   - 한국어 멀티세션 대화 데이터는 한국어뿐만 아니라 다양한 언어에서의 AI 기술 발전을 촉진함.
 ○ 산업 분야
   - 기업들은 한국인과의 원활한 대화가 가능한 챗봇 및 음성비서 기술 개발에 이 데이터를 활용할 수 있음.
   - 고객 맞춤형 상품 추천 및 지식 서비스 제공을 위한 챗봇이나 음성 AI 비서 개발 시, 과거 대화 이력을 활용해 맞춤형 서비스 제공이 가능.
   - 다양한 산업에서 AI를 활용하여 고객과의 소통을 강화하고, 더 개인화된 고객 경험을 제공할 수 있음.

설명서 및 활용가이드 다운로드

- 데이터 구성
1. 전문대화 정보 및 대화자 정보 내역: 파일명 및 세션단계, 참여자 수, 참여자 ID, 참여자 정보 
2. 대화 참여자 페르소나 정보 내역: 대화방ID, 질문자의 페르소나 ID, 질문자의 페르소나 특징, 화자 유형, 전문가의 페르소나ID 
3. 전문대화 토픽 정보 및 세션 정보 내역: 토픽ID, 토픽 유형, 토픽 타이틀, 키워드, 이전 세션ID, 몇 번째 세션, 발화 수, 말차례 수, 세션ID 
4. 세션 내 전문 대화 내역: 대화 발화자 정보 및 페르소나, 작업자의 발화, 검색 내용, 검색어 Query, 검색결과, 검색 결과 문서 ID, 검색 결과 문서 제목, 검색 결과 문서 내용, 발화에 참고한 내용 선택 여부, 검색된 문서 내용 중 발화에 참고한 파트만 True, 발화에 대한 요약, 발화 TimeStamp 
5. 세션 내 전문 대화 요약 내역: 세션 내 질문자 화자 발화 요약, 세션 내 전문가 화자 발화 요약, 이전 세션의 질문자 화자 발화 총 요약, 이전 세션의 전문과 화자 발화 총 요약, 세션 대화 내용 요약

<라벨링 데이터 주요 속성 어노테이션 명세>

<원천데이터 분포 명세>

- 어노테이션 포맷

- 데이터 포맷

- 실제 데이터 예시

{
  "FileInfo" : {
    "filename" : "DAILY-295098-AP820418-WZ000001-02_01_01-S2.json",
    "sessionLevel" : "2"
  },
  "participantsInfo" : {
    "numberOfParticipants" : "2",
    "speaker1" : {
      "participantID" : "NE0002",
      "gender" : "여성",
      "age" : "40대",
      "occupation" : "주부",
      "bPlace" : "서울/경기/인천",
      "gPlace" : "서울/경기/인천",
      "rPlace" : "서울/경기/인천",
      "educationLevel" : "대졸",
      "major" : "생명공학"
    },
    "speaker2" : {
      "participantID" : "NF0002",
      "gender" : "여성",
      "age" : "40대",
      "occupation" : "주부",
      "bPlace" : "서울/경기/인천",
      "gPlace" : "서울/경기/인천",
      "rPlace" : "서울/경기/인천",
      "educationLevel" : "대졸",
      "major" : "생명공학"
    }
  },
  "multisessionInfo" : {
    "multisessionID" : "295098"
  },
  "personaInfo" : {
    "apprenticeInfo" : {
      "personaID" : "AP820418",
      "personaFeatures" : [ "나는 쇼핑의 개념에 대해 잘 알고 싶다.", "나는 매일 슬프다", "나는 가족과 바빠서 얼굴 볼 시간이 없다" ],
      "speakerType" : "speaker1"
    },
    "wizardInfo" : {
      "personaID" : "WZ000001",
      "personaFeatures" : [ "나는 개념에 대해 잘 아는 챗봇이다." ],
      "speakerType" : "speaker2"
    }
  },
  "topicInfo" : {
    "topicID" : "02_01_01",
    "largeCategory" : "취미",
    "mediumCategory" : "쇼핑",
    "smallCategory" : "개념"
  },
  "sessionInfo" : [ {
    "prevSessionID" : "",
    "prevTimeInfo" : {
      "timeNum" : null,
      "timeUnit" : null
    },
    "nthSession" : "1",
    "numberOfUtterances" : "14",
    "numberOfTurns" : "7",
    "sessionID" : "295098-1",
    "sessionKeywords" : [ "*디플레이터*의 핵심 세부사항, *디플레이터*의 세부사항, *디플레이터*의 중심 내용" ],
    "dialog" : [ {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "안녕하세요. 저랑 얘기 할래요?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703468683000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "안녕하세요. 좋아요. 저와 함께 이야기해요!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703468698000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "요새 제가 준비하는 게 있어서 너무 바빠서 가족들을 만날 시간이 없거든요. 그래서 매일 슬퍼요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703468726000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "가족과 보내는 시간이 그리우시군요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703468750000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "맞아요. 제가 타지에 나와서 배우는 게 있거든요. 쇼핑에 대해서 좀 알고싶어서 수련생으로 있어요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
(중략)
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703469549000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "디플레이터가 뭔지 좀 알고싶어요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703469560000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "명목국민소득(GNP)에서 실질국민소득을 구하려 할 경우, 물가의 변동을 고려하여 계산하지 않으면 안 되는데, 그러려면 물가지수를 디플레이터(실질화 인자)로서 수정 계산할 필요가 있습니다. 이와 같이 명목금액을 물가 수정하여 실질 단위로 고치기 위해 쓰이는 물가지수와 같은 것을 일반적으로 디플레이터(deflator)라고 말하고 있습니다.",
      "context" : {
        "query" : "디플레이터",
        "contents" : [ {
          "documentID" : "2929395",
          "documentTitle" : "디플레이터",
          "content" : [ "명목국민소득(GNP)에서 실질국민소득을 구하려 할 경우, 물가의 변동을 고려하여 계산하지 않으면 안 되는데, 그러려면 물가지수를 디플레이터(실질화 인자)로서 수정 계산할 필요가 있다.", "이와 
(중 략)
        } ]
      },
      "selectedContents" : [ [ true, true, false ], [ false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false ] ],
      "summary" : "명목국민소득(GNP)에서 실질국민소득을 구하려 할 경우, 물가의 변동을 고려하여 계산하지 않으면 안 되는데, 그러려면 물가지수를 디플레이터(실질화 인자)로서 수정 계산할 필요가 있다. 이와 같이 명목금액을 물가 수정하여 실질 단위로 고치기 위해 쓰이는 물가지수와 같은 것을 일반적으로 디플레이터(deflator)라고 말하고 있다.",
      "timestamp" : 1703469586000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "그렇군요. 저에게는 생소한 개념이네요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703469604000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "맞아요. 쉬운 개념은 아닙니다. 그렇다면 더 설명해드릴까요? ",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
   (중 략)
    "sessionSummary" : {
      "apprentice" : [ "나는 쇼핑의 개념에 대해 잘 알고 싶다." ],
      "wizard" : [ "명목국민소득(GNP)에서 실질국민소득을 구하려 할 경우, 물가의 변동을 고려하여 계산하지 않으면 안 되는데, 그러려면 물가지수를 디플레이터(실질화 인자)로서 수정 계산할 필요가 있다. 이와 같이 명목금액을 물가 수정하여 실질 단위로 고치기 위해 쓰이는 물가지수와 같은 것을 일반적으로 디플레이터(deflator)라고 말하고 있다." ],
      "dialogSummary" : "질문자는 디플레이터에 대해서 질문하였고 챗봇은 명목국민소득(GNP)에서 실질국민소득을 구하려 할 경우, 물가의 변동을 고려하여 계산하지 않으면 안 되는데, 그러려면 물가지수를 디플레이터(실질화 인자)로서 수정 계산할 필요가 있으며, 이와 같이 명목금액을 물가 수정하여 실질 단위로 고치기 위해 쓰이는 물가지수와 같은 것을 일반적으로 디플레이터(deflator)라고 말하고 있다고 답변하였다."
    },
    "prevAggregatedSummary" : {
      "apprentice" : [ ],
      "wizard" : [ ]
    }
  }, {
    "prevSessionID" : "295098-1",
    "prevTimeInfo" : {
      "timeNum" : "5",
      "timeUnit" : "일"
    },
    "nthSession" : "2",
    "numberOfUtterances" : "14",
    "numberOfTurns" : "7",
    "sessionID" : "295098-2",
    "sessionKeywords" : [ "*팝업 스토어*의 역사, *팝업 스토어*의 개념, *팝업 스토어*의 중국" ],
    "dialog" : [ {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "안녕하세요. 잘 지냈나요? 대화해요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703469737000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "다시 만나서 반가워요. 저는 잘 지냈답니다.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },

    }, {
    (중 략)
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "요새 팝업 스토어가 유행이더라구요. 그런데 저는 처음 들어서요. 이게 뭔지 알려주세요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703469923000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "네. 알겠습니다. 팝업 리테일(pop-up retail) 또는 팝업 스토어/샵(pop-up store/shop) 혹은 플래시 리테일링(flash retailing)은 그 시대에 떠오르는 직종이나 업종에 새로운 많은 자본과 기술력으로 빠른 속도로 관련 기업을 세우는 기업을 의미합니다.",
      "context" : {
        "query" : "팝업 스토어",
        "contents" : [ {
          "documentID" : "859536",
          "documentTitle" : "팝업 스토어",
          "content" : [ "팝업 리테일(pop-up retail) 또는 팝업 스토어/샵(pop-up store/shop) 혹은 플래시 리테일링(flash retailing)은 그 시대에 떠오르는 직종이나 업종에 새로운 많은 자본과 기술력으로 빠른 속도로 관련 기업
 (중 략)
   ], [ false, false, false, false, false, false, false, false, false, false, false, false, false, false ] ],
      "summary" : "팝업 리테일(pop-up retail) 또는 팝업 스토어/샵(pop-up store/shop) 혹은 플래시 리테일링(flash retailing)은 그 시대에 떠오르는 직종이나 업종에 새로운 많은 자본과 기술력으로 빠른 속도로 관련 기업",
      "timestamp" : 1703469967000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP820418",
      "participantID" : "NE0002",
      "utterance" : "그렇군요. 처음 이런 개념을 시작한 곳은 어디에요? ",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703470010000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "팝업스토어라는 콘셉트로 처음 마케팅을 시작한 곳은 미국 데님 브랜드 Levi's와 스위스 시계 브랜드 Swatch로 볼 수 있습니다.",
      "context" : {
        "query" : "팝업 스토어",
        "contents" : [ {
          "documentID" : "859536",
          "documentTitle" : "팝업 스토어",
          "content" : [ "팝업 리테일(pop-up retail) 또는 팝업 스토어/샵(pop-up store/shop) 혹은 플래시 리테일
(중 략)
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NF0002",
      "utterance" : "알겠습니다. 다음에 이어서 이야기를 하길 바랍니다. 즐거운 하루 보내세요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703470076000
    } ],
    "sessionSummary" : {
      "apprentice" : [ ],
      "wizard" : [ "팝업 리테일(pop-up retail) 또는 팝업 스토어/샵(pop-up store/shop) 혹은 플래시 리테일링(flash retailing)은 그 시대에 떠오르는 직종이나 업종에 새로운 많은 자본과 기술력으로 빠른 속도로 관련 기업", "팝업스토어라는 콘셉트로 처음 마케팅을 시작한 곳은 미국 데님 브랜드 Levi's와 스위스 시계 브랜드 Swatch로 볼 수 있다." ],
      "dialogSummary" : "질문자는 팝업 스토어에 대해서 질문하였고 챗봇은 팝업 리테일(pop-up retail) 또는 팝업 스토어/샵(pop-up store/shop) 혹은 플래시 리테일링(flash retailing)은 그 시대에 떠오르는 직종이나 업종에 새로운 많은 자본과 기술력으로 빠른 속도로 관련 기업을 세우는 기업을 의미하며 팝업스토어라는 콘셉트로 처음 마케팅을 시작한 곳은 미국 데님 브랜드 Levi's와 스위스 시계 브랜드 Swatch로 볼 수 있다고 답변하였다."
    },
    "prevAggregatedSummary" : {
      "apprentice" : [ "나는 쇼핑의 개념에 대해 잘 알고 싶다." ],
      "wizard" : [ "명목국민소득(GNP)에서 실질국민소득을 구하려 할 경우, 물가의 변동을 고려하여 계산하지 않으면 안 되는데, 그러려면 물가지수를 디플레이터(실질화 인자)로서 수정 계산할 필요가 있다. 이와 같이 명목금액을 물가 수정하여 실질 단위로 고치기 위해 쓰이는 물가지수와 같은 것을 일반적으로 디플레이터(deflator)라고 말하고 있다." ]
    }
  } ]
 

데이터셋 구축 담당자

수행기관(주관) : 미디어젠(주)

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처