AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 전문분야(기술과학) 맥락에서 자연스러운 연속 대화가 가능한 AI를 구축하기 위한 학습용 데이터
- 멀티세션 대화 및 발화에 활용한 문서 정보, 검색어 등이 태깅된 대화 데이터

구축목적

- 긴 맥락의 연속된 대화를 기억하고 전문분야 문서 내용을 반영한 자연스러운 대화 데이터 수집

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

- 모델학습
전체 대화방 json을 세션 수를 고려하여 8:1:1로 훈련, 검증, 평가 데이터셋을 나누어 준비한다. 대화 생성 모델을 구축할 때, 인코더-디코더 구조의 생성형 AI 모델 ET5를 활용한다. 모델의 인풋에 이전 대화의 히스토리에 해당하는 토큰 시퀀스, 참고 전문문서 토큰 시퀀스, 요약 정보 토큰 시퀀스의 컨캐트네이션 (concatenation)을 통해 입력 토큰 시퀀스를 생성하고, 이에 해당하는 답변을 예측하도록 모델링한다. 

- 서비스 활용 시나리오
 ○ 연구 분야
   - 기술과학 분야에서 연속된 대화의 맥락을 기억하고 참조하여 심도 있는 문제 해결에 기여할 수 있음.
   - 연속된 대화를 기억하고 활용함으로써 챗봇 및 자연어 처리 기술의 발전을 도모, 심도 있는 문제 해결을 가능하게 함.
   - 한국어 멀티세션 대화 데이터는 한국어뿐만 아니라 다양한 언어에서의 AI 기술 발전을 촉진함.
 ○ 산업 분야
   - 기업들은 한국인과의 원활한 대화가 가능한 챗봇 및 음성비서 기술 개발에 이 데이터를 활용할 수 있음.
   - 고객 맞춤형 상품 추천 및 지식 서비스 제공을 위한 챗봇이나 음성 AI 비서 개발 시, 과거 대화 이력을 활용해 맞춤형 서비스 제공이 가능.
   - 다양한 산업에서 AI를 활용하여 고객과의 소통을 강화하고, 더 개인화된 고객 경험을 제공할 수 있음.

설명서 및 활용가이드 다운로드

- 데이터 구성
1. 전문대화 정보 및 대화자 정보 내역: 파일명 및 세션단계, 참여자 수, 참여자 ID, 참여자 정보 
2. 대화 참여자 페르소나 정보 내역: 대화방ID, 질문자의 페르소나 ID, 질문자의 페르소나 특징, 화자 유형, 전문가의 페르소나ID 
3. 전문대화 토픽 정보 및 세션 정보 내역: 토픽ID, 토픽 유형, 토픽 타이틀, 키워드, 이전 세션ID, 몇 번째 세션, 발화 수, 말차례 수, 세션ID 
4. 세션 내 전문 대화 내역: 대화 발화자 정보 및 페르소나, 작업자의 발화, 검색 내용, 검색어 Query, 검색결과, 검색 결과 문서 ID, 검색 결과 문서 제목, 검색 결과 문서 내용, 발화에 참고한 내용 선택 여부, 검색된 문서 내용 중 발화에 참고한 파트만 True, 발화에 대한 요약, 발화 TimeStamp 
5. 세션 내 전문 대화 요약 내역: 세션 내 질문자 화자 발화 요약, 세션 내 전문가 화자 발화 요약, 이전 세션의 질문자 화자 발화 총 요약, 이전 세션의 전문과 화자 발화 총 요약, 세션 대화 내용 요약

<라벨링 데이터 주요 속성 어노테이션 명세>

<원천데이터 분포 명세>

- 어노테이션 포맷

- 데이터 포맷

- 실제 데이터 예시

{
  "FileInfo" : {
    "filename" : "TECH-293064-AP406852-WZ000001-03_01_01-S2.json",
    "sessionLevel" : "2"
  },
  "participantsInfo" : {
    "numberOfParticipants" : "2",
    "speaker1" : {
      "participantID" : "NA0001",
      "gender" : "여성",
      "age" : "40대",
      "occupation" : "전문직",
      "bPlace" : "광주/전라/제주",
      "gPlace" : "서울/경기/인천",
      "rPlace" : "서울/경기/인천",
      "educationLevel" : "대졸",
      "major" : "간호학"
    },
    "speaker2" : {
      "participantID" : "NB0001",
      "gender" : "여성",
      "age" : "40대",
      "occupation" : "관리직",
      "bPlace" : "광주/전라/제주",
      "gPlace" : "서울/경기/인천",
      "rPlace" : "서울/경기/인천",
      "educationLevel" : "대졸",
      "major" : "경영학"
    }
  },
  "multisessionInfo" : {
    "multisessionID" : "293064"
  },
  "personaInfo" : {
    "apprenticeInfo" : {
      "personaID" : "AP406852",
      "personaFeatures" : [ "나는 화공의 개념에 대한 서적을 읽고 있다.", "나는 TV 음악 프로그램을 좋아한다", "나는 2차 세계대전에 대해 궁금한 것이 있다" ],
      "speakerType" : "speaker1"
    },
    "wizardInfo" : {
      "personaID" : "WZ000001",
      "personaFeatures" : [ "나는 개념에 대해 잘 아는 챗봇이다." ],
      "speakerType" : "speaker2"
    }
  },
  "topicInfo" : {
    "topicID" : "03_01_01",
    "largeCategory" : "인공물",
    "mediumCategory" : "화공",
    "smallCategory" : "개념"
  },
  "sessionInfo" : [ {
    "prevSessionID" : "",
    "prevTimeInfo" : {
      "timeNum" : null,
      "timeUnit" : null
    },
    "nthSession" : "1",
    "numberOfUtterances" : "14",
    "numberOfTurns" : "7",
    "sessionID" : "293064-1",
    "sessionKeywords" : [ "*용광로*의 구조, *용광로*의 기본적인 특성" ],
    "dialog" : [ {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "안녕? 만나서 반가워. 나는 요즘 책을 하나 읽고 있는데, 아주 흥미로워.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 요즘 책을 읽고 있다.",
      "timestamp" : 1703047841000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "안녕하세요. 독서는 상상력과 문장력을 키우는 데 더없이 좋은 활동이죠. 좋은 취미를 가졌군요. 어떤 책일까 몹시 궁금해지네요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703047921000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "별다른 건 아니고 난 요즘 화공의 개념에 대한 서적을 읽고 있거든. 너무 재밌어서 시간 가는 줄 모르고 읽게 되더라고. 너도 화학 공학에 대해 관심이 있니?.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 요즘 화공의 개념에 대한 서적을 읽고 있다.",
      "timestamp" : 1703048229000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "그럼요. 저는 화학 공학의 개념에 대해서도 잘 학습되어 있는 챗봇입니다. 혹시 관련되어 궁금한 사항이 있으시면 언제든 말씀해주세요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703048310000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "책을 읽다보니 용광로의 구조에 대해 관심이 가더라고. 용광로의 구조에 대해서 좀 설명해 줄 수 있니?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 용광로의 구조가 알고 싶다.",
      "timestamp" : 1703048417000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "네. 용광로는 벽돌로 쌓아올린 굴뚝 모양으로 되어 있으며, 안에는 별다른 장치가 없습니다.",
      "context" : {
        "query" : "용광로",
        "contents" : [ {
          "documentID" : "346959",
          "documentTitle" : "용광로",
          "content" : [ "용광로(鎔鑛爐, )는 금속가공에서 금속 및 합금을 생산하기 위한 제련을 하는 데 사용되는 공업요로다.", "다른 요로(평로 등)에 비해 매우 높게 우뚝선 형태를 가지고 있기에 고로(高爐, )라고도 한다.", "구조.", "용광로의 구조는 매우 간단하다.", "벽돌로 쌓아올린 굴뚝 모양으로 되어 있으며, 안에는 별다른 
(중 략)
    특히 대한민국에서도 많은 작품을 조선민주주의인민공화국과 합작한 경우가 많다." ]
        }, {
          "documentID" : "2607537",
          "documentTitle" : "순천화학련합기업소",
          "content" : [ "순천화학연합기업소(順川化學聯合企業所)는 평안남도 순천시에 위치하며 2009년까지 확인되지 
(중 략)
     하고 있다.", "김재룡 총리도 항상 순천화학련합기업소 메탄올 직장을 현지지도를 가서 계속 료해하며 특히 건설의 신속함보다는 정밀함을 요구하고 있다." ]
        }, {
          "documentID" : "3149462",
          "documentTitle" : "내화물",
          "content" : [ "내화물(耐火物, Refractory)은 불과 고온에 견디는 물질이다.", "가마 등 열에 견뎌야 하는 공정을 위해 내화물을 사용해야한다.", "열, 압력 또는 화학적 공격에 의한 분해에 강하고 고온에서도 강도와 형태를 유지하는 
(중 략)
   연료는 액체 연료에 비해 보관과 관리가 쉽다.", "에너지 밀도도 더 높아서 같은 양의 비축 에너지에 대해 많은 공간을 요구하지 않는다." ]
        } ]
      },
      "selectedContents" : [ [ false, false, false, false, true, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false,  
(중 략)
   false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false ] ],
      "summary" : "용광로는 벽돌로 쌓아올린 굴뚝 모양으로 되어 있으며, 안에는 별다른 장치가 없다.",
      "timestamp" : 1703048546000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "아. 용광로는 굴뚝 모양의 간단한 구조였구나. 나는 TV 음악 프로그램을 좋아해서 채널을 돌리는데 용광로가 나오는 티브이 프로를 봤어. 엄청 뜨거워 보였는데 내부 온도는 얼마나 올라갈까 궁금한데, 알고 있니?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 TV 음악 프로그램을 좋아한다.",
      "timestamp" : 1703049024000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "네. 용광로에 석회석, 코크스, 철광석을 각각 안에 넣어 500도~800도로 가열한 공기를 내부로 집어넣어 연소시키면 약 1500도의 열이 발생하게 됩니다.",
    (중 략)
    는 지표로서의 유용성을 떨어뜨린다는 지적이 있다." ]
        }, {
          "documentID" : "2675030",
          "documentTitle" : "고체연료",
          "content" : [ "고체연료(固體燃料, )는 에너지를 내기 위해 태울 수 있는 다양한 형태의 고체형 자재를 의미하며 연소 과정에 빛과 열을 제공한다.", "고체 연료와 대비되는 용어로는 액체 연료와 연료 가스가 있다.", "고체 연료의 
(중 략)
   false, false, false, false, false, false ], [ false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, true, false, false, false, false, false, false, false ] ],
      "summary" : "용광로에 석회석, 코크스, 철광석을 각각 안에 넣어 500도~800도로 가열한 공기를 내부로 집어넣어 연소시키면 약 1500도의 열이 발생하게 된다.",
      "timestamp" : 1703049089000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "용광로가 당연히 뜨거운 줄은 알고 있었는데, 그 정도로 뜨겁다니. 그런 작업장에서 일하시는 분들은 위험한 환경에서 일한다니 정말 대단하다는 생각이 드네.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703049187000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "맞아요. 여름엔 덥고 항상 열 화상 위험에 노출되어 있으니 어떤 장소보다 안전에 유의해서 작업해야 하는 공간이예요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703049270000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "그리고 용광로를 통해 냄비나 건물을 짓는 철근 등 중요한 제품들이 생산되니 우리 삶이 윤택해졌다는 생각이 들어. ",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703049501000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "용광로가 주는 삶의 윤택함에 대해 느끼셨다니 저도 기분이 좋아져요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703049572000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "지금 이스라엘이랑 하마스가 전쟁중이잖아. 2차 세계대전에 대해서도 궁금한 것이 있어서 인터넷 자료를 좀 찾아봐야겠어. 다음에 또 보자.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 2차 세계 대전에 대해 궁금한 것이 있다. 나는 2차 세계대전에 대한 인터넷 자료를 찾아볼 것이다.",
      "timestamp" : 1703049690000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "전쟁에 대해서도 관심이 있군요. 자료를 찾다가 궁금한 것이 있으면 다시 찾아주세요. 유익한 시간이었어요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703049729000
    } ],
    "sessionSummary" : {
      "apprentice" : [ "나는 요즘 책을 읽고 있다.", "나는 요즘 화공의 개념에 대한 서적을 읽고 있다.", "나는 용광로의 구조가 알고 싶다.", "나는 TV 음악 프로그램을 좋아한다.", "나는 2차 세계 대전에 대해 궁금한 것이 있다. 나는 2차 세계대전에 대한 인터넷 자료를 찾아볼 것이다." ],
      "wizard" : [ "용광로는 벽돌로 쌓아올린 굴뚝 모양으로 되어 있으며, 안에는 별다른 장치가 없다.", "용광로에 석회석, 코크스, 철광석을 각각 안에 넣어 500도~800도로 가열한 공기를 내부로 집어넣어 연소시키면 약 1500도의 열이 발생하게 된다." ],
      "dialogSummary" : "질문자는 용광로의 구조에 대해 질문하였고 챗봇은 용광로는 벽돌로 쌓아올린 굴뚝 모양으로 되어 있으며, 안에는 별다른 장치가 없다고 하였다. 또한 질문자가 용광로의 내부 온도에 대해 질문하였고 챗봇은 용광로에 석회석, 코크스, 철광석을 각각 안에 넣어 500도~800도로 가열한 공기를 내부로 집어넣어 연소시키면 약 1500도의 열이 발생하게 된다고 하였다."
    },
    "prevAggregatedSummary" : {
      "apprentice" : [ ],
      "wizard" : [ ]
    }
  }, {
    "prevSessionID" : "293064-1",
    "prevTimeInfo" : {
      "timeNum" : "5",
      "timeUnit" : "시간"
    },
    "nthSession" : "2",
    "numberOfUtterances" : "14",
    "numberOfTurns" : "7",
    "sessionID" : "293064-2",
    "sessionKeywords" : [ "*화학공학*의 역사, *화학공학*의 개요, *화학공학*의 이동 현상" ],
    "dialog" : [ {
      "speaker" : "speaker1",
      "personaID" : "AP406852",
      "participantID" : "NA0001",
      "utterance" : "안녕. 좀 전에 자주 보는 TV 음악 프로그램이 하길래 재밌게 보고 왔어.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 자주 보는 TV 음악 프로그램을 보고 왔다.",
      "timestamp" : 1703051354000
   
     (중 략)
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "NB0001",
      "utterance" : "2차 세계 대전에 대해 알고 싶은 정보를 찾길 바라요. 더 궁금한 것이 있으면 다시 불러주세요. 즐거운 시간이었어요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703052879000
    } ],
    "sessionSummary" : {
      "apprentice" : [ "나는 자주 보는 TV 음악 프로그램을 보고 왔다.", "나는 화공의 개념에 대한 서적을 읽고 있다.", "나는 화학 공학의 개념에 대해 잘 모른다.", "나는 화학 공학에서 나오는 이동 현상이 뭔지 궁금하다.", "나는 2차 세계 대전에 대해 궁금한 내용을 완전히 찾지 못했다. 나는 2차 세계 대전에 대해 궁금한 내용을 찾아볼 것이다." ],
      "wizard" : [ "화학 공학의 개념에 화학공학(化學工學; Chemical Engineering)은 어떤 원료물질에 화학적 변화를 일으켜 사람이 살아가는 데에 사용되어온 각종 물질들을 대량으로 만드는 방법 및 그 이용에 관하여 연구하는 공학의 한 분야이다.", "이동 현상은 각각 운동량 전달, 에너지 전달과 화학종의 수송에 의해 주로 좌우되는 유체 역학, 열·질량 전달을 포함하는 것이다." ],
      "dialogSummary" : "질문자가 화학 공학의 개념에 대해 질문을 했고 챗봇은 화학 공학의 개념에 대해 궁금하군요. 화학공학(化學工學; Chemical Engineering)은 어떤 원료물질에 화학적 변화를 일으켜 사람이 살아가는 데에 사용되어온 각종 물질들을 대량으로 만드는 방법 및 그 이용에 관하여 연구하는 공학의 한 분야라고 답했다.질문자가 이동 현상의 개념에 대해 질문했고 챗봇은 이동 현상은 각각 운동량 전달, 에너지 전달과 화학종의 수송에 의해 주로 좌우되는 유체 역학, 열·질량 전달을 포함하는 것이라고 답했다."
    },
    "prevAggregatedSummary" : {
      "apprentice" : [ "나는 요즘 책을 읽고 있다.", "나는 요즘 화공의 개념에 대한 서적을 읽고 있다.", "나는 용광로의 구조가 알고 싶다.", "나는 TV 음악 프로그램을 좋아한다.", "나는 2차 세계 대전에 대해 궁금한 것이 있다. 나는 2차 세계대전에 대한 인터넷 자료를 찾아볼 것이다." ],
      "wizard" : [ "용광로는 벽돌로 쌓아올린 굴뚝 모양으로 되어 있으며, 안에는 별다른 장치가 없다.", "용광로에 석회석, 코크스, 철광석을 각각 안에 넣어 500도~800도로 가열한 공기를 내부로 집어넣어 연소시키면 약 1500도의 열이 발생하게 된다." ]
    }
  } ]
}

데이터셋 구축 담당자

수행기관(주관) : 미디어젠(주)

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처