AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 한국어 SNS 대화처리 모델링 기술 연구 및 응용 서비스 개발 등에 활용하기 위한 한국어 SNS 대화의 문체와 내용을 반영하는 2인 또는 3인 화자의 멀티턴 대화 데이터

구축목적

- 한국어 SNS 멀티턴 대화의 대화 상태 예측 모델 연구 및 개발에 활용할 수 있는 학습용 데이터 구축
- 한국어 SNS 어휘, 표현, 문체를 반영한 대화 생성 모델 연구 및 개발에 활용할 수 있는 학습용 데이터 구축
- 한국어 SNS 문체를 구사하는 사용자 친화적 정보성 문답 챗봇 응용 서비스 연구 및 개발에 활용할 수 있는 학습용 데이터 구축

- 데이터 구축 규모

- 데이터 분포
(1) 발화 내 문장 수 분포
 발화 내 문장 수는 발화 내 한 문장으로 이루어진 발화가 전체의 43.66%, 두 문장으로 이루어진 발화가 전체의 24.82%, 세 문장으로 이루어진 발화가 전체의 1.95%를 차지하며, 기타 네 문장으로 이루어진 발화가 전체의 0.21%를 차지한다.

(2) 대화 내 발화 수 분포
 대화 내 발화는 최소 14발화를 기준으로 하며, 16발화가 전체의 90.26%, 24발화가 전체의 6.08%를 차지한다.

(3) 화자 성별 분포
 대화의 화자의 성별 분포는 남성 50.43%, 여성 49.57%로 이루어져 있다.

(4) 화자 연령대 분포
 대화의 화자 연령 분포는 10대 4.65%, 20대 50.15%, 30대 42.22%, 40대 2.80%, 50대(이상) 0.18%로 이루어져 있다.

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

- 모든 도메인(건강 및 식음료/여행, 관광 및 명소/문화생활 및 여가/미용과 패션/스포츠 및 e스포츠/콘텐츠 소비/정치/경제 및 사회/과학 기술)에서 사용되는 사전 학습 언어모델은 같으나, 도메인별 라벨링이 다르기 때문에 총 9개, 각 1개씩 Dialogue State Tracking 모델을 구현
- 사전 학습 언어모델은 Kconvo-RoBERTa를 사용하였으며, [CLS] 토큰을 통해 special state(ex. 가격대, 평가/후기/감상)을 예측하고, Text 토큰을 통해 standard state(ex. 장소/지역/조직, 인물 등)을 예측
- 모델의 입력값은 주고받는 발화 쌍을 하나로 묶어서 Kconvo-RoBERTa에 입력됨
- Kconvo-RoBERTa에서 추출되는 [CLS] 토큰을 통해 special state(slot-key: 가격대, 평가/후기/감상)을 분류하며, special state을 예측할 시, 예측된 special state에 대한 values(slot-value: yes, no, dontcare, soso) 중 하나를 예측
- Kconvo-RoBERTa에서 추출되는 text 토큰들에서 BIO 태깅을 통해 standard state(slot-key: 장소/지역/조직, 시간 등)를 예측하며, 예측된 standard state의 시작점과 종료점(B-tag를 시작으로 마지막 I-tag까지)를 values(slot-value: 한국, 오전 10시 등)로 정의
- 1개의 입력 발화 쌍에 special state와 standard state 모두 존재할 수 있기 때문에, 동시에 학습을 진행

설명서 및 활용가이드 다운로드

- 어노테이션 포맷

- 데이터 포맷
(1) 대화 메타 정보

(2) 발화 데이터

(3) JSON 형식 예시

{
    "info": {
        "category": "한국어SNS 멀티턴 대화",
        "id": "000079",
        "topic": "건강 및 식음료",
        "keyword": "밀키스 제로 출시",
        "speaker": {
            "speakerAId": "0039",
            "speakerASex": "여자",
            "speakerAAge": "20",
            "speakerBId": "0104",
            "speakerBSex": "남자",
            "speakerBAge": "20",
            "speakerCId": null,
            "speakerCSex": null,
            "speakerCAge": null
        }
    },
    "utterances": [
        {
            "speaker": "speakerA",
            "text": "너 제로 칼로리 탄산음료 좋아함?",
            "new_word": "",
            "speech_act": "친교 및 잡담",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "제로 칼로리 탄산음료"
                }
            ],
            "turn_id": "000079-1",
            "utterance_id": "000079.1"
        },
        {
            "speaker": "speakerB",
            "text": "ㅇㅇ. 일반 탄산음료보다 칼로리 부담이 덜해서 자주 마시는데 그건 왜?",
            "new_word": "",
            "speech_act": "친교 및 잡담",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "일반 탄산음료"
                },
                {
                    "key": "영양소/성분",
                    "value": "칼로리"
                }
            ],
            "turn_id": "000079-1",
            "utterance_id": "000079.2"
        },
        {
            "speaker": "speakerA",
            "text": "그럼 너 밀키스 제로도 마셔봄? 최근에 새로 출시됐다고 하던데.",
            "new_word": "",
            "speech_act": "정보 제공",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "밀키스 제로"
                }
            ],
            "turn_id": "000079-2",
            "utterance_id": "000079.3"
        },
        {
            "speaker": "speakerB",
            "text": "레알? 밀키스도 제로 칼로리로 나왔다고?",
            "new_word": "레알",
            "speech_act": "정보 요청",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "밀키스"
                },
                {
                    "key": "영양소/성분",
                    "value": "제로 칼로리"
                }
            ],
            "turn_id": "000079-2",
            "utterance_id": "000079.4"
        },
        {
            "speaker": "speakerA",
            "text": "출시된 지 꽤 된 거 같던데 나도 얼마 전에 먹방 유튜버 영상 보고 알았음!",
            "new_word": "먹방",
            "speech_act": "정보 제공",
            "slot": [],
            "turn_id": "000079-3",
            "utterance_id": "000079.5"
        },
        {
            "speaker": "speakerB",
            "text": "오, 대박.. 그럼 너는 밀키스 제로 먹어봤어?",
            "new_word": "대박",
            "speech_act": "친교 및 잡담",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "밀키스 제로"
                },
                {
                    "key": "평가/후기/감상",
                    "value": "yes"
                }
            ],
            "turn_id": "000079-3",
            "utterance_id": "000079.6"
        },
        {
            "speaker": "speakerA",
            "text": "당연하지. 제로 칼로리인데 일반 밀키스 맛이랑 거의 똑같더라ㅋㅋ",
            "new_word": "",
            "speech_act": "정보 제공",
            "slot": [
                {
                    "key": "영양소/성분",
                    "value": "제로 칼로리"
                },
                {
                    "key": "제품/서비스",
                    "value": "밀키스"
                }
            ],
            "turn_id": "000079-4",
            "utterance_id": "000079.7"
        },
        {
            "speaker": "speakerB",
            "text": "나도 조만간 사먹어봐야겠다. 근데 그건 어디서 살 수 있음?",
            "new_word": "",
            "speech_act": "정보 요청",
            "slot": [],
            "turn_id": "000079-4",
            "utterance_id": "000079.8"
        },
        {
            "speaker": "speakerA",
            "text": "편의점이나 마트에서도 팔고, 온라인 칠성몰 사이트에서도 살 수 있다고 함!",
            "new_word": "",
            "speech_act": "정보 제공",
            "slot": [
                {
                    "key": "장소/조직",
                    "value": "온라인 칠성몰 사이트"
                }
            ],
            "turn_id": "000079-5",
            "utterance_id": "000079.9"
        },
        {
            "speaker": "speakerB",
            "text": "그렇구만. 밀키스 제로는 그럼 캔으로만 출시된 거야?",
            "new_word": "",
            "speech_act": "정보 요청",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "밀키스 제로"
                }
            ],
            "turn_id": "000079-5",
            "utterance_id": "000079.10"
        },
        {
            "speaker": "speakerA",
            "text": "ㄴㄴ. 250mL 캔이랑 300mL, 500mL 페트병으로도 출시됨!",
            "new_word": "",
            "speech_act": "정보 제공",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "페트병"
                }
            ],
            "turn_id": "000079-6",
            "utterance_id": "000079.11"
        },
        {
            "speaker": "speakerB",
            "text": "페트병으로도 나왔다니 박박이네. 밀키스 팬들 엄청 좋아하겠다ㅋㅋ",
            "new_word": "박박",
            "speech_act": "친교 및 잡담",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "밀키스; 페트병"
                },
                {
                    "key": "평가/후기/감상",
                    "value": "yes"
                }
            ],
            "turn_id": "000079-6",
            "utterance_id": "000079.12"
        },
        {
            "speaker": "speakerA",
            "text": "그러니까ㅋㅋ 요즘 제로 칼로리 음료가 대세이긴 한가봄.",
            "new_word": "",
            "speech_act": "친교 및 잡담",
            "slot": [
                {
                    "key": "제품/서비스",
                    "value": "제로 칼로리 음료"
                },
                {
                    "key": "평가/후기/감상",
                    "value": "yes"
                }
            ],
            "turn_id": "000079-7",
            "utterance_id": "000079.13"
        },
        {
            "speaker": "speakerB",
            "text": "니 이야기 들으니까 맛이 더 궁금해지네. 내일 당장 편의점 가서 사와야겠다ㅋㅋ",
            "new_word": "",
            "speech_act": "친교 및 잡담",
            "slot": [
                {
                    "key": "날짜/기간/계절",
                    "value": "내일"
                },
                {
                    "key": "평가/후기/감상",
                    "value": "yes"
                }
            ],
            "turn_id": "000079-7",
            "utterance_id": "000079.14"
        },
        {
            "speaker": "speakerA",
            "text": "편의점에 캔 음료 원 플러스 원 행사도 종종 하니까 사서 먹어봐ㅋㅋ 완전 추천함!",
            "new_word": "",
            "speech_act": "정보 제공",
            "slot": [
                {
                    "key": "사건",
                    "value": "캔 음료 원 플러스 원 행사"
                },
                {
                    "key": "평가/후기/감상",
                    "value": "yes"
                }
            ],
            "turn_id": "000079-8",
            "utterance_id": "000079.15"
        },
        {
            "speaker": "speakerB",
            "text": "오키! 먹어보고 나서 후기 말해줄게.",
            "new_word": "",
            "speech_act": "친교 및 잡담",
            "slot": [],
            "turn_id": "000079-8",
            "utterance_id": "000079.16"
        }
    ]
}

데이터셋 구축 담당자

수행기관(주관) : ㈜엔에이치엔다이퀘스트

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처