AI-Hub

데이터 변경이력

데이터 히스토리

소개

상품 리뷰데이터에 포함된 사용자 감정을 태깅한 데이터로 총 25만건 가량의 데이터셋을 구축

구축목적

상품에 대한 사용자의 선호도 및 감정 속성을 제공하여 보다 심층적인 비즈니스 인사이트를 제공하고자 함

데이터 통계

 1. 데이터 구축 규모

  1-1. 쇼핑몰 리뷰 데이터

    1-2. SNS 리뷰 데이터

 2. 데이터 분포

  2.1 데이터 소스별 분포

  2.2 카테고리별 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. Model Description
• Token마다 label을 태깅하는 Token classification 모델이다.
• Sentiment와 Aspect category 속성을 span 단위로 태깅한 데이터를 사용하여 학습하였다.
• 문장의 embedding 결과와 (Token embeddings, Segment Embeddings, Position Embeddings) Label Encoder를 통해 인코딩된 Target Sentiment 및 Target Aspect를 입력으로 받고, 예측된 Sentiment와 Aspect 속성을 반환한다.
• 과적합을 방지하기 위하여, Adamw optimizer와 Earlystopping이 적용되었다.(자세한 설명은 5.Training 요소 참조)
• 속성 카테고리를 대분류 속성으로 변환하여, 대분류 속성 기준으로 성능을 측정한다.

2. Model Architecture
• Sentiment와 Aspect Category 학습/예측에 동일한 BERT (klue-bert)가 사용된다.
• Sentiment와 Aspect Category가 각각 별개의 Dropout Layer와 Linear Layer, CRF Layer를 갖는다.
• 각 속성의 loss는 NLL(Negative Log Likelihood) Loss로 계산하며,
• 최종 loss는 두 속성 loss의 평균을 계산하여 얻는 joint training 방식의 모델 구조이다.

3. DATA
3-1. 원본 데이터 (json)
일반적인 속성 기반 감성 분석의 벤치마크 데이터셋은 Aspect가 단어 형태이지만, 현 과제의 특성상 속성 단어가 없는 경우(암시적 속성)가 많아 Sentiment와 Aspect가 span 단위로 태깅되어 있다.

3-2. Input
3-2-1. 학습 데이터 (csv)
label이 태깅된 span을 예측하기 위하여, 개체명 인식 등의 Token classification task에서 주로 사용되는 BIO tag를 활용해 원본 데이터를 파싱하였다.
B는 Begin의 약자로 span이 시작되는 부분, I는 Inside의 약자로 span의 내부 부분을 의미하며, O는 Outside의 약자로 span이 아닌 부분을 의미한다.

3-2-2. 모델 Input

3-3. Output
모델의 1) loss 값과 2) 속성별 감성 분석 결과 및 3) 속성 카테고리 예측 결과를 반환한다.

4. Task
토큰 분류(Token classification)
• 각 토큰이 문장 내에서 어떠한 역할을 지니고 있는지 예측하는 task이다.
• 본 과제에서의 ‘역할’은 Sentiment와 Aspect Category 속성을 의미한다.

5. Training 요소
5-1. 모델 구성 요소
5-1-1. Optimizer (Adamw)
Adam 최적화 기법은 일차 및 이차 모수의 동적 측정에 기반하여 이루어진다. 계산이 효율적이며, 메모리 사용량이 적고 gradient의 대각 스케일링에 영향을 받지 않는다. 따라서 데이터나 파라미터가 많은 큰 스케일의 문제에 효과적이다.
현 모델에서 사용한 Adamw optimizer는 이러한 Adam 알고리즘 최적화를 수행하면서 변수를 업데이트할 때, 가중치의 증가를 제한하는 기법이다. 큰 gradient를 가진 변수들을 표준화하기 때문에, 훈련 비용과 일반화 에러를 더 작게 줄일 수 있다.

5-1-2. Loss Function (Negative Log-Likelihood Loss)
공유된 모델에선 손실 함수로 Negative Log-Likelihood (NLL; 음의 로그우도) Loss를 사용하였다.
NLL Loss는 input data를 두 개 이상의 클래스 중 하나로 매핑하는 분류 문제에서 유용한 손실 함수로 수식은 아래와 같다.

정답 클래스의 softmax의 출력이 높은 값을 가진다면 출력이 정확함을 뜻하므로, 결과가 매우 작아지며 softmax의 출력이 낮다면 결과는 큰 값을 갖게 된다.
즉, 출력이 정확하지 않은 부분에 대해서는 높은 Loss를 가지는 것처럼 나타낼 수 있다.

최종 Loss는 softmax를 취하고 나온 모든 logit에 대해 loss를 구하여, 평균을 내는 방법으로 계산된다. 이때 정답에 해당하는 클래스의 loss를 계산할 때는 를 취하고, 정답이 아닌 클래스일 때는를 취하여 계산한다. (a: 기준이 되는 logit)
정답이 아닌 클래스의 경우, a의 값이 0에 가까워 높은 loss를 갖는다.

5-1-3. EarlyStopping
과적합이 되는 모델의 경우, epoch이 커질수록 Loss가 감소하다가 다시 증가하는 양상을 보인다. EarlyStopping은 이를 방지하기 위하여 모델이 더 이상 개선의 여지가 없을 때, 학습을 강제 종료시키는 방법이다.
학습 조기 종료를 위해 관찰할 항목(monitor)과 개선이 없을 때 몇 번째 epoch(patience)까지 기다릴지를 설정할 수 있다. 공유된 최종 모델에선 monitor를 val_loss(검증셋의 loss)로, patience를 3으로 설정하였다.

5-2. 하이퍼파라미터

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 포맷

데이터 포맷 예시

데이터 구성

어노테이션 포맷

실제 예시

[
{    "Index": "15",
    "RawText": "편하고  디자인이 예뻐요  가격도  좋아요   시원해요  빨리 마르고  이것만  입게되요",
    "Source": "쇼핑몰",
    "Domain": "패션",
    "MainCategory": "여성의류",
    "ProductName": "OO 플** 베스트 풀코디 3종",
    "ReviewScore": "100",
    "Syllable": "49",
    "Word": "10",
    "RDate": "20210804",
    "GeneralPolarity": "1",
    "Aspects": [
      {
        "Aspect": "착용감",
        "SentimentText": "편하고",
        "SentimentWord": "1",
        "SentimentPolarity": "1"
      },
      {
        "Aspect": "디자인",
        "SentimentText": "디자인이 예뻐요",
        "SentimentWord": "2",
        "SentimentPolarity": "1"
      },
      {
        "Aspect": "가격",
        "SentimentText": "가격도  좋아요",
        "SentimentWord": "2",
        "SentimentPolarity": "1"
      },
      {
        "Aspect": "기능",
        "SentimentText": "시원해요",
        "SentimentWord": "1",
        "SentimentPolarity": "1"
      },
      {
        "Aspect": "소재",
        "SentimentText": "빨리 마르고",
        "SentimentWord": "2",
        "SentimentPolarity": "1"
      },
      {
        "Aspect": "활용성",
        "SentimentText": "이것만  입게되요",
        "SentimentWord": "2",
        "SentimentPolarity": "1"
      }
    ]
  }
]

데이터셋 구축 담당자

수행기관(주관) : 케이티디에스 (구 알파디엑스솔루션)

수행기관(참여)

데이터 관련 문의처