AI-Hub

데이터 변경이력

데이터 히스토리

소개

실제 채용면접과 유사한 환경의 질문과 답변의 음성을 제작하여 텍스트로 변환한후 내용 요약, 채용면접에서 표현되는 답변의 감정과 의도를 라벨링하여 원격 면접의 서비스를 고도화

구축목적

언어적 분석이 가능한 채용 면접 인터뷰 데이터셋 구축을 통해 인공지능 국가 기술력 제고, 일자리 창출, AI 면접 서비스 활용 및 확산

데이터 통계
<데이터 규축 규모>
라벨링 데이터 84,134건, 원천 데이터 168,268건

<데이터 분포>

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

활용모델

<모델학습>

모델학습 - 면접 데이터 스크립트의 감정 분석

항목명	면접 데이터 스크립트의 감정 분석
학습 알고리즘	KoBERT
	BERT 원리
	- 문장을 토큰화 시키고, 토큰 임베딩
	- position embeddings(문장 내의 위치정보)를 더함
	- 문장을 position embeddings와 함께 BERT layer에 Input 수행
	- BERT 모델은 트랜스포머 모델 기반으로, 트랜스포머의 인코더 부분으로 구성
	KoBERT 학습 방법
	➀ 면접 데이터 전처리 진행(불용어 제거 및 토큰화)
	➁ 감정(긍정, 부정, 중립)이 라밸링된 값과 같이 모델에 넣고 학습 진행
	➂ 감정의 예측 값과 실제 값의 오차를 통해 가중치를 업데이트하면서 감정 분류가 원활하도록 학습 진행
학습 조건	num_epochs = 20, batch_size = 64, optimizer = AdamW
	lr (learning_rate) = 5e-5, loss_fn = CrossEntropyLoss
파일 형식	• 학습 데이터셋: JSON
	• 평가 데이터셋: JSON
전체 구축 데이터 대비 모델에 적용되는 비율	AI모델 사용 라벨링 데이터 비율(수량)
	- 클래스 1 (부정) : 100% (1,518건)
	- 클래스 2 (중립) : 100% (6,596건)
	- 클래스 3 (긍정) : 100% (5,994건)
모델 학습 과정별 데이터 분류 및 비율 정보	- Training Set 비율(수량)
	(1) 클래스 1 (부정) : 80% (1,213건)
	(2) 클래스 2 (중립) : 80% (5,289건)
	(3) 클래스 3 (긍정) : 80% (4,847건)
	- Validation Set 비율(수량)
	(1) 클래스 1 (부정) : 10% (153건)
	(2) 클래스 2 (중립) : 10% (641건)
	(3) 클래스 3 (긍정) : 10% (573건)
	- Test Set 비율(수량)
	(1) 클래스 1 (부정) : 10% (152건)
	(2) 클래스 2 (중립) : 10% (666건)
	(3) 클래스 3 (긍정) : 10% (574건)

모델학습 - 면접 데이터의 스크립트 요약

항목명	면접 데이터의 스크립트 요약
학습 알고리즘	KoBART
	모델 개요
	- BART: Bidirectional(BERT)과 Auto-Regressive(GPT) Transformer를 합친 모델, seq2seq transformer를 사용한 구조이다,
	- Bart는 손상된 텍스트로 학습하며, 출력과 원본의 loss를 줄이는 데에 목표가 있다.
	- 손상된(masking된) 문서는 왼쪽의 bidirectional encoder(bert)로 인코딩 되고, 정답 text에 대한 likelihood를 autoregressive decoder(GPT)로 계산한다.
	- 위와 같은 작동방식은 nosing이 자유롭다는 장점이 있다.
	세부구조/사전학습 원리
	BART에서 사용한 5가지 기법
	1) Token Masking: 랜덤 토큰을 masking(가린다)하고 이를 복구하는 방식
	2) Token Deletion: 랜덤 토큰을 삭제하고 이를 복구하는 방식 (Masking과의 차이점은 어떤 위치의 토큰이 지워졌는지 알 수 없다는 점)
	3) Text Infilling: 포아송 분포를 따르는 길이의 text span을 생성 -> 이를 하나의 토큰으로 처리해 masking 하는 방식. (여러 토큰이 하나의 mask 토큰으로 바뀔 수 있다. Mask된 길이는 모른다)
	4) Sentence Permutaion: Document를 문장 단위로 나눠서 섞음
	5) Document Rotation: 랜덤으로 토큰 하나를 정해서 그 토큰부터 문장이 시작되게 함.
학습 조건	ephoc 5, batch size=64, optimizer=adamW
파일 형식	• 학습 데이터셋: JSON
	• 평가 데이터셋: JSON
전체 구축 데이터 대비 모델에 적용되는 비율	AI 모델 사용 라벨링 데이터 수량 (비율)
	요약문이 있는 84,134건
모델 학습 과정별 데이터 분류 및 비율 정보	- Training Set 비율 (수량) : 80% (67,307건)
	- Validation Set : 10% (8,414건)
	- Test Set : 10% (8,413건)

모델학습 - 면접 데이터의 스크립트 STT

항목명	면접 데이터의 스크립트 STT
학습 알고리즘	joint CTC transformer
	- ESPNet 프로젝트의 핵심 구성원들이 제안한 모델. E2E 음성 인식 분야의 주요 학습 기법인 CTC(Connectionist Temporal Classification)와 Attention 기법을 학습 단계에 함께 적용하여 multi-task learning을 진행하고, 실제 추론 시에는 가중치를 부여하여 추론 결과에 반영하는 방식.
	- CTC는 입력되는 음성 신호가 프레임 단위로 명시적인 라벨링이 되어 있지 않고 (음성 파일과 텍스트 라벨링만 있을 때) 정답 레이블 시퀀스 길이가 l일 때, 레이블 시퀀스 시작과 끝, 음절 사이에 공백(blank, ‘_’)을 추가한 길이 (l x 2) + 1의 확률 벡터 시퀀스를 만들고 이를 학습해서 프레임 단위 라벨링을 자가 학습시키는 기법. 즉 CTC를 사용한다면 음성 신호를 음성 프레임 각각으로 분리하고 음소 라벨링을 하는 작업을 대체할 수 있음.
학습 조건	EspnetLanguageModel
	epoch : 200, batch : N-batch = 2848, Optimizer : Adam
	EspnetASRModel
	epoch : 500, batch : N-batch = 2630, Optimizer : Adam
파일 형식	• 학습 데이터셋: TXT, WAV, TRN
	• 평가 데이터셋: TXT, WAV, TRN
전체 구축 데이터 대비 모델에 적용되는 비율	AI모델 사용 raw 데이터 비율
	-100%
모델 학습 과정별 데이터 분류 및 비율 정보	Training Set 비율 : 80%
	Validation Set 비율 : 10%
	Test Set 비율 : 10%

데이터 성능 점수

설명서 및 활용가이드 다운로드

<데이터 포맷>

{
  "version": json 파일 버젼
  "dataSet": { //데이터셋 구조체
    "info": { //메타데이터 정보
      "date": //작성일자
      "occupation": //직업군
      "channel": //원천 데이터 제작 채널
      "place": //면접 장소 
      "gender": //성별
      "ageRange": //나이대
      "experience": //경력 여부
    },
    "question": { //질문 원천 데이터
      "raw": { //원천 데이터
        "text": //질문 텍스트
        "wordCount"://어절수
      },
      "emotion": [ //감정 라벨링 데이터        
      ],
      "intent": [//의도 라벨링 데이터        
      ]
    },
    "answer": { //답변 원천 데이터
      "raw": { //원천 데이터
        "text": //답변 텍스트
        "wordCount": //어절수
      },
      "emotion": [ //감정 라벨링 데이터
        {
          "text": //감정 라벨링 데이터
          "expression": //상세 감정 라벨링
          "category": //상위 감정 라벨링
        }
      ],
      "intent": [ //의도 라벨링 데이터
        {
          "text": //의도 라벨링 데이터
          "expression": //상세 의도 라벨링
          "category": //상의 의도 라벨링
        }
      ],
      "summary": { //요약 데이터
        "text": //요약 원천데이터 라벨링 데이터
        "wordCount": //어절수
      }
    }
  },
  "rawDataInfo": { //음성 원천 데이터 정보
    "question": { //질문 음성 원천 데이터 정보
      "fileFormat": //원천 원천 데이터 포맷
      "fileSize": //음성 원천 데이터파일 사이즈
      "duration": //음성 원천 데이터 길이
      "samplingBit": //음성 원천 데이터 샘플링 BIT
      "channelCount": //음성 원천 데이터 녹음 채널 수
      "samplingRate": //음성 원천 데이터 샘플링 RATE
      "audioPath": //음성 원천 데이터 저장 위치
    },
    "answer": { //답변 음성 원천 데이터 정보
      "fileFormat": //원천 원천 데이터 포맷
      "fileSize": //음성 원천 데이터파일 사이즈
      "duration": //음성 원천 데이터 길이
      "samplingBit": //음성 원천 데이터 샘플링 BIT
      "channelCount": //음성 원천 데이터 녹음 채널 수
      "samplingRate": //음성 원천 데이터 샘플링 RATE
      "audioPath": //음성 원천 데이터 저장 위치
    }
  }
}

<데이터 구성>

<어노테이션 포맷>

<실제 예시>
{
  "version": "1.0",
  "dataSet": {
    "info": {
      "date": "20230116",
      "occupation": "SM",
      "channel": "MOCK",
      "place": "ONLINE",
      "gender": "MALE",
      "ageRange": "-34",
      "experience": "EXPERIENCED"
    },
    "question": {
      "raw": {
        "text": "지원자님이 생각하시기에 글로벌 인재에게 필수적인 요소는 무엇인가요 그리고 본인이 생각할 때 그러한 필수적인 요소를 위해서 지금까지 본인이 노력했던 것들은 무엇인지 궁금합니다",
        "wordCount": 21
      },
      "emotion": [
        
      ],
      "intent": [
        
      ]
    },
    "answer": {
      "raw": {
        "text": "최근에는 글로벌 인재에게 가장 중요한 요소가 협상 능력이라고 생각합니다. 과거에는 어학 능력을 가장 중요하다고 생각했다면 최근에는 협상 능력이 더 중요해졌다고 생각합니다. 언어 능력은 번역기도 있고 번역을 해주는 통역사들도 많아졌기 때문에 언어 능력보다는 이제는 협상 능력이 더 중요한 시대가 되었다고 생각합니다. 협상 능력을 갖추고 있어야만 어느 나라에 어떤 씨이오를 만나더라도 좋은 결과로 이끌어 낼 수 있기 때문입니다. 기업은 결국 이익을 극대화하는 데 있기 때문에 가장 좋은 협상을 이뤄내는 것이 기업의 이익을 극대화하는 지름길이라고 생각합니다. 이를 위해서 저는 대학원에서 협상과 관련된 수업을 듣고 실제로 기업 씨이오들과 협상을 하는 실습을 해 본 경험이 있습니다. 이런 경험을 토대로 이 회사에서도 협상에 뛰어난 인재로 성장하겠습니다.",
        "wordCount": 100
      },
      "emotion": [
        {
          "text": "이를 위해서 저는 대학원에서 협상과 관련된 수업을 듣고 실제로 기업 씨이오들과 협상을 하는 실습을 해 본 경험이 있습니다.",
          "expression": "u-fact",
          "category": "neutral"
        }
      ],
      "intent": [
        {
          "text": "",
          "expression": "",
          "category": "attitude"
        }
      ],
      "summary": {
        "text": "글로벌 인재에게 가장 중요한 요소는 협상 능력입니다. 언어 능력보다 협상 능력이 중요한 시대가 되었습니다. 좋은 협상을 이뤄내는 것이 기업의 이익을 극대화하는 지름길입니다. 대학원에서 협상 수업을 듣고 기업 씨이오들과 협상을 하는 실습을 한 경험이 있습니다. 이 회사에서도 협상에 뛰어난 인재로 성장하겠습니다.",
        "wordCount": 40
      }
    }
  },
  "rawDataInfo": {
    "question": {
      "fileFormat": "wav",
      "fileSize": 553678,
      "duration": 17300,
      "samplingBit": 16,
      "channelCount": 1,
      "samplingRate": "16kHz",
      "audioPath": "/Mock/02.SalesMarketing/Male/Experienced/ckmk_q_sm_m_e_208288.wav"
    },
    "answer": {
      "fileFormat": "wav",
      "fileSize": 2736398,
      "duration": 85510,
      "samplingBit": 16,
      "channelCount": 1,
      "samplingRate": "16kHz",
      "audioPath": "/Mock/02.SalesMarketing/Male/Experienced/ckmk_a_sm_m_e_208288.wav"
    }
  }
}
 

데이터셋 구축 담당자

수행기관(주관) : 무하유

수행기관(참여)

데이터 관련 문의처