AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 방송 콘텐츠 분야의 유럽어 통·번역 성능 향상을 통해 한국 문화 확산 및 콘텐츠 산업 활성화를 위한 한국어 방송 콘텐츠의 인공지능 학습용 유럽어 통·번역 말뭉치 데이터
- 상황별 신조어, 약어, 은어, 관용적 의미와 어투까지 효과적으로 전달할 수 있는 인공신경망기계번역(Neural Machine Translation; NMT)용 한-유럽어 통·번역 음성 및 텍스트 pair 데이터

구축목적

ㅇ 분야 특화 번역모델을 이용한 번역서비스 제공
- 전문 번역사 중심의 번역공정으로는 지속적으로 늘어나게 될 K-콘텐츠의 수출을 지원하기에는 어려움이 있고, 문화적/언어적 특성을 잘 처리할 수 있는 특화 번역모델 기술의 개발로 품질이 우수하고 신속한 번역 서비스의 제공이 가능
ㅇ 범용성 높은 인공지능 데이터 구축 및 공개
- 활용성 높은 분야를 선정하고 원본 데이터 확보 가능성 확인
- 인공지능 학습에 적합한 콘텐츠(문장) 선정
- 정확도 높은 학습 데이터 구축
ㅇ 고품질 인공지능 학습 데이터 확보
- 고품질 학습용 한국어 유럽어 양방향 데이터 구축
- 분야 특화가 가능한 번역모델 학습 데이터 구축
ㅇ 인공지능 데이터를 통한 일자리 창출 및 기술 향상 기여
- 크라우드소싱으로 작업
- 공개 데이터를 활용한 다국어 인공지능 번역의 성능 향상
- 활용 사례 및 수정/구축 결과 공유

1. 데이터 구축 규모
(1-010-034) 방송컨텐츠 한국어-유럽어 번역 말뭉치 데이터
방송콘텐츠 원천 문장 데이터 약 195만개 및 라벨링 말뭉치 데이터 약 195만개

2. 데이터 분포
- 방송콘텐츠 대분류 5개 이상으로 데이터 편향 없이 균등하게 설계 구축
- 다양한 화자, 발화 스타일, 다양한 주제, 분야가 반영될 수 있는 카테고리 등 데이터 전체 구성 방안 및 균형적인 분포

(1-010-034) 방송콘텐츠 한국어-유럽어 번역 말뭉치

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 학습 AI모델

- 특화 번역모델의 번역품질 평가 방안으로 BLEU 평가 활용
- 구축한 데이터의 유효성을 검증하기 위하여 가공이 완료된 본 데이터를 인공지능 학습 모델을 통해 검증
- 다국어로 번역하여 구축한 통번역 데이터의 유효성 검증을 입증하기 위해 Attention 기반의 Transformer 알고리즘을 통해 번역 모델을 구성
- 학습된 번역 모델로 실제 구축한 데이터를 검증하기 위해 BLEU라고 하는 범용적인 자동 평가 도구를 사용

- 모델 구축은 언어별로 진행하였으며, 그 중 한영 병렬 말뭉치가 가장 많은 63만 문장쌍이며, 가장 적은 언어는 한불 47만 문장쌍임
- 언어별 학습을 통해 BLEU를 평가한 결과 한영 번역 모델이 가장 높은 50.27로 나왔고 가장 낮은 언어셋은 한러 38.41로 나옴
- 이러한 결과는 사업 제안서에서 제시한 BLEU 평가 점수 38을 모두 넘는 수치로 이는 구축한 다국어 번역 말뭉치 데이터 역시 그 품질이 우수함을 입증함

2. 데이터 활용

활용 분야 및 요구사항
- 연구분야: 구어체 텍스트 데이터를 활용하는 한국어-영어/유럽어 인공지능 번역 연구
- 산업분야: 구어체 방송콘텐츠 한국어-영어/유럽어 자막 및 번역 생성 서비스

. 데이터 활용 

3. 응용서비스 개발 
 
ㅇ다국어 통역기
- 한국어 음성을 인식해서 다국어로 통번역하는 웹서비스
- 인공지능 음성인식과 자동번역 학습모델을 활용하여 개발
- 도메인 특화 성능 고도화를 통해 고객 맞춤형 통번역 서비스 제공 가능

 ㅇ다국어 영상 자막 자동 생성 서비스
- 방송 및 유튜브 영상의 한국어 음성을 자동 인식
- 한국어 텍스트를 사용자가 선택한 다국어로 번역하여 자막을 자동으로 생성
- 정확도가 높을 경우 1시간 영상 기준으로 기존 자막화 시간 29시간에서 10분 이내로 단축할 수 있는 효율적인 서비스임
- 자막은 “srt” 또는 “vtt”형태로 다운로드 가능
- 영상 음성에 대한 인식 결과 또는 자동번역 오류가 있을 경우 이를 수정할 수 있는 편집 기능도 함께 제공

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 포맷
- 원천 문장 데이터 (한국어-다국어)

- 원천 문장 데이터 (다국어-한국어)

- 라벨링 번역 말뭉치 데이터 (한국어-다국어)

- 라벨링 번역 말뭉치 데이터 (다국어-한국어)

2. 데이터 구성

3. 어노테이션 포맷
- 원천 문장 구성요소

- 번역 말뭉치 라벨 구성요소 

4. 데이터 예시(영화드라마 분야)

[원문 – 한국어] “한강 근처 마포대교에서 막걸리 어때?”
[번역문 – 독일어] Wie wäre es mit Makgeolli an der Mapo-Brücke (Mapo Bridge) in der Nähe des Han-Flusses (Han River)?
[번역문 – 프랑스어] Que diriez-vous de makgeolli au pont Mapo près (Mapo Bridge) de la rivière Han (Han River)?
[번역문 – 이탈리아어] Che ne dici di makgeolli al ponte Mapo vicino (Mapo Bridge) al fiume Han (Han River)?

[원문 – 독일어] “Ein Tornado hat ein Haus in Paderborn, Nordrhein-Westfalen, Deutschland getroffen.”
[번역문 – 한국어] 토네이도가 독일 노르트라인베스트팔렌(North Rhine-Westphalia)주 파더보른(Paderborn)의 주택을 강타했습니다.

[원문 – 프랑스] “Le club de football professionnel français Paris Saint-Germain a déclaré aujourd'hui que quatre joueurs avaient été blessés dans un accident près de la Seine.”
[번역문 – 한국어] 프랑스 프로축구 구단 파리 생제르맹(Paris Saint-Germain)은 오늘 세느강(Seine River) 인근에서 발생한 사고로 선수 4명이 다쳤다고 밝혔습니다.

[원문 – 이탈리아어] “Silvia Zanon va in Campo San Provolo a Venezia perché lì insegna alle medie.”
[번역문 – 한국어] 실비아재논(Silvia Zanon)은 중학교에서 근무하기에 베니스(Venice)에 있는 깜포산쁘로볼로Campo San Provolo)에 갑니다.

데이터셋 구축 담당자

수행기관(주관) : ㈜디엠티랩스

수행기관(참여)

데이터 관련 문의처