AI-Hub

데이터 변경이력

데이터 히스토리

소개

조선시대(15세기~20세기 초) 고문헌 및 고문서의 옛한글 이미지로부터 개별 글자들을 추출하기 위한 인공지능 학습데이터

구축목적

다양한 필체의 옛한글 자료들로부터 개별 글자들을 추출해 낼 수 있도록 인공지능을 훈련하기 위한 데이터셋 구축

1. 데이터 구축 규모
   – 옛한글 자료 이미지 44,797장과 이에 대응하는 json파일 44,797건
   – 이미지에 포함된 글자 수는 아래와 같음

   데이터 구축 규모

   구분	글자수	비율
   필사본	8,076,339	67%
   목판본	2,109,749	18%
   활자본	1,817,776	15%
   합계	12,003,864	100%

   
    
2. 데이터 분포
   – 서체별 분포

   데이터 분포 서체별 분포

   구분	글자수	비율
   필사본	8,076,339	67%
   목판본	2,109,749	18%
   활자본	1,817,776	15%
   합계	12,003,864	100%

   
   
   – 카테고리별 분포

   데이터 분포 카테고리별 분포

   구분	글자수	비율
   교화서류	121,511	1%
   기술 및 전문서류	477,751	4%
   종교서류	1,356,315	11%
   문학류	8,823,834	74%
   신문류	234,868	2%
   언간류	47,815	0%
   언해류	545,931	5%
   음식조리서류	238,178	2%
   기타	157,661	1%
   합계	12,003,864	100

   

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

모델 학습

• 최종 검수 데이터를 기준으로 EfficientNet을 이용한 분류 모델의 Accuracy는 73%로 확인되었으며, 대체적으로 의미를 맞추는 결과 값을 도출함을 확인
  
• 옛한글 전사 서비스 제공과 관련하여 컴퓨터 사양 등의 운영 환경을 고려했을 때 EfficientNet은 적합하지 않다고 판단되어 EfficientNet의 Depthwith separable convolution 블록을 활용하면서도 가벼운 네트워크인 MobileNet 이용한 모델 개발 로 인식/분류가 어려운 필사체의 정확도가 다른 서체(활자, 목판)보다 낮았으나, 최종 학습모델에서 필사체의 학습양을 증가시켜, 필사체의 비중을 전체 학습 데이터셋의 약 70%를 차지하게 함으로 필사체의 분류성능 개선 - MobileNet을 이용한 모델의 학습 시 검증 Accuracy는 약 65%로 확인되었고 최종 검수 데이터 중 테스트 데이터 기준 Accuracy 성능 지표는 목판, 활자, 필사본에 대해 각각 57.25, 64,57, 69.66으로 확인되어 목표 성능 지표를 달성
   

서비스 활용 시나리오

• 활용 분야
  – 저작도구 내 오토라벨링 기능 구현을 위한 AI 알고리즘 개발
  – 조선시대 옛한글 문헌을 전사 및 번역 지원을 통해 전통문화 연구 활성화
  – 옛한글 OCR 데이터에 발화 정보가 담긴 음성 데이터를 맵핑하여 옛한글 문헌을 읽어주는 서비스 개발 기대
  – 한국국학진흥원 인공지능 번역 시스템 및 소장자료 관리시스템 외부 이용 가능
• 향후 계획
  – 글자 단위 이후, 음소, 어절, 형태소까지의 의미태깅 예정
  – 유명인의 필체 재현 및 폰트 개발
  – 데이터 추가 구축 및 학습을 통한 AI 모델 인식/분류 성능 개선, AI 전사서비스 고도화
  – 오버헤드스캐너를 활용한 한국국학진흥원 자료 이미지 지속 생산 및 한글자료 유네스코 기록유산 등재 신청 활용

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 원천데이터
   
    
2. 가공 완료 데이터
   
    
3. 라벨링데이터 구성
   – 원천데이터 정보 (1~9)

   라벨링데이터 구성 원천데이터 정보(1~9)

   구분	항목명	타입	필수여부	설명	범위	비고
   1	Typeface	string	Y	서체
   2	Info_id	int	Y	문헌 id
   3	Category_name	string	Y	주제명
   4	Info_name	string	Y	문헌명
   5	Period	int		시기
   6	Author	string		저자
   7	Difficulty	string	Y	난이도
   8	License_name	string	Y	라이선스명
   9	Info_Data_created	string	Y	Info 생성일

   
   – 이미지 정보 (10~16)

   라벨링데이터 구성 이미지 정보(10~16)

   구분	항목명	타입	필수여부	설명	범위	비고
   10	Image_id	int	Y	이미지 id(순서)
   11	Image_filename	string	Y	이미지 파일명
   12	Image_Data_captured	string	Y	이미지 캡쳐일
   13	Image_Width	int	Y	이미지 너비
   14	Image_Height	int	Y	이미지 높이
   15	Image_dpi	int	Y	이미지 DPI
   16	Image_Char_no	int	Y	이미지 내 문자 수

   
   – 어노테이션 정보 (17)

   라벨링데이터 구성 어노테이션 정보(17)

   구분		항목명		타입	필수여부	설명	범위	비고
   17		Text_Coord		array	Y	라벨링정보
   	17-1	Bbox	x	int	Y	bbox x좌표
   	17-2		y	int	Y	bbox y 좌표
   	17-3		bbox_width	int	Y	bbox 너비
   	17-4		bbox_height	int	Y	bbox 높이
   	17-5		col_no	int	Y	문자열 정보
   	17-6		row_no	int	Y	문자행 정보
   	17-7	annotate		string	Y	의미태그

   
    
4. JSON 형식
   

데이터셋 구축 담당자

수행기관(주관) : 안동대학교 산학협력단

수행기관(참여)