AI-Hub

데이터 변경이력

데이터 히스토리

소개

현존 고문헌의 대부분을 차지하고 있는 조선시대 고서의 원문 한자를 AI 기반의 OCR 기술을 통해 디지털 텍스트로 자동 확보하기 위하여, 고서 원문 내의 각 낱자 한자들에 대한 바운딩박스와 라벨링(유니코드 한자) 정보로 구성된 JSON 파일과 해당 고서 원문이미지 파일의 쌍으로 구성된 한자 글자수 기준 1천만 자 규모의 고서 한자 인식(OCR) AI 학습용 데이터셋

구축목적

한자로 기록된 국가기록유산(고서, 고문헌 등)의 활용성과 접근성 향상을 위해 고서 이미지 속 한자의 디지털 텍스트를 자동으로 확보하기 위한 인공지능 기반 OCR 기술 개발용 학습 데이터

1. 데이터 구축 규모

■고서한자 10,366,176자 (원천데이터 이미지 53,776면)

2. 데이터 분포

■서체별 분포

■주제별 분포

[그림] 주제별 글자수

■판본별 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

■모델 학습
■ 고서한자 OCR 인공지능 모델 학습용 데이터는 서체별로 구축되어야 하며, 서체별 한자 글자수 기준으로 최소 100만자 이상을 제안함
­ 구축된 데이터는 훈련용(Training), 검증용(Validation), 시험용(Test)을 80% : 10% : 10% 비율로 분리하여 학습에 사용하며, 시험용 데이터는 학습이 완료될 때까지 개봉되어서는 안됨

[그림] 고서한자 인공지능 모델 학습

■서비스 활용 시나리오
■ 고서한자가 포함된 이미지와 고서한자 OCR 모델을 결합하여 한자 디지털 텍스트를 실시간으로 제공해주는 새로운 서비스 개발 : New Viewer
■ 검색엔진과 고서한자 OCR 모델을 활용하여 텍스트 키워드로 고서한자 이미지 DB 내에서의 본문 검색 솔루션 개발 : Text to Image DB
■ 고서한자 OCR 모델과 고서한문 자동번역 모델을 결합하여 한문 원문이미지 자동번역 솔루션 개발 : Image to Translation

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 포맷
○원시데이터 특성

[그림] 고서한자 예시 이미지

○JSON 형식

{"Info_Name": "강고선생문집07 OCR DATA",    
 "Info_Description": "한국국학진흥원에서 보유한 강고선생 문집07의 면단위 이미지에 면에 나타난 글자의 위치와 크기, 유니코드 값을 부여한 OCR용 AI 데이터", 
 "Info_Data_created": "20220630", 
 "Info_Original_Title": "강고선생문집(江皐先生文集)_07", 
 "Info_Original_Author": "류심춘(柳尋春)", 
 "Info_Original_Publication": "1894", 
 "Info_Original_Categorize": "집부(集部)", 
 "Info_Block": "목판본", 
 "Info_Style": "해서체", 
 "Info_Text_Color": "Gray", 
 "Info_Distorion": "None", 
 "Info_Visibility": "Middle", 
 "Info_Noise": "Middle", 
 "Info_Intervention": "Middle", 
 "Info_Image_License": "CC-BY-SA",
 "Info_Licenced_Institution": "한국국학진흥원", 
 "Info_Institution_URL": "www.koreastudy.or.kr", 
 "Image_ID": "ef137d41-6969-49ae-b9df-3af1a12d5342", 
 "Image_File_name": "OKSAC_I_A01000020_007_003",
 "Image_Data_captured": "20210118",
 "Image_Width": 2539,
 "Image_Height": 3366,
 "Image_dpi": 300,
 "Image_color": "N",
 "Image_Char_col_no": 11, 
 "Image_Char_row_no": 18, 
 "Image_Text_Coord": 
  [
  [

{"bbox": [1986.6666666666667, 641.6666666666667, 148.33333333333326, 80.0, 0, 0], "label": "江"}, 
  {"bbox": [1975.0, 730.0, 165.0, 131.66666666666674, 0, 1], "label": "皋"}, 
  {"bbox": [1978.3333333333335, 870.0, 161.66666666666652, 120.0, 0, 2], "label": "先"}, 
  {"bbox": [1982, 993.5, 142, 105.5, 0, 3], "label": "生"}, 
            (하략)
}

■데이터 구성

■어노테이션 포맷

■실제 예시

{"Info_Name": "강고선생문집07 OCR DATA",    
 "Info_Description": "한국국학진흥원에서 보유한 강고선생 문집07의 면단위 이미지에 면에 나타난 글자의 

위치와 크기, 유니코드 값을 부여한 OCR용 AI 데이터", 
 "Info_Data_created": "20220630", 
 "Info_Original_Title": "강고선생문집(江皐先生文集)_07", 
 "Info_Original_Author": "류심춘(柳尋春)", 
 "Info_Original_Publication": "1894", 
 "Info_Original_Categorize": "집부(集部)", 
 "Info_Block": "목판본", 
 "Info_Style": "해서체", 
 "Info_Text_Color": "Gray", 
 "Info_Distorion": "None", 
 "Info_Visibility": "Middle", 
 "Info_Noise": "Middle", 
 "Info_Intervention": "Middle", 
 "Info_Image_License": "CC-BY-SA",
 "Info_Licenced_Institution": "한국국학진흥원", 
 "Info_Institution_URL": "www.koreastudy.or.kr", 
 "Image_ID": "ef137d41-6969-49ae-b9df-3af1a12d5342", 
 "Image_File_name": "OKSAC_I_A01000020_007_003",
 "Image_Data_captured": "20210118",
 "Image_Width": 2539,
 "Image_Height": 3366,
 "Image_dpi": 300,
 "Image_color": "N",
 "Image_Char_col_no": 11, 
 "Image_Char_row_no": 18, 
 "Image_Text_Coord": 
  [
  [
  {"bbox": [1986.6666666666667, 641.6666666666667, 148.33333333333326, 80.0, 0, 0], "label": "江"}, 
  {"bbox": [1975.0, 730.0, 165.0, 131.66666666666674, 0, 1], "label": "皋"}, 
  {"bbox": [1978.3333333333335, 870.0, 161.66666666666652, 120.0, 0, 2], "label": "先"}, 
  {"bbox": [1982, 993.5, 142, 105.5, 0, 3], "label": "生"}, 
            (하략)
}

데이터셋 구축 담당자

수행기관(주관) : ㈜엔에이치엔다이퀘스트

수행기관(참여)

데이터 관련 문의처