#자연어처리
# 광학글자인식
# 한글 문자 이미지 데이터
# 문서 이미지 분석/분류
# 로봇 프로세스 자동화
# 인쇄체
# 손글씨
다양한 형태의 한글 문자 OCR
- 분야한국어
- 유형 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021-06-27 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-12 신규 샘플데이터 개방 소개
한글의 광학글자인식(OCR, Optical Character Recognition) 알고리즘 성능 개선을 위한 다양한 형태(테이블 내 텍스트, 숫자, 문장부호 등 포함)의 한글 글자체(인쇄체 + 손글씨) 데이터셋 구축
구축목적
실생활, 비즈니스 현장 중심의 한글을 대상으로 광학글자인식(OCR, Optical Character Recognition]알고리즘 성능개선을 위해 한글 및 문자 데이터셋을 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 이미지 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/117만 -
구축 내용 및 제공 데이터량
- 구축내용
* 인쇄체 : 실생활에서 사용되는 서식 50종에 대한 개인정보 비식별화 및 비식별데이터 재가공(완성형글자 2,350자 활용)하여 서식별 1500장씩 총 75,000장의 학습데이터 구축
비식별데이터 재가공시 공유마당 2020년 상반기 글꼴파일 인기순위 TOP 30 중 상위 10개(안동엄마까투리체, 국립중앙도서관체, KCC도담도담체, Mapo 배난여행, 배달의 민족 주아체, KCC무럭무럭체, , Mapo 꽃섬, 배달의 민족 한나는 열한산체, 야놀자 야체, 배달의 민족 도현체)의 폰트를 사용 및 3가지의 사이즈(small(normal –1), normal(서식 기본 사이즈), large(normal +1))로 재가공
* 필기체 : 성별, 나이 연령대가 다른 152명 작성자가 작성한 한글 1,101,225장(글자-344,412장, 단어-756,813장)
필기체 한글의 구성은 글자의 경우 완성형 2,350자를 활용하였으며 단어는 한국어 학습영어휘 6000단어 중 동음이의어와 한글자 단어를 제외한 5,210개의 단어를 사용
- 제공 대이터 통계
· 전체통계전체통계 표 구분 수량(건) 비고 인쇄체 75,000 필기체 글자 344,412 단어 756,813 합계 1,176,225 ·인쇄체:
인쇄체 표 서식 분류 건수 건당 생성
수량비고 행정서식
(31종)경제업무 5 1,500 7,500 교통 업무 2 1,500 3,000 산림 업무 3 1,500 4,500 농정 업무 3 1,500 4,500 민원행정업무 8 1,500 12,000 범무, 경찰 행정 업무 4 1,500 6,000 보건/복지 업무 1 1,500 1,500 세무 업무 4 1,500 6,000 공통 업무 1 1,500 1,500 일반서식
(19종)병원 2 1,500 3,000 부동산 5 1,500 7,500 제조/유통/무역 4 1,500 6,000 통신 1 1,500 1,500 금융 5 1,500 7,500 공통 2 1,500 3,000 계 50 75,000 ·필기체:
필기체 표 구분 원시데이터 오류데이터 학습데이터 글자 단어 글자 단어 글자 단어 성별 남 178,600 395,960 7,460 19,983 171,140 375,977 여 178,600 395,960 5,331 15,123 173,269 380,837 작성자 성별에 따른 합계 1,101,223 연령대 20대 이하 89,300 197,980 1,987 7,431 87,313 190,549 30대 70,500 156,300 2,281 8,128 68,219 148,172 40대 70,500 156,300 2,663 7,447 67,837 148,853 50대 70,500 156,300 3,581 6,608 66,919 149,692 60대이하 56,400 125,040 2,279 5,492 54,121 119,548 작성자 연령대에 따른 합계 1,101,223
- 구축내용
-
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 문자 인식률 (인쇄체 - 낱글자, 단어) Object Detection Adam(Adaptive Moment Estimation) EM 80 % 99.7 % 2 문자 인식률 (필기체 - 낱글자, 단어) Object Detection Adam(Adaptive Moment Estimation) EM 80 % 95 % 3 문자 인식률 (필기체 - 단어의 낱글자) Object Detection Adam(Adaptive Moment Estimation) F1-Score@IoU 0.8 0.74 점 0.961 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021.06.27 데이터 최초 개방 구축 목적
- 실생활, 비즈니스 현장 중심의 한글을 대상으로 광학글자인식(OCR, Optical Character Recognition]알고리즘 성능개선을 위해 한글 및 문자 데이터셋을 구축
활용 분야
- 한글 및 문자 인식(OCR)을 통해 서류나 문서를 자동분류, 키워드 추출을 통해 업무처리 및 개인정보 비식별화를 자동화하는 RPA 분야필기체와 인쇄체가 혼합된 서류의 전자문서화등 문서처리, 한글 데이터(키워드)추출, 전자문서화 등에 활용이 가능함. 또한 음성 언어 시각을 연계한 인지서비스로도 활용가능
소개
- 다양한 형태의 한글 이미지는 한글 인식율은 타 언어에 비해 낮고 공개된 데이터셋이 없어 다양한 형태의 한글 학습데이터가 필요한 상황이며 이에 따라 한글의 광학글자인식 (OCR, Optical Character Recognition) 알고리즘 성능 개선을 위한 다양한 형태의 한글 문자 이미지(인쇄체+손글씨) 데이터셋 구축
구축 내용 및 제공 데이터량
- 구축내용
* 인쇄체 : 실생활에서 사용되는 서식 50종에 대한 개인정보 비식별화 및 비식별데이터 재가공(완성형글자 2,350자 활용)하여 서식별 1500장씩 총 75,000장의 학습데이터 구축
비식별데이터 재가공시 공유마당 2020년 상반기 글꼴파일 인기순위 TOP 30 중 상위 10개(안동엄마까투리체, 국립중앙도서관체, KCC도담도담체, Mapo 배난여행, 배달의 민족 주아체, KCC무럭무럭체, , Mapo 꽃섬, 배달의 민족 한나는 열한산체, 야놀자 야체, 배달의 민족 도현체)의 폰트를 사용 및 3가지의 사이즈(small(normal –1), normal(서식 기본 사이즈), large(normal +1))로 재가공
* 필기체 : 성별, 나이 연령대가 다른 152명 작성자가 작성한 한글 1,101,225장(글자-344,412장, 단어-756,813장)
필기체 한글의 구성은 글자의 경우 완성형 2,350자를 활용하였으며 단어는 한국어 학습영어휘 6000단어 중 동음이의어와 한글자 단어를 제외한 5,210개의 단어를 사용
- 제공 대이터 통계
· 전체통계전체통계 표 구분 수량(건) 비고 인쇄체 75,000 필기체 글자 344,412 단어 756,813 합계 1,176,225 ·인쇄체:
인쇄체 표 서식 분류 건수 건당 생성
수량비고 행정서식
(31종)경제업무 5 1,500 7,500 교통 업무 2 1,500 3,000 산림 업무 3 1,500 4,500 농정 업무 3 1,500 4,500 민원행정업무 8 1,500 12,000 범무, 경찰 행정 업무 4 1,500 6,000 보건/복지 업무 1 1,500 1,500 세무 업무 4 1,500 6,000 공통 업무 1 1,500 1,500 일반서식
(19종)병원 2 1,500 3,000 부동산 5 1,500 7,500 제조/유통/무역 4 1,500 6,000 통신 1 1,500 1,500 금융 5 1,500 7,500 공통 2 1,500 3,000 계 50 75,000 ·필기체:
필기체 표 구분 원시데이터 오류데이터 학습데이터 글자 단어 글자 단어 글자 단어 성별 남 178,600 395,960 7,460 19,983 171,140 375,977 여 178,600 395,960 5,331 15,123 173,269 380,837 작성자 성별에 따른 합계 1,101,223 연령대 20대 이하 89,300 197,980 1,987 7,431 87,313 190,549 30대 70,500 156,300 2,281 8,128 68,219 148,172 40대 70,500 156,300 2,663 7,447 67,837 148,853 50대 70,500 156,300 3,581 6,608 66,919 149,692 60대이하 56,400 125,040 2,279 5,492 54,121 119,548 작성자 연령대에 따른 합계 1,101,223
대표도면
필요성
- 산업 및 비즈니스 현장에서 데이터셋 개선요청 및 데이터셋의 지속적 확장요구
- 2019년 1차 핵심적 기본적인“한글” 글자체 데이터셋 구축으로 추가적인 문자(숫자, 기호) 등의 혼합형 인식을 위한 데이터셋 개선 필요
- 네이버, Microsoft, Google 등에서 한글에 대한 OCR서비스를 제공하고 있으나, 한글 인식률은 타언어에 비해 비교적 낮음
- 공개된 데이터셋이 없어 다양한 형태의 한글 인식 모델 연구가 진척되지 못하고 있음
- 이에 한글 광학글자인식(OCR) 알고리즘 성능 개선을 위한 대규모 한글 글자(인쇄체_필기체) 데이터셋을 구축 하고자 함
데이터 구조
- 1. 데이터 구성
- 2. 어노테이션 포맷
1)인쇄체인쇄체 어노테이션 표 No. 항목 길이 타입 필수
여부비고 한글명 영문명 1 데이터셋 정보 info 1-1 데이터셋명 name 30 String Y 1-2 데이터셋설명 description 30 String Y 1-3 데이터셋생성일자 data_created 20 String Y 2 이미지 정보 image 2-1 이미지파일명 file_name 20 String Y 2-2 이미지너비 Width 5 Number Y 2-3 이미지높이 Height 5 Number Y 2-4 이미지해상도 Dpi 2 Number Y 2-5 이미지 컬러 Bit 2 Number Y 3 라이선스 값 license 3-1 출력형태 output 10 String Y print 3-2 폰트종류 font 10 String Y 3-3 폰트번호 font_no 2 String Y 3-4 폰트라이선스업체명 font_license 30 String 3-5 폰트라이선스주소 font_url 30 String 3-6 수기작성자 번호 writer_no 3 Number 3-7 수기작성자 성별 writer_gender 6 String 3-8 수기작성자 연령 writer_age 3 Number 4 텍스트정보 text 4-1 텍스트 타입 type=word 10 String Y word 4-1-1 단어박스 wordbox 100 String Y 4-1-2 단어 값 value 100 String Y 4-1-3 단어출처 source 10 String Y 서식:form/내용:content 4-1-4 문자정보 letter 100 String Y 4-1-4-1 문자박스 charbox 25 String Y 4-1-4-2 문자 값 value 100 String Y
2)필기체필기체 표 No. 항목 길이 타입 필수
여부비고 한글명 영문명 1 데이터셋 정보 Info
1-1 데이터셋명 Name 30 String Y 1-2 데이터셋설명 Description 30 String Y 1-3 데이터셋생성일자 Data_created 20 String Y 1-4 텍스트 정보 Text 12 String Y 2 이미지 정보 Image
2-1 이미지파일명 File_Name 20 String Y 2-2 이미지너비 Width 5 Number Y 2-3 이미지높이 Height 5 Number Y 2-4 이미지해상도 Dpi 3 Number Y 2-5 이미지컬러 Bit 2 Number Y 3 텍스트정보 Text
3-1 텍스트 타입 Type 10 String Y letter/word 3-2 출력형태 Output 10 String Y 3-3 Type = 문자 Type = letter 3-3-1 문자 값 Value 1 String Type=letter 3-4 Type = 단어 Type = Word
3-4-1 문자박스 Charbox 25 String Type=word 3-4-1 문자 값 Value 1 String Type=word 4 라이선스 값 License
4-1 출력형태 Output 10 String Y 4-2 폰트종류 Font 10 String Output=pr 4-3 폰트번호 Font_No 3 Number Output=pr 4-4 폰트라이선스업체명 Font_License 30 String Output=pr 4-5 폰트라이선스주소 Font_URL 30 String Output=pr 4-6 수기작성자 번호 Writer_NO 3 Number Output=hw 4-7 수기작성자 성별 Writer_Gender 6 String Output=hw 4-8 수기작성자 연령 Writer_Age 3 Number Output=hw
-
데이터셋 구축 담당자
수행기관(주관) : 동양시스템즈
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김시진 02-405-7443 [email protected] · 원문 데이터 확보 및 제공 · 데이터 구축 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 엔터정보 · 데이터 수집, 가공 및 검수 앙코르브라보노협동조합 · 데이터 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 천성열(엔티정보) 043-225-7890 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.