-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-10-30 데이터 최종 개방 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 한국어-외국어 병기 이미지에 대한 다중언어 OCR 학습데이터 구축으로, 한국어 및 외국어 병기 문자의 OCR 모델의 성능 혁신 기반 마련
구축목적
- 다양한 환경에 존재하는 한국어-외국어 병기 문자가 포함된 이미지를 수집하고, 이미지에 포함된 문자를 인식함으로써, 한국어 기반 외국어 혼용 문자 OCR에 최적화된 다중언어 OCR 데이터 구축
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 이미지 데이터 형식 jpeg/png 데이터 출처 자체 수집, 데이터 구매 및 자체제작 라벨링 유형 폴리곤 라벨링 형식 이미지 데이터 활용 서비스 이미지 데이터 구축년도/
데이터 구축량2023년/400,864 -
- 데이터 구축 규모
-다중언어(원천데이터 이미지 400,864장)데이터 구축 규모 - 다중언어 데이터 종류 데이터 형태 원문 규모 데이터 수집방법 데이터형식 다중언어 이미지 400,864장 직접촬영
자체제작jpeg/png - 주제별 데이터 분포
데이터 구축 규모 - 주제별 데이터 분포 과제명 카테고리 카테고리코드 데이터셋 구성비 다중언어
OCR 데이터생활 LF 96,348 24.03% 문화 CT 96,407 24.05% 공공 PB 100,797 25.15% 동영상 VD 107,312 26.77% 계 400,864 100% 
[그림] 주제별 데이터 분포
- 언어별 데이터 분포데이터 구축 규모 - 언어별 데이터 분포 카테고리 카테고리 코드 이미지수 구성비 한국어-영어 KE 247,900 61.84% 한국어-중국어 KC 92,346 23.04% 한국어-일본어 KJ 60,618 15.12% 계 400,864 100% 
[그림] 언어별 데이터 분포
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 모델 학습
- 모델학습을 위한 데이터셋 구성모델 학습 - 모델학습을 위한 데이터셋 구성 과제명 구분 Training Validation Test Total 다중언어 할당비율 80% 10% 10% 100% OCR 원천데이터 320,000 40,000 40,864 400,864 데이터 라벨링데이터 320,000 40,000 40,864 400,864 [설명]
■ 다중언어 OCR 인공지능 모델 학습용 데이터는 언어(주제)별로 구축되어야 하며, 원천데이터 이미지 기준으로 400,864장의 규모가 됨
■ 구축된 데이터는 훈련용(Training), 검증용(Validation), 시험용(Test)을 8:1:1 비율로 분리하여 학습에 사용- 모델학습 알고리즘 설계
- 서비스 활용 시나리오
■ 한국어와 외국어를 병기한 이미지 데이터의 OCR 인식 및 데이터 분석을 통하여 다국어 기계번역 모델을 통한 콘텐츠 생성: 자동화된 다국어 콘텐츠 생성
■ 한국어-외국어가 병기된 데이터의 음성 인식 모델 처리시스템을 통한 다국어 음성 인식 및 처리시스템 개발
■ 전 국민을 대상으로 한 외국어 학습 디지털 교육 프로그램 개발
■ 한국어-외국어 병기 이미지 인식데이터 구축으로 국내는 물론, 외국인을 대상으로 한 여행 관광 분야 번역 챗봇 서비스 개발- 실제 개발중인 서비스
- 여행 관광 분야 다중언어 챗봇 서비스
다국어가 포함된 이미지 업로드 후 OCR 기술을 이용하여 텍스트를 인식하고, 관련 내용에 대하여 질문 및 답변 진행
[그림] 서비스 활용 예시-다국어 OCR 기술을 이용한 챗봇 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
데이터 구성 Key Description type Child Type identifier 데이터셋 식별자 string section 카테고리 string url 제작자 url string type 데이터셋 타입 string year 데이터셋 제작연도 number name 데이터셋 이름 string src_path 원천데이터 폴더 위치 string label_path 라벨링데이터 폴더위치 string language_type 언어 타입 string group 주제 분류 string small_group 소주제 분류 number file_name 이미지데이터 식별자 string created_day 이미지데이터 생성일자 string extension 이미지파일 확장자 string width 이미지 가로크기(픽셀) number height 이미지 세로크기(픽셀) number location 이미지 수집 위치(GPS) string device_type 이미지 수집 장비 string source 이미지 출처 number condition_site 촬영 대상 이미지의 공간 number condition_weather 촬영 당시 날씨 number condition_indoor 촬영 이미지 조명 조건 number condition_material 메뉴판 재질 number condition_color 교통표지판 색상 number object_recognition 개체 인식 유형 number text_language 라벨링텍스트 언어 유형 string text_direction 텍스트 방향 number text_identifier 라벨링텍스트 식별자 number text 라벨링텍스트 string polygon_points 폴리곤 포인트 number - 어노테이션 포맷
어노테이션 포맷 속성명 항목 Type 필수여부 비고 info identifier 데이터셋 식별자 string 필수 section 카테고리 string 필수 url 제작자 url string 선택 type 데이터셋 타입 string 필수 year 데이터셋 제작연도 number 필수 categories name 데이터셋 이름 string 필수 src_path 원천데이터 폴더 위치 string 필수 label_path 라벨링데이터 폴더위치 string 필수 language_type 언어 타입 string 필수 group 주제 분류 string 필수 small_group 소주제 분류 number 필수 images file_name 이미지데이터 식별자 string 필수 created_day 이미지데이터 생성일자 string 선택 extension 이미지파일 확장자 string 필수 width 이미지 가로크기(픽셀) number 필수 height 이미지 세로크기(픽셀) number 필수 location 이미지 수집 위치(GPS) string 선택 device_type 이미지 수집 장비 string 선택 source 이미지 출처 number 필수 condition_site 촬영 대상 이미지의 공간 number 선택 condition_weather 촬영 당시 날씨 number 선택 condition_indoor 촬영 이미지 조명 조건 number 선택 condition_material 메뉴판 재질 number 선택 condition_color 교통표지판 색상 number 선택 annotation object_recognition 개체 인식 유형 number 필수 text_language 라벨링텍스트 언어 유형 string 필수 text_direction 텍스트 방향 number 필수 text_identifier 라벨링텍스트 식별자 number 필수 text 라벨링텍스트 string 필수 polygon_points 폴리곤 포인트 number 필수 - 데이터 포맷
- 원시데이터 특성데이터 포맷 - 원시데이터 특성 종류 내용 자료형태 디지털 이미지 원본형태 이미지(디지털파일) 원본제작유형 크라우드워커가 직접 촬영한 실제 생활 환경에서 수집된 다국어 병기 이미지 데이터 제공기관에서 저작권을 보유하고 있는 동영상 콘텐츠의 번역자막 스틸컷 이미지 원본제작시기 2023 자료분류 외국어와 병기된 다국어(영어,중국어,일본어) 데이터 파일포맷 jpeg/png 이미지해상도 HD급(1280*720) 이미지색상 컬러 규모 400,864건 중요성 국내 일상생활에서 많은 부분을 차지하고 있는 한국어-외국어가 병기된 데이터의 OCR 기술 개발을 위한 AI 학습용 데이터 구축을 통하여 다중언어 OCR 산업 활성화 법률문제 개인(민감)정보 보호, 저작권, 초상권 등 예시이미지 
OCR_KE_P5_00019
- JSON 형식
JSON 형식 { "info": {
"identifier": "다중언어OCR",
"section": "OCR",
"url": "http://ishowtech.co.kr",
"type": "Image",
"year": 2023
},
"categories": {
"name": "OCR_KE_PB_000192",
"src_path": "\\OCR\\KE\\PB",
"label_path": "\\OCR\\KE\\PB",
"language_type": "KE",
"group": "PB",
"small_group": 5
},
"Images": {
"file_name": "OCR_KE_P5_000192.jpeg",
"created_day": "2023.08.22.",
"extension": "jpeg",
"width": 4032,
"height": 2268,
"location": "36.246254, 127.6194078",
"device_type": "iPhone 14 Pro Max",
"source": 1,
"condition_site": 2,
"condition_weather": 1,
"condition_indoor": null,
"condition_material": null,
"condition_color": null
},
"Annotation": [
{
"object_recognition": 2,
"text_language": "K",
"text_direction": 1,
"text_identifier": 1,
"text": "권광로134번길",
"polygon_points": [[834.000,903.000],[2385.509,880.897],[2397.573,1142.280],[813.190,1150.322]]
}
이하생략- 실제예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜쇼우테크
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 황강연 이사 070-4454-2476 [email protected] 데이터셋 구축 총괄관리, 데이터 정제, 데이터 가공, 데이터 1차 검수/교정, 데이터 2차 검수 / 교정, 데이터 최종 품질 검수, 활용서비스 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 안동대학교 산학협력단 데이터셋 구축, 데이터 수집, 데이터 가공, 데이터 1차 검수/교정, 데이터 2차 검수/교정, 데이터 최종 품질 검수 ㈜엔에이치엔다이퀘스트 데이터 품질관리 포항공과대학교 산학협력단 AI모델(개발, 학습) 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 황강연 070-4454-2476 [email protected] 조지영 070-4454-2476 [email protected] AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 김경선 02-3470-4306 [email protected] 황도경 054-279-5663 [email protected] 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 황강연 070-4454-2476 [email protected] 조지영 070-4454-2476 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.