-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-06 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-15 산출물 전체 공개 소개
곤충 스마트팜에 적용할 수 있는 누에 4종(백견, 황견, 나용, 삼면잠)과 쌍별귀뚜라미의 RGB 이미지 데이터와 열화상 이미지 데이터로, 알부터 성충까지 생애 주기를 일정 시간 간격으로 촬영하여 AI가 학습할 수 있는 형태로 가공함
구축목적
- AI를 활용한 곤충산업 스마트화 - AI 기술개발에 필수적인 AI 공공데이터를 제공하여 민간의 AI 기술발전에 기초가 되며, 이에 따라 자생적인 데이터 확장 및 선순환 생태계 조성을 도움
-
메타데이터 구조표 데이터 영역 농축수산 데이터 유형 텍스트 , 이미지 데이터 형식 png 데이터 출처 자체 수집 라벨링 유형 세그멘테이션 라벨링 형식 json 데이터 활용 서비스 1) 곤충 탐지 모델 2) 곤충 생장 기간 예측 모델 데이터 구축년도/
데이터 구축량2022년/700,000건 -
1. 데이터 구축 규모
1. 데이터 구축 규모 이미지 구분 종류 획득 규모 목적 확보방안 이미지 곤충 RGB 이미지 누에 - 백견 알 10,000장 곤충 길이, 생장 모델 분석 카메라 상시 저장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 누에 - 황견 알 10,000장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 누에 - 나용 알 10,000장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 누에 - 삼면잠 알 10,000장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 쌍별귀뚜라미 알 5,000장 약충 25,000장 성충 28,000장 감염 곤충 8,000장 소계 350,000장 곤충 열화상 이미지 누에 - 백견 알 10,000장 곤충 길이, 생장 모델 분석 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 누에 - 황견 알 10,000장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 누에 - 나용 알 10,000장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 누에 - 삼면잠 알 10,000장 애벌레 40,500장 번데기 10,000장 감염 곤충 10,500장 쌍별귀뚜라미 알 5,000장 약충 25,000장 성충 28,000장 감염 곤충 8,000장 소계 350,000장 정상곤충 이미지 데이터 합계 600,000장 감염곤충 이미지 데이터 합계 100,000장 1. 데이터 구축 규모 환경 데이터 구분 종류 획득 규모 목적 확보방안 환경 데이터 누에 사육장 실내 환경 정보 온도 350,000건 사육환경분석 센서 상시저장 습도 CO2 농도 NH3 농도 O2 농도 조도 HD 농도 누에사육장 외부환경 정보 온도 습도 풍속 강우 귀뚜라미사육장 실내 환경 정보 온도 습도 CO2 농도 NH3 농도 O2 농도 조도 HD 농도 귀뚜라미사육장 외부환경 정보 온도 습도 풍속 강우 센서데이터 합계 350,000건 1. 데이터 구축 규모 이벤트 데이터 구분 종류 단위 확보방안 이벤트 데이터 먹이 급이량 mg 이벤트 발생시 수집 어플을 이용하여 기록 총사료무게 mg 먹이 종류 구분 뽕잎 사료 작업정보 - 곤충 단계별 생장길이 mm 단백질 함유량 g 질병 정보 - 죽은 개체 수량 마리 생산량 g/상자당 탈피정보 - 곤충 두폭 mm 색택 - 분비물 - 활동량(움직임) mm/s ℃ 체온 곤충 무게 정보 g 개체수 마리 사육실 환경제어 정보(냉난방기 조작정보) 사육실 환경제어 정보(조명 노출시간) 이벤트 데이터 합계(최소) 5,064건 이상 2. 데이터 분포
2. 데이터 분포 구분 획득규모 비율 비고 곤충
RGB 이미지누에-백견 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 누에-황견 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 누에-나용 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 누에-삼면잠 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 쌍별귀뚜라미 알 5,000 1.43% 약충 25,000 7.14% 성충 28,000 8.00% 감염 곤충 8,000 2.29% 소계 350,000 곤충
열화상 이미지누에-백견 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 누에-황견 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 누에-나용 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 누에-삼면잠 알 10,000 2.86% 애벌레 40,500 11.57% 번데기 10,000 2.86% 감염 곤충 10,500 3.00% 쌍별귀뚜라미 알 5,000 1.43% 약충 25,000 7.14% 성충 28,000 8.00% 감염 곤충 8,000 2.29% 소계 350,000 이미지 데이터 합계 700,000 
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. 모델 학습
1) RGB 데이터
Instance Segmentation의 곤충 객체 탐지를 위하여 Mask-Rcnn 알고리즘에 학습을 진행하며, 검증용 데이터 세트와 시험용 데이터 세트를 전체 데이터 세트의 10%로 제시함. 본 사업에서는 이미지 데이터 세트를 35만 장 이상 구축하므로 최소 검증과 시험을 모두 각 3만 5천 장 이상으로 통일하여 준비하는 것을 제안함1. 모델 학습 1) RGB 데이터 학습 검증 시험 개요 - Mask-Rcnn 기반학습
- 로컬 학습 서버 활용- 학습 도중 모델 성과 평가 및 비교
- mAP 점수 등- 모델 학습 완료 후
- 모델 테스트데이터 비율 80% 10% 10% 2) 열화상 데이터
RGB 데이터와 어노테이션을 동기화하여 곤충 객체 부분 열화상 픽셀값으로 객체의 온도값을 산출함. 검증용 데이터 세트와 시험용 데이터 세트를 전체 데이터 세트의 10%로 제시함. 본 사업에서는 이미지 데이터 세트를 35만 장 이상 구축하므로 최소 검증과 시험을 모두 각 3만 5천 장 이상으로 통일하여 준비하는 것을 제안함1. 모델 학습 2) 열화상 데이터 학습 검증 시험 개요 - RandomForest 기반학습
- 로컬 학습 서버 활용- 학습 도중 모델 성과 평가 및 비교
- MAE 점수 등- 모델 학습 완료 후
- 모델 테스트데이터 비율 80% 10% 10% 3) 환경 데이터
RGB 데이터 및 열화상 데이터 촬영 시점의 사육 환경 센싱 데이터. 검증용 데이터 세트와 시험용 데이터 세트를 전체 데이터 세트의 10%로 제시함. 본 사업에서는 이미지 데이터 세트를 35만 장 이상 구축하므로 최소 검증과 시험을 모두 각 3만 5천 장 이상으로 통일하여 준비하는 것을 제안함1. 모델 학습 3) 환경 데이터 학습 검증 시험 개요 - RandomForest 기반학습
- 로컬 학습 서버 활용- 학습 도중 모델 성과 평가 및 비교
- MAE 점수 등- 모델 학습 완료 후
- 모델 테스트데이터 비율 80% 10% 10% 2. 서비스 활용 시나리오
- AI 데이터를 활용한 곤충 질병 예측 서비스
▲ 빅데이터를 활용한 질병 예측 프로세스
- 생육 모델 DB 구축 운영
- 곤충 스마트 팩토리 팜 구축
- 유통망 연계모델 구축
▲ 곤충 스마트팜 유통망 연계모델 구축
3. 기타정보
1) 독립성
2021년 NIA 지능형 곤충 사육 데이터에서 구축한 데이터와 중복되지 않도록 직접 촬영하여 구축2) 대표성
직접 사육한 누에 4종(백견, 황견, 삼면잠, 나용)으로부터 생장 주기별 곤충과 감염 곤충의 RGB 데이터, 열화상 데이터, 그리고 환경 데이터를 포함함 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 곤충 성장단계 탐지 및 분류 모델 (누에 백견) Object Detection Detectron2 mAP 80 % 95.32 % 2 곤충 성장단계 탐지 및 분류 모델 (누에 황견) Object Detection Detectron2 mAP 80 % 96.32 % 3 곤충 성장단계 탐지 및 분류 모델 (누에 나용) Object Detection Detectron2 mAP 80 % 97.32 % 4 곤충 성장단계 탐지 및 분류 모델 (누에 삼면잠) Object Detection Detectron2 mAP 80 % 98.32 % 5 곤충 성장단계 탐지 및 분류 모델 (쌍별귀뚜라미) Object Detection Detectron2 mAP 80 % 91.6 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 설명
■ 최근 첨단소재 및 사료 원료 등으로 주목받는 곤충을 사육하는 데 사육 환경에 매우 민감한 특징을 가지고 있어 질병이 발생할 가능성이 크며, 이에 따라 집단 폐사의 위험이 있으므로 최적의 환경을 조성해야 할 필요가 있음
■ 사육 환경 조성을 비롯하여 곤충을 생산하기까지 많은 인력과 시간이 소모되므로, 이를 해결하기 위해서는 사육 환경 제어 자동화 시스템이 필요함
■ 해당 시스템을 구성하기 위하여 곤충 및 감염 곤충의 사육 원시 데이터 및 관리 데이터(센서, 이벤트)를 획득하여 AI 기술개발에 필수적인 학습용 데이터로 가공하여 공공데이터로 제공함
■ 민간에서 AI 기술이 발전함에 따라 자생적으로 데이터를 확장, 개방하는 선순환 생태계 조성을 기대함2. 어노테이션 포맷
2. 어노테이션 포맷 구분 속성명 타입 필수 설명 범위 여부 1 Meta object 1-1 filename string Y 이미지 파일명 1-2 id string Y 이미지 ID “1”~“700000” 1-3 data_gettime string Y 데이터 취득일시 YYYY.MM.DD. HH:mm:ss 1-4 file_format string Y 이미지 포맷 “png” 1-5 Imgsize string Y 이미지 크기 “0”~“999999” 1-6 device string Y 장비 정보 “RGB_CAM”, “Thermal_CAM” 1-7 farm_nm string Y 이미지 촬영 장소 유형 “강원도농산물원종장”, “경남농업기술연구원”, “군산서수농장” 1-8 images_location string Y 이미지 촬영 박스 “1번”~“10번” 1-9 copyright string Y 저작권 정보 “FOODYWORM” 1-10 width string Y 이미지 가로 “1920”~“9600” 1-11 height string Y 이미지 세로 “1080”~“5400” 1-12 resolution string Y 이미지 해상도 “FHD” 1-13 bit string Y 이미지 비트 “0” ~ “128” 1-14 crop_nm string Y 곤충명 "쌍별귀뚜라미","누에_황견", "누에_백견","누에_삼면잠","누에_나용" 2 Annotations object Y 어노테이션 정보 2-1 size string Y 이미지 크기 2-2 filename string Y 이미지 파일명 2-3 annotations object Y 어노테이션 2-3-1 segmentation object Y 어노테이션 정보 2-3-1-1 all_points_x array Y x 좌푯값 0~9600 2-3-1-2 all_points_y array Y y 좌푯값 0~9600 2-3-2 area number Y 세그먼테이션 면적 2-3-3 category string Y 클래스 "silkworm_white_egg", "silkworm_white_larva", "silkworm_white_pupa", "silkworm_white_infected", "silkworm_yellow_egg", "silkworm_yellow_larva", "silkworm_yellow_pupa", "silkworm_yellow_infected", "silkworm_freepupa_egg", "silkworm_freepupa_larva", "silkworm_freepupa_pupa", "silkworm_freepupa_infected", "silkworm_threeMolter_egg", "silkworm_threeMolter_larva", "silkworm_threeMolter_pupa", "silkworm_threeMolter_infected", "gryllusBimaculatus_egg", "gryllusBimaculatus_nymph", "gryllusBimaculatus_imago", "gryllusBimaculatus_infected" 3 Environmental_data object Y 환경 정보 3-1 Breeding Room Indoor string Y 사육장 내부 장소 이름 "쌍별귀뚜라미 박스", "쌍별귀뚜라미 박스2", "누에계통1사육박스", "누에계통2사육박스", "누에계통3사육박스", "누에계통4사육박스", "누에계통1사육박스2", 누에계통2사육박스2", "누에계통3사육박스2", "누에계통4사육박스2" 3-2 Breeding Room Indoor Temperature string Y 사육장 내부 온도 "0"~"100" 3-3 Breeding Room Indoor Humidity string Y 사육장 내부 습도 "0"~"100" 3-4 Breeding Room Indoor Co2 string Y 사육장 내부 CO2 "0"~"10000" 3-5 Breeding Room Indoor Ammonia string Y 사육장 내부 NH3 "0"~"10000" 3-6 Breeding Room Indoor Oxygen string Y 사육장 내부 O2 "0"~"5000" 3-7 Breeding Room Indoor Light string Y 사육장 내부 조도 "0"~"200" 3-8 Breeding Room Indoor Moisture Quantity string Y 사육장 내부 HD "","0"~"10" 3-9 Breeding Room External string Y 사육장 외부 장소 이름 “강원도농산물원종장”, “경남농업기술연구원”, “군산서수농장” 3-10 Breeding Room External Temperature string Y 사육장 외부 온도 "0"~"100" 3-11 Breeding Room External Humidity string Y 사육장 외부 습도 "0"~"100" 3-12 Breeding Room External Air Velocity string Y 사육장 외부 풍속 "0"~"20" 3-13 Breeding Room External Rain string Y 사육장 외부 강우 "유", "무" 3-14 Breeding Room External Moisture Quantity string Y 사육장 외부 HD "","0"~"10" 3-15 Insect Breeding Box Temperature string Y 사육함 온도 "0"~"100" 3-16 Insect Breeding Box Humidity string Y 사육함 습도 "0"~"100" 3-17 Insect Breeding Box Co2 string Y 사육함 CO2 "0"~"10000" 3-18 Insect Breeding Box Illumination Intensity string Y 사육함 조도 "0"~"200" 3-19 Insect Breeding Box Moisture Quantity string Y 사육함 HD "","0"~"10" 3. 실제 예시
3. 실제 예시 구분 데이터 속성 Meta_data
"Meta": {
"filename": "20220825180108_경상남도농업기술원_쌍별귀뚜라미_약충_RGB.png",
"id": "220412",
"data_gettime": "20220825180108",
"file_format": "png",
"imgsize": "5115979",
"device": "RGB CAM",
"farm_name": "경상남도농업기술원",
"images_location": "1번",
"copyright": "FOODYWORM",
"width": "3840",
"height": "2160",
"resolution": "FHD",
"bit": "24",
"crop_nm": "쌍별귀뚜라미"
}Annotations "Annotations": {
"size": 7600891,
"filename": "20220825180108_경상남도농업기술원_쌍별귀뚜라미_약충_RGB.png",
"annotations":
[
{
"segmentation":
[
[
1022,
455,
1075,
462,
]
],
"area":10502,
"image_id":220412,
"category":"gryllusBimaculatus_imago"
}Environment "ENVIRONMENT": {
"Breeding Room Indoor“: "쌍별귀뚜라미 박스",
"Breeding Room Indoor Temperature": "28.2",
"Breeding Room Indoor Humidity": "48.88",
"Breeding Room Indoor Co2": "767",
"Breeding Room Indoor Ammonia": "0",
"Breeding Room Indoor Oxygen": "20.9",
"Breeding Room Indoor Light": "3",
"Breeding Room Indoor Moisture Quantity": "10",
"Breeding Room External": "경상남도농업기술원",
"Breeding Room External Temperature": "27.7",
"Breeding Room External Humidity": "70.6",
"Breeding Room External Air Velocity": "1",
"Breeding Room External Rain": "무",
"Breeding Room External Moisture Quantity": "",
} -
데이터셋 구축 담당자
수행기관(주관) : 농업회사법인 푸디웜㈜
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 이유석 043-716-0282 [email protected] 사업관리 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 강원도농산물원종장 데이터 수집 경상남도농업기술원 데이터 수집 (사)글로벌여성ICT네트워크 데이터 가공 서우엠에스㈜ 데이터 수집, 데이터 정제 ㈜아와소프트 데이터 검수, AI 모델 구축 (재)전주정보문화산업진흥원 데이터 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 이유석 043-716-0282 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.