AI-Hub

데이터 변경이력

데이터 히스토리

소개

• 국립농업과학원, 한국원자력연구원, 한국과학기술연구원이 기 확보하고 있는 ‘Plant-to-Sensor’ (컨베이어로 화분이 영상 데이터 획득용 챔버로 이동하고, 다각도 RGB, LiDAR, 열화상, 초분광, 엽록소형광 데이터 획득) 타입과 ‘Sensor-to-Plant’ (화분 및 육묘트레이는 고정되어 있고, XYZ 스테이지를 통해 카메라 모듈이 이동하여 RGB 영상 데이터 획득) 타입의 피노타이핑 인프라를 활용하여, 벼, 밀, 콩, 상추, 배추 육종에 적용될 수 있는 주요 표현형(농업 형질) 영상 데이터 획득 및 획득 체계 확립
- 벼, 콩, 밀 다각도 RGB 이미지 600,000장 구축
- 밀, 콩 다각도 LiDAR 데이터 140,000장 구축
- 배추, 상추 품종/유전자원 구분 및 생중량 예측용 RGB 데이터 30,000장 구축
- 엽록소 형광(상추), 초분광(밀), 열화상(콩) 데이터 20,000 장 구축

구축목적

• 구축된 인공지능 학습용 데이터를 활용하여 주요 작물(벼, 밀, 콩)의 표현형(농업 형질인 초장, 폭, 꽃, 과실) detection 인공지능 모델, 작물(배추, 상추)의 품종 구분 classification 인공지능 모델, 열화상(콩), 엽록소형광(상추), 초분광(밀) 영상에서 관심 부위 지표 추출을 위한 기준 부위 detection 인공지능 모델을 개발하고 이를 검증

1. 구축 데이터 규모

2. 구축 데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 모델 학습

• 이미지 바운딩박스 객체 인식 : 객체 탐지 알고리즘 중에서 YOLO 계열의 YOLOv5를 사용하여 학습 모델 설계
  • AI 학습 중에서 image classification 은 주어진 이미지를 학습한 Class들 중 하나로 분류하는 학습으로 이미지에 하나의 객체가 있을 때 이 객체가 학습한 Class 중 어떠한 Class에 속하는지를 분류하기 위함
  • 딥러닝 기반 방식은 Feature Extractor와 Classifier가 분리되어 있는 기존 전통적인 머신 러닝 방법과는 달리 Feature Extractor, 즉 이미지의 특징(feature)을 뽑아내는 것과 Feature들을 통해 어떠한 class에 속하는지 분류하는 Classifier(분류기)를 학습하는 것이 통합되어 있어 한꺼번에(end-to-end) 학습이 가능
  • 이미지 내 특정 영역을 Detection한 후, cropping하여 그 부분이 어떠한 클래스에 속하는지 판단하는 용도로 생육 측정에 활용될 수 있음. 즉, Multi-Class Object Detection을 할 때 학습할 데이터가 부족한 경우, Multi-Class Object Detection Network 대신, One Class Object Detection + Classification의 2-Stage Approach로 활용
    • IoU ≧ 0.5 으로 그린 Precision-Recall Curve 아래 면적 AP를 11보간법으로 계산한 클래스 평균값
      
      
  • 본 과제에 사용된 YOLOv5 는 2020년에 발표된 구현으로 PyTorch 프레임웍 기반으로 개발되어서 최근에 사용되는 알고리즘.
  • YOLOv5 특징
    • v4에 비해 낮은 요량과 빠른 속도
    • YOLOv4와 같은 CSPNet 기반의 backbone 사용
    • PyTorch 기반으로 구현하여 darknet 기반의 이전 YOLO 버전과 다름 
    • YOLOv4에 비해 더 쉽게 학습 환경을 구성할 수 있고 더 빠른 학습 속도 제공
  • YOLOv5를 사용한 바운딩박스 객체인식은 이미지 유형 중에서 수중객체(type01) 이미지와 채집함(type02) 이미지에 대하여 사용함.

2. 서비스 활용 시나리오

데이터 성능 점수

설명서 및 활용가이드 다운로드

구축 데이터 정의

1. 데이터 포맷 정의

• 다각도 RGB 데이터 
  • 원시데이터 포맷
    • 획득단계의 원시데이터는 영상데이터로 PNG 또는 JPG파일 형식으로 저장
    • 각 원시데이터는 2백만 화소 이상의 해상도로 촬영
    • 국립농업과학원: 하나의 식물체를 18도씩 회전시켜 총 20개의 원시데이터를 획득
    • KAERI, KIST: 하나의 식물체를 카메라 로봇팔이 10도 또는 36도 간격으로 회전하여 총 10개 또는 36개의 원시데이터를 획득
  • 라벨링데이터 포맷
    • 라벨링 데이터는 JSON 형식으로 저장, 원시데이터에 대한 이미지 정보와 일치되게 포함
• 다각도 LiDAR 데이터 
  • 원시데이터 포맷
    • 획득단계의 RGB 원시데이터는 영상데이터로 JPG파일 형식으로 저장
    • 획득단계의 Depth 원시데이터는 카메라에서 식물체의 위치별 거리 데이터를 기반으로 csv파일, JPG 또는 PNG 파일 저장
    • 각 원시데이터는 1280X720 해상도로 촬영
    • 식물체를 중심축으로 카메라를 회전하여 LiDAR, RGB 원시데이터를 획득
  • 라벨링데이터 포맷
    • 라벨링 데이터는 JSON 형식으로 저장, 원시데이터에 대한 이미지 정보와 일치되게 포함
• 분광(열화상, 엽록소형광, 초분광) 데이터 (KIST)
  • 원시데이터 포맷
    • 열화상: 이미지파일 JPG 또는 PNG(640x480), 텍스트파일 CSV파일 형식으로 저장
    • 엽록소형광: 이미지파일 PNG 또는 JPG, 텍스트파일 CSV파일 형식으로 저장
    • 초분광: 3D cube 형태의 his 파일과 파장정보를 가진 hdr 파일에서 변환된 RGB파일(PNG 또는 JPEG)로 저장(라벨링 시 컨버팅된 이미지를 이용)
  • 라벨링데이터 포맷
    • 라벨링 데이터는 JSON, XML, NPY 형식으로 저장, 원시데이터에 대한 이미지 정보와 일치되게 포함

2. 데이터 속성 정의

• 다각도 RGB 데이터

  2. 데이터 속성 정의 다각도 RGB 데이터

  No	속성명	속성 설명	Type	필수여부	작성예시
  1	Collector and system	수집기관 및 수집 시스템 식별 정보	string	필수	KIST_XYZ
  2	Plant pot ID Tag	식물체 고유번호 및 실험체 이름	string	필수	A_02_04
  3	Snapshot Time Stamp	이미지 획득 날짜, 시간	string	필수	2020-03-21 14:38
  4	File Format	파일 형식(포맷)	string		JPG, PNG
  5	Image Size	이미지 파일 크기	string		5MB
  6	Writer Label	"촬영카메라_촬영각도"	string	필수	VIS_SV0
  7	Width, Height	이미지 사이즈	string		1024x1024
  8	Aspect ratio	비율(종횡비)	string		4:03

• 다각도 LiDAR 데이터 

  2.데이터 속성 정의 다각도 LiDAR 데이터

  No	속성명	속성 설명	Type	필수여부	작성예시
  1	Collector and system	수집기관 및 수집 시스템 식별 정보		필수	KIST_XYZ
  2	Plant pot ID Tag	식물체 고유번호 및 실험체 이름	string	필수	A_02_04
  3	Snapshot Time Stamp	이미지 획득 시간	string	필수	2020-03-21 14:38
  4	File Format	파일 형식(포맷)			JPG 또는 PNG(2개), CSV(1개)
  5	Image Size	이미지 파일 크기			JPG 또는 PNG(2개) : 2MB 이내 CSV(1개) : 5MB 이내
  6	Writer Label	"촬영카메라_촬영각도"	string	필수	DEP_SV0
  7	Width, Height	이미지 사이즈			1280x720
  8	Aspect ratio	비율(종횡비)			16:09

• 분광(열화상, 엽록소형광, 초분광) 데이터

  2. 데이터 속성 정의 분광(열화상, 엽록소형광, 초분광)

  No	속성명	속성 설명	Type	필수여부	작성예시
  1	Collector and system	수집기관 및 수집 시스템 식별 정보		필수	KIST_XYZ
  2	Plant pot ID Tag	식물체 고유번호 및 실험체 이름	string	필수	A_02_04
  3	Snapshot Time Stamp	이미지 획득 시간	string	필수	2020-03-21 14:38
  4	File Format	파일 형식(포맷)			JPG 또는 PNG(2개), CSV(1개)
  5	Image Size	이미지 파일 크기			JPG 또는 PNG(2개) : 각 1MB이내 및 2MB 이내 CSV(1개) : 100MB 이내
  6	Writer Label	"촬영카메라_촬영각도"	string	열화상 필수, 엽록소형광 및 초분광 해당없음	DEP_SV0
  7	Width, Height	이미지 사이즈			1280x720
  8	Aspect ratio	비율(종횡비)			16:09

3. 특성 분류 정의

• 다각도 RGB 데이터
  • 라벨링 작업 대상 및 범위, 클래스 분류 기준

    3. 특성 분류 정의 다각도 RGB 데이터 라벨링 작업 대상 및 범위, 클래스 분류 기준

    라벨링 작업 대상 작물	작업 정의	작업 범위	클래스 분류 기준
    벼	벼의 다각도 이미지 상 키, 폭, 주요 기관(출수 등) 부위를 복수로 바운딩 박스 표시하고, 규정된 class 분류 기준에 따라 라벨링	5개 생육단계 동안 수집되는 다각도 이미지 별로, 기부, 출수, 이삭에 대한 복수 바운딩 박스 및 class 라벨링 수행	기부 부분 바운딩 박스를 class 1, 최상단 위치 박스를 class 2, 최우측 위치 박스를 class 3, 최좌측 위치 박스를 class 4로, 출수는 class 5, 이삭은 class 6으로 라벨링
    콩	콩의 다각도 이미지 상 키, 폭, 주요 기관(꽃, 꼬투리 등) 부위를 복수로 바운딩 박스 표시하고, 규정된 class 분류 기준에 따라 라벨링	5개 생육단계 동안 수집되는 다각도 이미지 별로, 기부, 최고 및 최좌-우측 식물체 부위, 꽃, 꼬투리에 대한 복수 바운딩 박스 및 class 라벨링 수행	기부 부분 바운딩 박스를 class 1, 최상단 위치박스를 class 2, 최우측 위치 박스를 class 3, 최좌측 위치 박스를 class 4로, 꽃은 class 5, 꼬투리는 class 6으로 라벨링
    밀	밀의 다각도 이미지 상 키, 폭, 주요 기관(꽃 등) 부위를 복수로 바운딩 박스 표시하고, 규정된 class 분류 기준에 따라 라벨링	5개 생육단계 동안 수집되는 다각도 이미지 별로, 기부, 최고 및 최좌-우측 식물체 부위, 꽃, 꼬투리에 대한 복수 바운딩 박스 및 class 라벨링 수행	기부 부분 바운딩 박스를 class 1, 최상단 위치 박스를 class 2, 최우측 위치 박스를 class 3, 최좌측 위치 박스를 class 4로, 출수는 class 5, 이삭은 class 6으로 라벨링

• 다각도 LiDAR 데이터
  • 라벨링 작업 대상 및 범위, 클래스 분류 기준

    3. 특성 분류 정의 다각도 LiDAR 데이터 라벨링 작업 대상 및 범위, 클래스 분류 기준

    라벨링 작업 대상 작물	작업 정의	작업 범위	클래스 분류 기준
    밀	인텔 리얼센스(L515)에서 수집되는(전처리 가공된) 밀 다각도 이미지별로 식물체의 외곽영역과 회전축 영역에 대한 라벨링	5개 생육단계 동안 수집되는 다각도 이미지 별로, 식물체의 외곽영역과 회전축 영역을 박스 라벨링	클래스 2종 (식물체 외곽영역, 회전중심축 영역)
    콩	인텔 리얼센스(L515)에서 수집되는(전처리 가공된) 콩의 다각도 이미지별로 식물체의 외곽영역과 회전축 영역에 대한 라벨링	5개 생육단계 동안 수집되는 다각도 이미지 별로, 식물체의 외곽영역과 회전축 영역을 박스 라벨링	클래스 2종 (식물체 외곽영역, 회전중심축 영역)

• 분광(열화상, 엽록소형광, 초분광) 데이터
  • 라벨링 작업 대상 및 범위, 클래스 분류 기준

    3. 특성 분류 정의 분광(열화상, 엽록소형광, 초분광) 데이터 라벨링 작업 대상 및 범위, 클래스 분류 기준

    라벨링 작업 대상 작물	작업 정의	작업 범위	클래스 분류 기준
    상추	- 엽록소형광 챔버에서 수집되는 상추 Top view RGB 이미지 상 식물체 영역 부위를 폴리곤으로 라벨링	- 5개 생육단계 동안 수집되는 Top view 이미지 별로, 식물 영역 전체를 폴리곤으로 라벨링	클래스 해당없음
    밀	- 초분광 챔버에서 수집되는 밀 Top view RGB 이미지(3D cube his 파일을 PNG 또는 JPEG으로 변환한) 상 식물체 부분을 바운딩박스로 라벨링	- 5개 생육단계 동안 수집되는 밀 Top view 이미지 별로 식물체 영역 전체를 폴리곤으로 라벨링	- 클래스 해당없음
    콩	- KIST 피노타이핑 챔버(회전식 로봇팔) 열화상카메라(COX650)를 통해 수집되는 다각도 콩 다각도 열화상 이미지 상 식물 잎 부위를 복수 바운딩박스로 라벨링	- 5개 생육단계 동안 수집되는 콩 다각도 열화상 이미지 별로 콩 잎 부위를 복수 바운딩 박스로 라벨링	클래스 해당 없음

4. 라벨링 및 어노테이션 구조 정의

• 라벨링 데이터의 어노테이션 구조 (RGB, LiDAR, 분광 공통)

  4. 라벨링 및 어노테이션 구조 정의 라벨링 데이터의 어노테이션 구조 (RGB, LiDAR, 분광 공통)

  항목			설명
  ID			이미지 파일 고유 ID
  filename			이미지 파일명,
  			예) Bean_001_1_V0_2021-05-01.jpg
  size			이미지 파일 크기
  regions	shape	name	어노테이션 형태, box labeling
  		points	어노테이션 포인트 좌표, 예) (x,y)
  	region_attributes	annotation_kr	한글 기반의 어노테이션 데이터
  			: 외곽, 중심축
  		annotation_en	영어 기반의 어노테이션 데이터
  			: outer, axis
  file_attributes	datasource		수집 출처, RealSense
  	image_resolution		이미지 해상도, 1280x720
  	title		작물명, 예) Oryza sativa L
  	part		작물 부위, 예) leaf
  	date		영상 촬영 일자, 예) 2021-06-01

  • 데이터 라벨링 / 어노테이션 방법

    4. 라벨링 및 어노테이션 구조 정의 데이터 라벨링 / 어노테이션 방법

    어노테이션 작업	어노테이션 방법
    다각도 RGB 이미지 데이터	키, 폭 부분은 최상위(바운딩박스), 화분흙에서 식물이 시작되는 기부 부분(바운딩박스), 최 우측(포인트), 최 좌측(포인트) 부분의 좌표 값을 해당되는 클래스로 라벨링 꽃, 열매 부분을 바운딩 박스를 치고 해당되는 클래스로 라벨링
    분광 (초분광, 엽록소분광, 열화상) 이미지 데이터	엽록소 형광 이미지의 광합성이 활발한 성엽, 육묘 트레이에서 취득된 개별 식물 부분 등 복잡한 구조의 특정 부위 detection을 위해서는 전문가가 해당되는 부위를 폴리곤으로 annotation 열화상 카메라를 통해 측면에서 취득된 IR 이미지 상 배추 잎 부분 detection 용 딥러닝 알고리즘 개발을 위해 개별 잎 부분을 바운딩박스로 어노테이션 열화상 카메라를 통해 측면에서 취득된 IR 이미지 상 콩 잎 부분 detection용 딥러닝 알고리즘 개발을 위해 개별 잎 부분을 바운딩박스로 어노테이션 엽록소 형광장치를 이용해 Top-view로 취득된 엽록소형광이미지의 식물 부분의 세그멘테이션을 위한 식물 부분 detection용 딥러닝 알고리즘 개발을 위해 개별 식물 부분을 바운딩박스로 어노테이션 초분광영상 촬영 후 바운딩 박스 및 필터별로 어노테이션
    TopView RGB 이미지데이터	- 전체 이미지에서 식물 부분을 바운딩 박스를 치고 해당되는 클래스로 라벨링
    LiDAR, LiDAR 영상에서 이미지 검출 (Object detection)	Annotation은 Open source를 활용하여 KIST에서 만든 2D annotation 툴을 이용 (LiDAR Depth 영상과 동일 화각으로 생성된 2D RGB 영상 적용) Labeling class는 2개 존재 1. 식물 최외곽 영역에 맞닿은 Box 영역 2. 회전 축 (폭이 좁은 Box Labeling 실시) LiDAR 데이터에 정합된 2D-RGB 영상을 이용하여 사람이 식물의 최외곽 영역을 Box Labeling 진행 또한 회전축 위치를 찾아 수직방향의 폭이 좁은 Box Labeling을 수행

5. 어노테이션 포맷
[바운딩박스 어노테이션 JSON 포맷]

6. 샘플 데이터

6. 샘플 데이터

어노테이션 작업	어노테이션 예시
다각도 RGB 이미지 데이터
분광 (초분광, 엽록소분광, 열화상) 이미지 데이터
TopView RGB 이미지데이터
LiDAR, LiDAR 영상에서 이미지 검출 (Object detection)	[그림] LiDAR 촬영 모식도, Annotation Tool
	[그림] data 정합을 위한 Labeling 방법 (식물체 외곽영역 Box Labeling, 식물체 회전축 Box Labeling)

데이터셋 구축 담당자

수행기관(주관) : 원투씨엠 주식회사

수행기관(참여)