AI-Hub

데이터 변경이력

데이터 히스토리

소개

• 계란 데이터 및 학습 모델을 활용하여 계란품질 검사 및 신선도 판정 시스템 등 다양한 시스템 개발을 촉진시킬 수 있으며, 파생되는 서비스를 통해 생산 유발효과
• 계란의 품질 및 신선도 판정 관련 인공지능 개발 및 연구 활성화

구축목적

• AI 모델이 계란 이미지를 자동으로 훈련시키는데 필요한 계란 데이터 구축
• 계란 이미지 분류별로 라벨링된 AI 학습 데이터 구축

1. 데이터 구축 규모
- 계란 MONO, COLOR, 보관기간 이미지 데이터 140만건

2. 데이터 분포
- 계란 데이터의 구분에 따라 MONO(정상, 크랙, 혈반, 탈색, 이물질, 기형), COLOR(정상, 크랙, 이물질, 탈색, 외형이상), 보관기간(1~50일 기간별 세척/비세척)

1) 계란 투광 MONO

2) 계란 COLOR

3) 보관기간 투광 MONO

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 학습모델 설계 / 개발
- 계란 상태 자동 탐지 데이터셋
본 절에서는 계란 상태 자동 탐지에 사용된 대표적인 두 개의 객체 탐지 모델을 설명한다. 객체 탐지는 컴퓨터 비젼에서 널리 사용되는 태스크로, 주어진 영상으로부터 학습된 다중 
객체를 탐지하여 객체의 경계 박스와 박스 내의 클래스 정보를 표시하는 것을 목표로 한다. 객체 탐지 모델은 크게 one-stage, two-stage 그리고 transformer-based model로 나뉘며 본 보고서에서는 two-stage 모델 중 대표적인 모델인 Faster-RCNN과 transformer-based model 중 하나인 DETR 모델 학습 및 동작을 기술한다.

- 2단계 객체 탐지 모델 (Two-Stage Detection Model)
그림 1은 2단계 객체 탐지 모델을 사용한 계란 상태 자동 탐지 모델의 동작을 보여준다. 2단계 객체 탐지 모델의 경우 CNN 네트워크를 통해 얻어진 특징 맵을 사용하여 영역 제안 네트워크 (Region proposal network)를 통과하여 얻어진 영역 제안 결과를 바탕으로 객체를 분류한다.

[그림 1] 2단계 계란 상태 탐지 모델
Faster RCNN은 4 개의 주요 파트로 구성된다:

• CNN 모델을 사용한 특징 추출. (본 계란 상태 탐지 모델의 경우 CNN 모델로 ResNet50과 Feature Pyramid Network (FPN) 을 사용하였다)

• 특징 맵은 영역 제안 네트워크 (RPN)으로 전달되며 경계 박스의 집합을 반환한다. 피쳐 맵으로부터 RPN은 경계 박스와 객체의 점수 (score)를 반환한다.

• 해당 값을 바탕으로 Region of Interest (RoI) pooling을 통해 재구성 후 클래스와 경계 박스의 오프셋 값을 예측한다.

• 마지막으로, 경계 박스와 최종 클래스 태그를 표시하여 탐지 과정을 수행한다.

[그림 2] 영역 제안 네트워크 (RPN) 구조

Faster RCNN의 CNN 모델 (일반적으로 백본 네트워크라고 부름)로 ResNet 50과 FPN을 사용하였다. 주어진 입력 이미지로부터 본 CNN 네트워크를 통과하여 얻어지는 특징 맵 
(feature map)을 입력으로하여 RPN은 영상 내의 객체 위치 후보군을 반환해준다. 

- 트랜스포머 계열 객체 탐지 모델 (Detection Transformer-Based Model)

최근 자연어 처리 (NLP) 분야에서 Transformer가 대두되면서 영상 처리 분야에서도 Transformer 를 사용한 접근들이 활발히 이루어지고 있다. 객체 탐지는 그 중의 하나인데, Facebook AI에서 제안한 DEtection TRansformer (이하, DETR) 모델은 대표적인 Transformer 기반의 객체 탐지 모델 중 하나이다. 

[그림 3] DETR 동작 및 구조 예시 
그림 3은 DETR 동작을 보여주는데, 이는 CNN 네트워크를 백본으로 하여 주어진 입력 이미지로부터 특징 값을 추출하고 이를 트랜스 포머의 입력으로 사용한다. DETR은 사전에 
정의된 N개의 객체를 한번에 찾아낸다.

DETR은 모든 객체를 한번에 예측하고 이들의 결과를 라벨과 비교하는 end-to-end 방식으로 동작한다. 그림 4는 이러한 DETR 의 동작을 설명하는 각 구성요소를 보여준다.

[그림 4] DETR 구성 요소 개요

DETR의 4개의 구성요소는 다음과 같다:

• Backbone 네트워크: Transformer의 입력이 되는 피쳐 값들을 추출하기 위한 CNN 백본으로, 본 모델 학습에서는 ResNet 50을 사용하였다.

• Transformer Encoder: Backbone 네트워크의 출력에 1 x 1 컨볼루션을 사용하여 입력 특징 값들의 채널 차원을 축소하고 벡터 형태의 변환 및 위치 인코딩을 통해 트랜스포머 인코더의 입력으로 넣는다. 이 때 각 인코더는 multi-head self attention 모델과 FFN으로 구성된다.

• Transformer Decoder: 디코더는 N 개의 객체를 병렬적으로 디코딩하는 레이어로 객체들 간의 상관관계를 전역적으로 추론할 수 있는 정보를 제공한다.

• Feed-Forward Network (FFN): ReLU 를 활성 함수로 갖는 3계층 퍼셉트론 레이어로 디코더 출력을 입력으로 받아 각 객체의 클래스 정보와 객체의 경계박스 정보 (중심 좌표, 가로, 세로 정보)를 반환한다.

- 모델 개발 및 학습 결과 요약
최종 데이터 셋에 대한 목표 수치 달성 여부는 표 6과 같다. 계란 상태 탐지 모델 MONO, COLOR 데이터 각각의 경우 10만 장의 MONO 데이터에 대해서 학습, 검증, 테스트 데이터 셋을 8 : 1 : 1로 구축하여 학습한 후 테스트 데이터 셋에 대하여 검증되었으며, 계란 보관 일 수 예측 모델의 경우 약 100만 개의 데이터 샘플에 대하여 학습, 검증, 테스트 데이터 셋을 8 : 1 : 1 로 구축한 후 검증한 결과이다. 
[표] AI 모델 구축 결과 요약 표

- 계란 상태 자동 탐지 모델 평가 지표
계란 상태 자동 탐지 모델의 유효성 검증을 위해서는 mean Average Precision (이하 mAP)를 지표로 사용한다. mAP는 객체 탐지 모델의 성능 평가에 사용되는 지표로, 객체 탐지 성능인 바운딩 박스 정확도와 객체 분류 정확도를 종합적으로 평가하는 지표이다. mAP는 탐지 모델이 탐지하는 객체에 대한 평균 Average Precision을 계산하는 지표로 여기서 Average Precision은 Precision-Recall 그래프로부터 연산된다.
mAP는 다음의 하위 지표를 통해 도출된다:

• Intersection over Union(IoU),

• Recall

• Precision
Intersection over Union (IoU) 는 예측된 경계 박스 좌표와 실제 경계 박스 (ground truth label) 사이의 겹침 여부를 표현하는 지표이다. IoU 값이 높을수록 예측된 경계 박스와 실제 값이 유사한 것을 의미한다.

[그림 5] IoU 개념 설명

Recall (재현율) 과 Precision (정밀도)은 각각 객체 검출 성능을 표현하는 지표로, 다음과 같이 정의된다.

위의 식에서 사용된 TP, FN, FP는 다음과 같다:

이 때, 예측 결과의 참, 거짓 여부는 예측된 바운딩 박스와 실제 라벨 바운딩 박스 간의 IoU 값이 기준 값 (혹은 threshold)을 초과하는지 여부에 따라판단된다. 예를 들어, 그림 6 (a)의 경우 IoU = 0.6을 의미한다. 이 경우 기준 IoU가 0.7인 경우 Negative로 예측되며 따라서 False Negative로 판단된다. 반면 IoU가 0.5인경우 True Positive로 판단된다. 그림 6 (b)의 경우 예측 경계 박스와 라벨 경계 박스의 IoU 가 0.94이기 때문에 기준 IoU가 0.7인 경우, 0.5인 경우 모두에 대하여 True Positive로 판단된다.

(a)

(b) 
[그림 6] 예측 경계 박스와 라벨 경계박스에 따른 IoU 예시

앞서 설명한 지표들을 바탕으로, 각 클래스 별 Average Precision (평균 정밀도) 을 계산할 수 있다. 평균 정밀도는 Precision x Recall 그래프의 그래프로부터 계산될 수 있는데, 그림 7과 같이 재현율 대비 정밀도 그래프로부터 보간된 정밀도 (interpolated precision, 그림 7의 붉은색 점선)를 구하고 보간된 정밀도 그래프의 하위 면적을 통해 Average Precision을 연산할 수 있다.

[그림 7] 정밀도-재현율 그래프 예시
최종적으로 mean Average Precision (mAP)는 평가하고자하는 모든 클래스에 대한 평균 정밀도로, 다음의 수식을 따른다:

본 식에서 N은 전체 클래스의 수를 말하며, 본 과제에서 우리는 MONO 데이터에 대해서는 총 6종 클래스, COLOR 데이터에 대해서는 총 5종 클래스에 대하여 연산한다. 이 때, Average Precision을 구하는 Precision의 기준 값인 IoU 기준 치는 일반적으로 0.5를 상정하며 [email protected]로 표기한다.

2. 데이터 셋 별 모델 학습
2_1 Cycle-2 데이터 셋 (MONO)
Cycle-2 데이터 셋은 Cycle-1 데이터 셋과 달리 N/A 클래스를 포함하고 있다. 따라서 최종 mAP 계산 시에는 정상 ~ 기형 6 종 클래스에 대해서만 계산한다. 실제 모델 학습 시에는 N/A 라벨을 포함하도록 하여 모델이 자체적으로 N/A 여부를 추론할 수 있도록 하며, mAP 측정 시에는 정확한 성능 측정을 위해 6종 클래스에 대해서만 연산을 수행한다.

• 학습 하이퍼 파라미터

• 학습 결과
그림 8는 최종 MONO 데이터 셋에 대한 DETR 모델 학습 그래프를 보여준다. mAP 값을 각각 IoU 0.5에 대하여, 0.5~0.95 평균 값에 대하여 측정한 Validation mAP 결과를 보여준다. Validation 값을 기준으로 최적의 모델을 저장하였으며, 학습된 최적 모델에 대한 테스트 mAP는 0.53으로 KPI 인 mAP 0.45 이상 목표치를 달성하였다 (그림 9).

[그림 8] MONO Cycle-2 데이터 셋 DETR 학습 그래프

[그림 9] MONO Cycle-2 데이터 셋 Test mAP 결과 스크린 샷

2_2 Cycle-2 데이터 셋 (COLOR)
컬러 데이터 셋의 계란 상태 자동 탐지를 위해 우선적으로 2만장의 COLOR 데이터에 대하여 DETR과 Faster R-CNN 모델을 먼저 학습하였다. 그림 10은 각각 DETR과 Faster R-CNN 데이터에 대한 모델 성능을 보여준다. 이를 바탕으로 최종 데이터 셋 (10만 장 데이터)에 대해 DETR 모델을 학습하였다.

[그림 10] 2만 장 COLOR 데이터 셋을 사용한 DETR, Faster R-CNN 학습 그래프

최종적으로 10만장 데이터 (100K) 를 사용하여 DETR 모델을 학습한 결과는 다음과 같다. 그림 11는 60 epoch을 학습할 때 Validation mAP 그래프를 보여준다. Validation mAP를 기준으로 최적 모델을 저장하였으며, 이를 바탕으로 측정한 테스트 데이터 셋에 대한 mAP는 0.542로, 0.45인 KPI 수치를 초과한 결과를 보여준다.

[그림 11] Cycle-2 10만 장 COLOR 데이터 셋을 사용한 DETR 학습 그래프

[그림 12] Cycle-2 10만 장 COLOR 데이터 셋을 사용한 DETR 학습 Test mAP 스크린 샷

[그림 13] Cycle-2 COLOR 데이터 셋 학습 결과 DETR 추론 예시
 

2_3 계란 보관기간 데이터 셋
- 계란 보관 일 수 예측 모델 설계 / 개발
계란 보관 일 수 예측의 경우, 영상 정보와 세척 여부 정보를 활용하여 계란 보관 일 수를 예측하기 위하여 ResNet50으로 영상 정보를 분석한 다음 이를 세척 여부와 함께 MLP 신경망의 입력으로 제공하는 멀티 모달 모델을 구축하였다. (그림 14)

[그림 14] 계란 보관일수 예측 모델

(a) 이미지만 사용한 모델 (b) 이미지 + 세척여부 사용한 모델
[그림 15] 계란 보관 일 수 예측 모델

우선, 영상 정보와 보관 일 수 사이 관계를 파악하기 위하여 (그림 15 (a))와 같이 이미지만 활용하는 모델을 구축하였고, 이에 더불어 세척 여부가 신선도에 미치는 영향을 분석하기 위하여 (그림 15 (b))와 같이 세척 여부를 추가로 활용하는 멀티 모달 모델을 구축하였다.

• 학습 하이퍼 파라미터

(a) 이미지만 사용한 모델

(b) 이미지 + 세척여부 사용한 모델

[그림 16] 계란 보관 일 수 예측 모델 학습 그래프

(a) 이미지만 사용한 모델 Test MAE 결과

(b) 이미지 + 세척 여부 사용한 모델 Test MAE 결과
[그림 17] 계란 보관 일 수 예측 모델 테스트 MAE 결과

(그림 16)는 계란 보관 일 수 예측 데이터를 사용한 모델 학습 커브이다. 이미지만 사용한 모델과 세척 여부를 같이 사용한 모델 각각에 관한 학습 커브로, Mean Absolute Error(MAE) 값을 보여준다. 학습에 사용하지 않는 검증 데이터 셋을 기준으로 최소 MAE를 갖는 모델의 파라미터를 최적 파라미터로 저장하였으며, 이렇게 얻어진 최적 파라미터의 테스트 MAE는 각각 1.074와 0.927로 목표 값인 MAE 4 이하를 초과달성하였다. (그림 17)
 

[그림 18] Random Seed 4개의 평균 학습 커브

구축한 데이터 및 모델의 안정성을 확인하기 위하여 4개의 Random Seed를 갖고 동일한 학습을 반복하였으며, (그림 18)은 4개의 Random Seed에 관하여 평균적으로 KPI 지표를 달성하였음을 보여준다. 
이를 통해 통제된 환경에서 보관된 계란의 경우 영상 입력만으로 MAE 1.07을 만족하는 예측 모델을 학습할 수 있는 것을 확인하였으며, 세척 여부 등의 환경 변수를 추가 제공하는 경우 보관 일 수 예측 정확도를 향상시킬 수 있음을 확인하였다. 

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 설명

- MONO, COLOR 데이터는 계란선별기에 장착하여 촬영 - 보관기간 데이터는 농장에서 당일 생산 정상 판정 계란을 구매하여 계란 보관 및 
촬영지로 운반하여 불량계란 자동배출 시스템을 통해 촬영

2. 계란 투광 MONO
- 대분류 6종, 소분류 33종 총 537,213건의 데이터

3. 계란 COLOR
 - 대분류 5종, 총 512,534건의 데이터

4. 계란 보관기간
- 1~50일 세척/비세척 총 331,466건의 데이터

5. 어노테이션 포맷

6. 어노테이션 실제 예시

데이터셋 구축 담당자

수행기관(주관) : ㈜한밭아이오티

수행기관(참여)

데이터 관련 문의처