유통 불능 감지

자세한 설명

머신 러닝에서 모델은 일반적으로 배포 중에 발생할 것으로 예상되는 데이터의 분포를 나타내는 특정 데이터 세트를 기반으로 학습됩니다.그러나 실제 시나리오에서 모델은 학습 데이터와 크게 다른 데이터를 자주 접하게 되는데, 이를 OOD (Out-of-Distribution) 데이터라고 합니다.모델이 이러한 데이터를 처리할 수 있는 기능을 갖추지 않은 경우 이러한 데이터를 잘못 예측할 수 있습니다.

분포 외 탐지에는 모델에 OOD 데이터가 표시되는 시점을 인식할 수 있는 기술이 포함됩니다.목표는 모델이 정확하지 않고 해로울 수 있는 예측을 시도하는 대신 예측을 거부하거나 경고를 발생시켜 이러한 인스턴스에 플래그를 지정하는 것입니다.

OOD 검출에는 여러 가지 방법이 있습니다.

신뢰도 임계값: 많은 머신러닝 모델은 예측과 함께 신뢰도 점수를 출력합니다.모델은 임계값을 설정하여 신뢰도가 낮은 예측을 잠재적 OOD 데이터로 표시할 수 있습니다.

거리 기반 방법: 이 방법에는 훈련 데이터 분포에서 새 데이터 점까지의 거리를 측정하는 것이 포함됩니다.거리가 특정 임계값을 초과하면 데이터 점이 분포를 벗어난 것으로 간주됩니다.

생성 모델: 가변 오토인코더 (VAE) 또는 생성적 적대 네트워크 (GAN) 와 같은 생성 모델을 사용하여 훈련 데이터의 분포를 모델링할 수 있습니다.이 모델에서는 새 데이터 포인트가 생성될 가능성이 낮은 경우 OOD로 플래그가 지정됩니다.

앙상블 방법: 모델 앙상블을 사용하면 OOD 감지에 도움이 될 수 있습니다.앙상블에 있는 여러 모델의 예측이 크게 일치하지 않는 경우 입력 데이터가 분포를 벗어난 것일 수 있습니다.

입력 전처리: 입력 전처리와 같은 기법을 적용하여 모델에 입력되기 전에 OOD 데이터를 식별하여 신뢰할 수 없는 예측의 가능성을 줄일 수 있습니다.

OOD 검출은 다양한 응용 분야에서 매우 중요합니다.예를 들어 자율 주행에서는 시스템이 훈련 데이터에 없는 물체나 상황에 직면할 수 있습니다.이러한 OOD 사례를 감지하고 적절하게 처리할 수 있는 것은 안전을 위해 필수적입니다.의료 분야에서는 OOD 검출을 통해 진단 시스템이 훈련 데이터에 포함되지 않은 희귀하거나 새로운 의학적 상태를 예측하지 못하게 하여 대신 인간 전문가에게 의뢰하도록 유도할 수 있습니다.

유통 외 감지가 기업에 중요한 이유는 무엇일까요?

유통 외 탐지는 실제 환경에 배포된 기계 학습 모델의 신뢰성, 안전성 및 견고성을 향상시키기 때문에 기업에 중요합니다.기업은 OOD 데이터를 효과적으로 식별하고 관리함으로써 익숙하지 않은 상황에 직면했을 때 모델이 신뢰할 수 없거나 잠재적으로 위험한 결정을 내리는 것을 방지할 수 있습니다.

자동차 산업, 특히 자율 주행 차량에서 OOD 감지는 안전에 매우 중요합니다.자율 시스템은 교육받은 범위를 벗어난 물체, 시나리오 또는 환경을 인식하여 차량이 속도를 늦추거나 인간 운전자에게 경고하는 등 적절한 조치를 취할 수 있도록 해야 합니다.

금융에서 OOD 탐지는 트레이딩 모델이 트레이닝 데이터에서 설명되지 않은 비정상적이거나 변칙적인 시장 상황을 기반으로 의사 결정을 내리는 것을 방지하여 심각한 재정적 손실 위험을 줄이는 데 도움이 됩니다.

사이버 보안에서 OOD 탐지는 알려진 패턴과 다른 새로운 유형의 위협이나 공격을 식별하는 데 사용될 수 있으며, 이를 통해 기업은 새로운 보안 위험에 능동적으로 대응할 수 있습니다.

또한 모든 AI 기반 의사 결정 프로세스에서 OOD 탐지는 예측 또는 조치가 모델의 전문 지식 영역 내에서만 이루어지도록 함으로써 시스템에 대한 신뢰를 유지하는 데 도움이 됩니다.이는 AI 애플리케이션에 대한 사용자 신뢰를 구축하고 유지하는 데 매우 중요합니다.

간단히 말해서, 분포 외 탐지의 의미는 기계 학습 모델에서 사용되는 훈련 데이터의 분포를 벗어나는 데이터를 식별하는 것을 말합니다.기업에서 OOD 탐지는 AI 시스템의 신뢰성과 안전성을 향상시켜 다양한 산업 전반에서 생소하거나 변칙적인 상황을 효과적으로 관리할 수 있도록 하는 데 매우 중요합니다.