AI Insight | 슈어소프트테크

 

AI 신뢰성 확보를 위한 데이터 편향 검증

블로그에서 더 자세한 내용 확인하기

 

데이터 편향으로 생기는 문제점

 AI의 왜곡된 답변 

 

AI 시스템은 방대한 데이터를 기반으로 학습하고 의사결정을 수행합니다.

 그런데 학습 데이터가 편향되었을 경우, 그 결과를 왜곡시키는 원인이 될 수 있습니다.

 

실제로 얼굴 인식 기술에서 인식 오류율이 크게 증가하거나

특정 그룹이 불리하게 작용하는 등의 문제가 발생한 사례가 있습니다.

데이터 편향이 생기는 유형에는 무엇이 있는지 이어서 살펴보겠습니다.

 

 

 

데이터 편향 유형

 모든 단계에서 발생하는 편향 

데이터 편향이란 학습 데이터가 특정 집단,특성에 치우쳐져

공정하지 않은 결과를 도출하는 현상을 의미합니다.

 

표본 편향 : 특정 집단의 데이터가 과소 ∙ 과다 대표됨

클래스 불균형 : 클래스별 데이터 개수 차이가 큼

데이터 분할 편향 : train/test 데이터 분포가 서로 다름

측정 편향 : 수집 방식이나 도구에 의한 왜곡 발생

라벨 편향 : 사람이 부여한 정답에 주관적 판단이 반영됨

역사적 편향 : 과거의 사회적 불균형이 데이터에 반영됨

 

이처럼 수집부터 전처리, 라벨링 등 다양한 단계에서 편향이 발생할 수 있습니다.

 

 

 

데이터 편향 검증 진행 방식

 

이번 검증은 붓꽃(Iris) 오픈 데이터셋을 활용하여 검증을 진행했습니다.

 

이해를 돕기 위해 feature 값 왜곡과 라벨 변경으로

인위적으로 편향을 유도한 데이터를 만들고,

이 데이터에서 편향을 식별하고 정량화한 뒤 완화하는 순서로 진행합니다.

 

먼저 클래스별 데이터 분포와 성능을 확인해 편향이 나타나는 지점을 찾고,

Euqal Opportunity 관점에서 그 정도를 살펴봅니다.

 

이어 오버 샘플링으로 편향을 완화한 뒤, 완화 전후의 결과를 비교해

데이터 편향이 모델 성능에 미치는 영향을 확인합니다.

 

 

 

데이터 편향 검증 절차 4단계

데이터 편향 검증 절차는 다음과 같이 4단계로 이루어집니다.

 

1. 데이터 분포 분석

클래스와 주요 특성(feature)의 분포를 확인합니다.

특정 그룹의 비율이 지나치게 낮거나 높다면 편향 가능성이 있습니다.

 

2. 그룹 간 성능 비교

전체 성능이 높더라도 특정 그룹에서만 성능이 떨어질 수 있습니다.

그룹별 Accuracy, Precision, Recall과 오류 유형(FPR,FNR)을 비교합니다.

 

3. 통계적 편향 지표 활용

성능 비교만으로는 명확히 판단하기 어렵습니다.

Demographic Parity, Equal Opportunity, Disparate Impact 같은

공정성 지표로 그룹 간 불균형을 판단합니다.

 

4. 편향 완화 방법 적용

데이터, 모델, 결과 수준에서 편향을 줄이고

모든 그룹에 대해 더 공정한 결과를 도출합니다.

 

 

데이터 편향 검증 Before & After

 검증으로 편향을 찾고, 전후를 비교했습니다 

검증 결과 Class 간 성능 편차가 감소하고,

전체적인 정확도가 향상되었음을 알 수 있습니다.

 

여기서 눈여겨볼 점은 Class의 recall이 개선되면서

오류가 완화되는 것을 파악할 수 있다는 것입니다.

 

이를 통해 데이터 편향이 AI 모델 성능에

직접적인 영향을 끼친다는 사실을 확인할 수 있습니다.

 

AI 신뢰성의 출발점, 데이터 편향 검증

 

데이터 편향을 수집, 전처리, 라벨링 등 여러 단계에서 발생하며,

특정 집단에 불리한 결과와 사회적 불평등으로 이어질 수 있습니다.

 

분포 분석→그룹 간 성능 비교→통계적 편향 지표 활용→편향 완화로

데이터 편향을 식별하고 개선할 수 있습니다.

 

데이터 편향 검증은 단순한 데이터 분석 단계를 넘어

AI 시스템의 공정성과 신뢰성을 확보하기 위한 핵심 과정입니다.

 

블로그에서 더 자세한 내용 확인하기