AI Insight | 슈어소프트테크

AI 에이전트를 검증할 때

모의 사용자와 대화를 시켜봅니다.

 

그런데 이 모의 사용자,

정말 실제와 유사하다고 볼 수 있을까요? 

  

기본적으로 LLM에게 사용자 역할을 맡기면

매우 협조적인 태도를 보입니다.

또박또박 질문하고, 답변을 잘 기다립니다.

 

그런데 실제 사용자는 다릅니다.

말을 끝까지 하지 않고, 질문을 중간에 끊기도 하며,

갑자기 엉뚱한 것을 묻습니다.

 

협조적인 모의 사용자로만 시험한 챗봇은

이러한 점을 충분히 반영하기 어렵습니다.

 

이번 AI 인사이트에서는

실제 사용자에 가까운 비협조적 페르소나가

 

AI 에이전트의 숨은 결함을 어떻게 드러내는지

세 편의 논문을 통해서 확인합니다.

 

이어서 슈어소프트테크의 AI 에이전트 검증 플랫폼

VERIFAI-A의 CX 방법론은 어떻게 구현하고 있는지도 함께 살펴봅니다.

 

 

태도만 바뀌어도 결함이 쏟아진다

 

ChatChecker는 동일한 챗봇을 대상으로 표준 페르소나와

무례하고 조급하며 비꼬는 페르소나를 비교했습니다.

 

그 결과 페르소나의 태도만 바뀌어도 대화 붕괴, 품질 저하,

시스템 크래시와 같은 문제가 더 많이 드러났습니다.

 

이는 AI 에이전트가 정중하고 협조적인 질문에는 안정적으로 답하더라도,

태도가 달라지면 표면적으로 보이지 않던 결과가 드러날 수 있음을 보여줍니다.

 

비협조도 분류하고 통제할 수 있다

 

NCUser는 실제 사용자처럼 까다로운 행동을 체계화합니다.

 여기서 중요한 점은 비협조적 사용자를

단순히 '무례한 고객'으로 만드는 것이 아니라,

목표 달성에 필요한 정보는 반드시 전달하도록 통제했다는 것입니다.

 

이 방식은 AI 에이전트가 예측하기 어려운 상황에서도

사용자의 목표를 놓치지 않고 응답할 수 있는지 확인하는 데 활용될 수 있습니다.

 

지식이 있어야 핵심을 짚는다

 

SAGE는 고객 프로필과 실제 문서를 함께 반영해, 제품과 서비스에 대한

구체적인 지식을 바탕으로 챗봇의 답변을 시험하도록 설계했습니다.

 

실험 결과에서도 SAGE는 실제 사람이 찾은 버그보다 더 많은 버그를 찾아냈고,

문서 지식을 제거했을 때는 버그 발견 수가 줄어드는 것으로 나타났습니다.

 

이는 비협조적 페르소나가 효과를 내려면 성격 외에도,

실제 업무 맥락과 지식이 함께 필요하다는 점을 보여줍니다.

 

 

종합해보면 AI 에이전트의 깊은 결함을 찾기 위해서는

세 가지 요소가 갖춰져야 합니다.

 

첫째, 태도입니다.

항상 정중하지 않으며, 때로는 조급하거나 불만을 표합니다.

 

둘째, 비협조적 행동입니다.

주제를 벗어나거나, 불완전하게 말하거나, 제공하기 어려운 요구를 할 수 있습니다.

 

셋째, 업무 지식입니다.

실제 서비스와 정책, 제품 정보를 바탕으로 구체적인 질문을 던집니다.

 

 

슈어소프트테크 AI 에이전트 검증 플랫폼 VERIFAI-A

 

VERIFAI-A는 이러한 관점을 CX(Customer Experience) 검증 방법론으로 구현합니다.

 

지식과 성격을 가진 비협조적 페르소나를 통해,

실제 고객 상황에 가까운 AI 에이전트 검증을 수행합니다.

  

 

VERIFAI-A의 CX 테스트 케이스는

3단계의 파이프라인으로 구성됩니다.

 

먼저 약관,매뉴얼,FAQ 등을 벡터 DB로 구축하고

페르소나의 목표와 관련된 지식을 부여합니다.

 

이후 네 가지 비협조적 행동을 강도와 함께 조합해

페르소나에 주입합니다.

 

마지막으로 대화 내내 필요한 정보가 전달되었는지 확인해,

실패 책임이 시뮬레이터로 돌아가지 않도록 목표 정렬을 추적합니다.

 

이 과정은 챗봇이 답변을 잘했는지 확인하는 것을 넘어,

실제 고객과 유사한 압박 상황에서도 목표 달성, 지식 활용,

응답 일관성, 결함 노출 여부를 함께 확인하는 방식입니다.

 

 

동일한 챗봇과 시나리오에서 비교한 결과

대화가 길어지고, 도전·추궁 발화율이 증가했으며,

기존 방식에서는 드러나지 않던 타깃 결함까지도 확인할 수 있었습니다.

 

 

착한 사용자만으로는 보이지 않는 결함이 있습니다

 

AI 에이전트 검증은 정답에 가까운 질문을 던지는 수준에서 나아가

실제 고객과 유사한 다양한 대화 조건을 재현하는 방향으로 확장되어야 합니다.

 

특히 태도, 비협조적 행동, 업무 지식이 결합된 페르소나는

일반적인 모의 사용자 테스트에서 드러나기 어려운 결함을

확인하는 데 활용할 수 있습니다.

 

VERIFAI-A CX 방법론은 이러한 관점을 바탕으로 AI 에이전트가

실제 고객과의 복잡한 상호작용 속에서도 목표를 달성하고,

필요한 정보를 제공하며, 안정적으로 응답할 수 있는지 검증합니다.

 

자세한 내용 확인하러 가기