2026-07-16
AI는 왜 그럴듯하게 틀린 답을 할까?
"AI는 왜 그럴듯하게 틀린 답을 할까?"
ChatGPT 같은 생성형 AI는 이제 일상과 업무에서 자연스럽게 사용되고 있습니다.
문서 작성, 코드 생성, 자료 요약, 고객 응대까지 활용 범위도 빠르게 넓어지고 있죠!
하지만 생성형 AI를 사용할 때 한 번쯤 이런 경험을 해본 적이 있을 겁니다.
"말은 굉장히 자연스러운데, 자세히 보니 틀린 답이네?"
이처럼 AI가 사실과 다른 내용을 그럴듯하게 만들어내는 현상을 환각, Hallucination이라고 합니다.
특히 국방, 금융, 의료처럼 정확성이 중요한 분야에서는 AI의 잘못된 답변이 단순한 실수를 넘어 큰 리스크가 될 수 있습니다.
이번에는 어려운 기술 설명보다는, LLM 환각이 왜 발생하는지, 그리고 어떤 방식으로 줄일 수 있는지 쉽게 살펴보겠습니다!
LLM은 왜 환각을 일으킬까?
LLM은 우리가 생각하는 것처럼 정보를 책장에 저장해 두고, 필요할 떄 정확히 꺼내오는 방식으로 작동하지 않습니다.
대신 지금까지 학습한 데이터를 바탕으로
"다음에 어떤 단어가 오는 것이 가장 자연스러울까?"를 예측합니다.
쉽게 말해 LLM은 정답을 확인해서 말한다기보다,
문맥상 가장 그럴듯한 문장을 만들어내는 데 가깝습니다.
그래서 질문이 모호하거나, 근거가 부족하거나, 복잡한 추론이 필요한 경우에는 실제와 다른 답변을 자연스럽게 생성할 수 있습니다.
* AI는 때때로 모르는 것을 모른다고 말하기보다, 가장 그럴듯한 답을 만들어낼 수 있습니다.
그래서 생성형 AI를 사용할 때는 답변이 자연스러운지보다 근거가 있는지를 확인하는 것이 중요합니다.
환각을 줄이는 방법은?
LLM 환각을 줄이기 위한 방법은 크게 세 가지로 볼 수 있습니다.
어렵게 말하면 검색 강화, 추론 구조화, 출력 검증입니다.
1. 자료를 보고 답하게 하기
첫 번째 방법은 AI가 혼자 기억에 의존해 답하지 않도록,
외부 문서나 데이터를 먼저 참고하게 하는 것입니다.
대표적인 기술이 RAG입니다.
RAG은 AI가 답변하기 전에 관련 자료를 먼저 찾고, 그 자료를 바탕으로 답하도록 만드는 방식입니다.
예를 들어 시험을 볼 때 아무 자료 없이 푸는 것보다,
교과를 펼쳐 놓고 푸는 것이 더 정확하겠죠.
AI도 마찬가지입니다.
근거 자료를 함께 제공하면, AI가 그럴듯한 답을 만들어낼 가능성을 줄일 수 있습니다.
다만 자료를 찾는 것만으로는 충분하지 않습니다.
잘못된 자료를 참고하면 여전히 틀린 답을 할 수 있기 때문입니다.
그래서 질문을 검색하기 좋은 형태로 바꾸는 Query Rewriting,
검색된 자료 중 더 적합한 것을 다시 고르는 Reranking 같은 기술도 함께 사용됩니다.
* AI가 혼자 답하지 않도록, 관련 자료를 찾고 좋은 근거를 골라 답하게 만드는 방식
2. 바로 답하지 말고, 단계별로 생각하게 하기
두 번째 방법은 AI가 바로 결론을 내리지 않고,
단계적으로 생각하도록 만드는 것입니다.
복잡한 질문일수록 바로 답하면 오류가 생기기 쉽습니다.
사람도 어려운 문제를 풀 때는 바로 답을 쓰기보다,
조건을 정리하고, 계산하고, 중간 과정을 확인합니다.
AI도 비슷합니다.
CoT, Chain-of-Thought는AI가 중간 추론 과정을 거쳐 답에 도달하도록 유도하는 방식입니다.
이렇게 하면 AI가 논리적으로 건너뛰거나, 잘못된 결론을 내릴 가능성을 줄이는 데 도움이 됩니다.
* AI에게 바로 답을 요구하는 대신, 생각의 과정을 나누어 답하도록 만드는 방식
3. 답변의 근거를 확인하게 하기
세 번째 방법은 AI가 답변한 뒤,
그 답변이 어떤 근거에서 나왔는지 확인할 수 있게 만드는 것입니다.
대표적인 기술이 XAI, Explainable AI입니다.
XAI는 AI가 왜 그런 답을 했는지, 어떤 데이터나 문서를 바탕으로 답했는지 설명할 수 있도록 돕는 기술입니다.
앞으로는 단순히 "AI가 답을 잘했는가?"만 보는 것이 아니라,
"AI가 어떤 근거로 그렇게 답했는가?", "그 근거를 사람이 확인할 수 있는가?"다 더 중요해질 것입니다.
* AI의 답변을 그대로 믿는 것이 아니라, 답변의 출처와 근거를 확인할 수 있게 만드는 방식
AI 시대, 중요한 것은 '잘 쓰는 것'만이 아닙니다
생성형 AI는 앞으로 더 많은 업무와 산업 현장에 활용될 것입니다.
하지만 AI를 잘 활용하기 위해서는 단순히 빠르게 답을 얻는 것만으로는 충분하지 않습니다.
AI가 제시한 답변이 믿을 수 있는지,
어떤 근거를 바탕으로 만들어졌는지,
중요한 의사결정에 활용해도 되는지 확인할 수 있어야 합니다.
결국 AI 시대의 핵심은
AI를 사용하는 것에 나아가, AI를 신뢰할 수 있게 검증하는 것입니다.
슈어소프트테크는 이러한 기술 흐름을 바탕으로,
다양한 산업 분야에서 신뢰할 수 있는 AI 플랫폼과 검증 체계 구축을 지속해 나가고자 합니다.
