에이전틱 AI 시대, AI 환각의 발생 원인과 예방법

AI 환각은 인공지능 시스템이 사실과 다르거나, 오해의 소지가 있거나, 완전히 조작된 내용임에도 불구하고, 그럴듯하고 심지어 확신에 찬 듯한 응답을 생성할 때 발생합니다.

기업이 고객 경험(CX) 전반에 생성형 AI 툴을 폭넓게 도입하는 상황에서, 이러한 환각은 고객 문의에 대해 부정확한 답변을 전달하거나 결함이 있는 대화 요약으로 이어질 수 있습니다. 이는 고객 여정 전반에서 자율적으로 행동하는 에이전틱 AI를 사용할 때 더욱 심각해집니다. AI 환각은 서비스를 방해하고, 신뢰를 훼손하며, 실제적인 비즈니스 위험을 초래할 수 있습니다.

환각을 감지하고 관리하는 일은 브랜드의 신뢰를 유지하고, 고객의 기대에 부응하며, 상담사의 올바른 결정을 지원하는 데 매우 중요합니다. 정확성, 거버넌스, 투명성을 최우선으로 하는 책임 있는 AI 설계를 통해 환각을 줄일 수 있습니다.

환각은 텍스트 생성기, 음성 상호작용, 이미지 생성 툴 등으로 만들어진 다양한 형태의 출력물 전반에서 발생할 수 있습니다.

이러한 오류는 시스템의 신뢰는 물론, 사용자의 신뢰까지 약화시킵니다. 부정확성이 계속해서 반복되면 사용자와 고객은 해당 AI 툴이나 AI 기술 전반, 나아가 이를 도입한 기업의 신뢰에 의문을 갖게 됩니다.

고객 경험 측면에서 환각은 고객과 직원 모두를 그릇된 길로 이끌 수 있습니다. AI 챗봇으로 불리는 가상 상담사가 잘못된 정책 정보를 제공하거나, AI 어시스턴트가 고객 이력을 잘못 요약할 수 있습니다. AI 시스템이 자율성을 갖게 되면서, AI가 내리는 결정과 그 기반이 되는 데이터는 실제적인 규제와 평판에 영향을 미칩니다.

AI가 왜 환각을 일으키는지 이해하는 것. 이것이 예방을 위한 첫걸음입니다.

정확성과 일관성은 고객 신뢰의 기반입니다. AI가 부정확하거나 편향된 정보를 제공할 때, 고객은 기술뿐만 아니라 브랜드까지 불신하게 됩니다.

신뢰할 수 있는 AI 상호작용은 고객 충성도를 높이고 브랜드 평판을 보호합니다. 고객은 특히, 도움을 요청하거나 중요한 결정을 내릴 때 정직함과 일관성을 중요하게 여깁니다. CX 리더에게 AI는 이러한 상호작용을 가능하게 하고 확장하는 좋은 수단입니다.

정확성은 효율성과 공감도 가능하게 합니다. AI 응답이 정확할 때, 상담사는 오류 수정 작업을 줄이고, 고객에게 더 많은 시간을 할애하며 고객의 목소리에 집중하고 공감할 수 있습니다. 이러한 균형을 통해 서비스 팀은 고객에 대한 세심한 응대를 놓치지 않으면서 대규모로 운영될 수 있습니다.

AI 시스템이 만들어내는 환각을 예방하는 일은 위험을 줄이는 것 이상의 의미가 있습니다. 고객이 기억할 만한 신뢰할 수 있는 경험을 제공하는 일이기도 합니다.

AI 환각은 단순한 무작위적 오류가 아닙니다. 보통 대규모 언어 모델(LLM) 설계, 학습 데이터, 검색, 프롬프트 입력 등의 과정에서 식별 가능한 요인들에서 비롯됩니다. 환각에 대한 적절한 안전장치가 있다면 AI 기반 기업은 환각을 크게 줄이고 충분히 관리할 수 있습니다.

AI는 데이터를 통해 예측하고 응답을 생성합니다. 학습 데이터가 불완전하거나 오래되었거나 편향되어 있을 때, 시스템은 그 빈틈을 추측으로 메웁니다.

대부분의 AI 모델은 특정 시점에 한정된 데이터 세트를 기반으로 학습되며, 그 데이터에서 얻은 패턴을 바탕으로 예측하도록 설계됩니다. 따라서 학습 범위 밖의 새로운 정보에 직면하면 AI의 유효성은 떨어집니다.

데이터나 컨텍스트가 부족할 경우, AI는 확률 기반 접근 방식을 통해 정보의 공백을 메우려다 잘못된 패턴을 발견하거나 정보를 조작하게 됩니다. 낮은 품질의 데이터는 곧바로 신뢰할 수 없는 출력으로 이어집니다. AI 시스템이 특정 시나리오를 한 번도 본 적이 없다면 그럴듯해 보이는 잘못된 응답을 만들어낼 수 있습니다.

AI 출력의 또 다른 문제는 학습된 데이터의 편향성 또는 데이터 세트에 주입된 인간의 편견입니다. 예를 들어, 어떤 데이터들은 특정 지역에을 다루거나, 특정 그룹이나 역할이 빠져 있는 기간의 데이터일 수 있습니다

컨택센터에서 이러한 편향성은 고정 관념을 강화하거나, 의도를 오해하거나, 일관되지 않은 수준의 서비스를 제공하는 등 고객에 대한 불공정하거나 일관성 없는 대응으로 이어질 수 있습니다.

데이터 공백과 편향은 어쩔 수 없이 발생할 수 있지만,어디서 문제가 생겼는지 알아채고 그 근원을 찾아낼 수는 있습니다. 공정하고 신뢰할 수 있는 고객 경험을 제공하는 윤리적이고 포용적인 AI 시스템을 구축하기 위해서는 이러한 문제를 완화해야 합니다.

과적합은 AI 모델이 패턴을 너무 좁게 학습할 때 발생합니다. 익숙한 시나리오에서는 잘 작동하지만 조건이 바뀌면 제대로 대응하지 못합니다.

맥락 손실은 여러 채널을 아우르며 대화가 오가는 CX 환경에서 흔히 발생합니다. 고객은 채팅으로 상담을 시작해 음성 대화로 전환한 뒤 이메일로 후속 연락을 할 수 있습니다. 이들 툴 간에 맥락이 전달되지 않으면 AI는 고객의 의도를 놓치게 됩니다.

분산된 시스템은 이러한 위험을 증가시킵니다. 고객 데이터가 단절된 툴에 존재할 때, AI는 전체적인 상황을 제대로 파악하지 못합니다.

오케스트레이션 플랫폼은 대화 이력과 상황적 맥락을 보존하는 방식으로 연속성을 유지합니다. 예를 들어, 이전 환불 요청을 기억하는 컨택센터 AI는 질문을 반복하거나 잘못된 정보를 제공하지 않습니다.

불명확하거나 불완전한 지시는 AI가 추측을 하게 만듭니다. 프롬프트에 세부 정보가 부족하면 시스템은 그럴듯하지만 거짓된 정보로 빈틈을 메웁니다. CX에서는 고객 의도 파악의 혼선이 잘못된 인터랙션이나 부정확한 응답(예: 보험 청구 질문을 기술 지원 팀에 보내는 등)으로 이어질 수 있습니다.

이러한 행동은 AI 환각이 발생하는 이유를 잘 설명해 줍니다. 모델은 거짓말을 하지 않습니다. 패턴을 파악하고 다음 행동을 예측하려는 것입니다. 전체적인 그림이 완성되지 않으면 예측된 결과는 의도와 맞지 않을 수 있습니다.

특정 프롬프트를 작성하고 의도 인식 모델을 사용하면 다음과 같은 다양한 방법으로 위험을 줄일 수 있습니다.

• 감정 분석과 의도 인식에 집중하여 고객의 말 이면의 의미를 파악합니다.

• 맥락을 인식하는 프롬프트를 통해 고객을 안내하고, 필요에 따라 적절한 채널 및 상담사에 연결하여 채널 전환 및 반복 설명을 최소화합니다.
• 연결된 지식 기반에서 관련 지식을 추출하고 상담사 스크립트를 맞춤화하여, 엔터프라이급 환경에서도 고객 지원을 위한 모든 인터랙션을 맞춤화합니다.

감독이 없다면 환각은 확인되지 않은 상태에서 응답에 계속 포함됩니다. 처음에는 오류가 사소해 보일 수 있지만 수천 건의 인터랙션을 거치면서 이는 빠르게 확산될 수 있습니다.

거버넌스란 AI 출력을 안내하는 규칙, 모니터링 및 검토 시스템을 의미합니다. 내장된 가드레일과 실시간 감독은 오류를 조기에 발견하고 허위 정보의 확산을 방지합니다.

강력한 거버넌스는 작은 실수가 시스템 전체의 실패로 번지지 않도록 보장합니다.

기초적이고 철저한 AI 거버넌스와 가드레일이 없으면, 기업은 AI 도입 속도와 확장성이 제한될 뿐만 아니라 운영 위험과 평판 손상에 노출됩니다.

환각은 이론에 머물지 않습니다. 이미 정확성과 신뢰가 중요한 여러 산업에 영향을 미치고 있습니다.

유통 업계의 경우, 가상 상담사가 고객 주문 건이 배송되지 않았는데도 배송 완료를 안내하거나, 존재하지 않는 환불 정책을 AI가 설명하는 경우가 있습니다. 그 결과, 고객은 혼란과 좌절을 겪고 이는 기업의 신뢰 상실로 이어집니다.

내장형 AI는 응답을 하기 전에 실시간 시스템을 통해 주문 상태와 정책을 검증하여 이러한 위험을 줄입니다.

AI 어시스턴트가 계좌 잔액을 잘못 읽거나 재무 보고서를 잘못 요약할 수 있습니다. 금융 업계의 경우, 아주 사소한 부정확성이 컴플라이언스 문제를 일으키고 신뢰를 약화시킬 수 있습니다.

컨텍스트 확인 기능을 갖춘 AI는 검증된 데이터 소스에 기반한 응답을 통해 이러한 실수를 방지합니다.

보험 업계의 경우, AI가 제한된 데이터 및 부실한 검증을 바탕으로 잘못된 보장 등급을 추천할 수 있습니다. 이로 인해 고객은 자신의 니즈에 맞지 않는 조언을 받게 됩니다.

통합 시스템은 고객 프로필, 정책 규칙, 자격 데이터를 하나의 통합 뷰로 연결하여 이러한 불일치를 해결합니다.

환각을 줄이려면 사후 처방식 대응이 아닌, 처음부터 의도된 설계가 필요합니다. 여기에는 아키텍처 기반, 설계 단계부터 고려된 거버넌스, 실시간 데이터 통합 능력까지 포함됩니다.

단일 플랫폼에 내장된 AI는 모든 채널과 여정, 접점에 걸쳐 동일한 데이터 환경 내에서 작동합니다. 이처럼 통합된 컨텍스트는 파편화되거나 불완전한 정보에 의존하는 추가 장착형 볼트-온 툴에서 자주 발생하는 오류를 줄이는 데 도움을 줍니다.

가드레일, 거버넌스, 컴플라이언스가 처음부터 아키텍처에 내장되어 있다면 기업은 체계적인 통제권을 확보하고, 추후에 이러한 보호 장치를 추가하는 복잡성을 피할 수 있습니다.

플랫폼을 평가할 때는 고객 경험의 다른 요소들과 동일한 시스템 및 데이터 환경에서 작동하는 네이티브 AI 기능을 우선으로 고려하세요.

거버넌스는 AI를 배포하기 전, AI가 어떻게 행동해야 하는지를 정의합니다. 미리 정해진 규칙, 모니터링, 감사 추적, 정책 준수 점검 등이 포함됩니다. 거버넌스는 특히, 규제 환경에서 AI 의사결정을 설명 가능한 상태로 안전하게 유지합니다.

다시 한 번 강조하지만, 거버넌스는 나중에 추가하는 것이 아니라 처음부터 설계하고 내장되어야 합니다.

정확한 AI는 실시간 데이터에 지속적으로 접근할 수 있을 때 가능합니다. 이는 검증된 최신 정보를 바탕으로 응답을 제공하는 검색 증강 생성(RAG)과 같은 기술로 뒷받침됩니다. 정적인 스냅샷은 금세 구식 정보가 됩니다.

경험 오케스트레이션은 채널 간 실시간 컨텍스트를 유지합니다. 실시간 데이터 스트리밍과 분석에 연결된 통합 플랫폼은 AI가 어제 일어난 일이 아닌, 지금 일어나고 있는 일에 기반하여 응답할 수 있게 합니다.

이러한 실시간 가시성은 시의성이 떨어지거나 불완전한 응답을 줄이고, 사일로 시스템으로 인한 정보의 사각지대와 지연을 최소화하는 데 도움을 줍니다.

인간은 책임 있는 AI에서 필수적인 역할을 합니다. AI가 일상적이고 데이터 중심적이고 시간에 민감한 업무를 처리함으로써 인간 상담사는 판단력, 창의성, 공감이 필요한 업무에 집중할 수 있습니다.

인간이 참여하는 프로세스는 팀이 AI의 결과물을 검토하고, 예외를 관리하며, 시간이 지남에 따라 성과를 개선할 수 있도록 돕습니다. 내장된 안전장치는 AI의 능력을 벗어나는 요청을 인간 상담사에게 에스컬레이션하고, 인간의 판단이 가장 중요할 때 슈퍼바이저가 개입할 수 있게 합니다.

투명성은 AI 결정을 더 이해하고 책임감 있게 만들어 신뢰를 강화합니다. CX 리더는 모델 훈련, 데이터 수집 및 보호, 편향 모니터팅 및 완화 등의 방법 에 대한 명확한 가시성을 확보해야 합니다.

에이전틱 AI가 점점 더 자율적인 역할을 맡게 되면서 AI의 책임감과 정확성은 더욱 중요해지고 있습니다.

데이터 공백, 맥락 상실, 모호한 프롬프트, 취약한 거버넌스는 AI 환각으로 이어집니다. 그리고 이는 시스템은 물론 고객의 신뢰를 떨어뜨리고, 규제 준수 및 평판에도 좋지 않은 영향을 줍니다.

다행히도 각 원인은 통합된 설계와 감독에 기반한 명확한 해결책을 가지고 있습니다.

데이터 통합, 내장형 AI, 투명한 거버넌스를 제공하는 클라우드 기반 플랫폼을 선택하세요. 이러한 접근 방식은 정확성과 함께, 대규모 혁신을 가능하게 합니다.

Genesys Cloud™ 플랫폼이 어떻게 대규모 환경에서도 정확성과 공감 능력을 높이는지 알아보세요.