LRQA는 AI 시뮬레이션 및 평가 전문 기업인 Coval, 그리고 금융 서비스 분야의 AI 에이전트 제공 기업인 Krew와 협력하여, 실제 환경에서 에이전틱 AI 시스템을 보증할 수 있는 보다 실용적인 방식을 파일럿으로 도입했습니다.
이번 프로젝트는 대출, 상환, 계좌 정보 등 세심한 대응이 필요한 금융 고객 응대 상황에서 고객과 직접 상호작용하는 Krew의 AI 기반 음성 에이전트에 초점을 맞췄습니다. 리스크를 종합적으로 파악하기 위해 LRQA와 Coval은 상호 보완적인 관점에서 시스템을 평가했습니다. LRQA는 해당 시스템이 어떻게 거버넌스되고 있는지에 중점을 두었으며, Coval은 실제 운영 상황에서 시스템이 어떻게 작동하는지를 시뮬레이션하고 평가했습니다.
5,000건의 시뮬레이션. 한 자릿수 베이시스 포인트 수준의 오류율.
파일럿의 일환으로 LRQA는 Krew의 AI 거버넌스 프레임워크에 대해 독립적인 제한적 보증 검토를 수행했습니다. 이는 리스크 관리, 공정성, 감독 체계를 포함해 적절한 통제와 보호 장치가 마련되어 있는지를 확인하는 외부 검토입니다. 이와 동시에 Coval은 5,000건 이상의 시뮬레이션을 실행하며, 다양한 소비자 응대 시나리오에서 AI 에이전트를 스트레스 테스트했습니다.
두 평가 결과를 종합하면, 거버넌스와 시뮬레이션 기반 테스트 양측에서 모두 우수한 성과가 확인되었습니다. LRQA는 Krew의 거버넌스 프레임워크가 인정받는 모범 관행 원칙을 충족하며, 확인된 사항들이 모두 조치되었음을 확인했습니다. 또한 Coval의 테스트에서는 컴플라이언스 핵심 지표 전반에서 100% 통과율과 낮은 한 자릿수 베이시스 포인트 수준의 오류율이 나타났습니다.
시장은 빠르게 변화하고 있습니다.
AI 도입이 가속화되면서, 특히 고객 대면 역할에서 AI 활용이 확대됨에 따라 시장의 기대 수준도 빠르게 높아지고 있습니다. 이제 대규모 조직들은 단순히 AI 기능만을 구매하지 않습니다. 이들은 명확하게 확인 가능한 거버넌스, 분명한 책임 체계, 그리고 시스템이 실제 운영 환경에서 책임 있게 작동한다는 근거를 요구하고 있습니다.
동시에 ISO/IEC 42001과 같은 프레임워크는 ‘우수한 AI 관리 체계’가 무엇인지에 대한 기준을 점차 공식화하고 있으며, 시장 전반의 제공업체들에게 더 높은 수준의 대응을 요구하고 있습니다.
Voices from the team
LRQA의 CEO Ian Spaulding은 다음과 같이 말했습니다:
“우리는 Coval 및 Krew와 함께한 이번 프로젝트가 AI 분야에서 진정한 첫 사례라고 생각합니다. 세 조직의 팀은 시장을 선도하는 기술과 사람의 전문성을 결합해 고객에게 실질적인 가치를 제공하고, 더 넓은 시장에는 보다 높은 수준의 보증을 제공했습니다. 독립적인 심사와 기술 평가를 결합함으로써 우리는 보다 종합적인 평가를 제공할 수 있었으며, 이는 AI 음성 에이전트를 개발하고 배포하는 조직을 위한 하나의 청사진이 될 수 있다고 믿습니다.”
Coval의 창립자 겸 CEO Brooke Hopkins는 다음과 같이 말했습니다.:
“AI 에이전트가 실제 환경에서 어떻게 행동하는지 이해하는 것은 매우 중요합니다. 특히 금융 서비스처럼 고객과 직접 접점이 있고 높은 수준의 신뢰가 요구되는 환경에서는 더욱 그렇습니다. 대규모 시뮬레이션을 활용하면 설계 단계나 수작업 품질 보증만으로는 포착하기 어려운 행동을 테스트하고, 극한 상황에서 검증하며, 구체적으로 기록할 수 있습니다. 여기에 거버넌스 보증이 결합되면, 훨씬 더 깊이 있고 신뢰할 수 있는 체계를 구축할 수 있습니다."
Krew의 공동 창립자 Michael Goh는 다음과 같이 말했습니다:
“AI 기반 고객 관리 및 채권 회수 분야의 시장 선도 기업으로서, Krew는 자사의 AI 음성 에이전트에 대해 외부 감사를 받은 업계 최초이자 유일한 기업이라는 점을 자랑스럽게 생각합니다. Coval과 LRQA가 수행한 이번 외부 감사는 금융 서비스 분야에서 AI의 신뢰성, 투명성 및 책임성에 대한 새로운 기준을 제시합니다. 앞으로도 외부 감사를 완료한 AI 플랫폼과 검증된 운영 전문성을 바탕으로 Fortune 1000 기업, 연방 학자금 대출 관리기관을 비롯해 고도로 규제된 환경에서 운영되는 다양한 조직을 지속적으로 지원해 나가겠습니다.”
그 다음 단계는?
이번 파일럿 프로젝트는 시장이 앞으로 나아갈 방향을 보여줍니다.
이번 프로젝트는 음성 AI 시스템이 설계 방식뿐만 아니라 실제 환경에서 어떻게 작동하는지를 기준으로도 평가할 수 있음을 보여줍니다. LRQA의 거버넌스 보증과 Coval의 실제 환경 기반 시뮬레이션 및 평가, 시장을 선도하는 기술과 인간의 전문성, 감사와 기술적 평가를 결합함으로써 기업은 리스크를 보다 종합적이고 신뢰성 있게 파악할 수 있습니다.
AI에 대한 기대와 요구가 계속 변화함에 따라, 이러한 통합적 접근 방식은 단순히 추가되는 검증 절차가 아니라 에이전틱 음성 AI 시스템의 성능과 신뢰성을 검증하는 핵심 요소로서 그 중요성이 더욱 커질 것으로 예상됩니다.
