LRQAは、AIシミュレーション・評価を専門とするCoval、金融サービス向けAIエージェントを提供するKrewと連携し、実環境で稼働するエージェント型AI（Agentic AI）システムに対する、より実践的なアシュアランス手法の確立に向けたパイロットプロジェクトを実施しました。
今回のプロジェクトでは、金融上の慎重な対応が求められる状況で顧客と直接やり取りするKrewのAI音声エージェントを対象としました。リスクの全体像を把握するため、LRQAとCovalはそれぞれ異なる観点からシステムを評価しました。LRQAはAIシステムのガバナンスに焦点を当て、Covalはシミュレーションと評価を通じて、実際の利用場面でAIがどのように動作するかを検証しました。
5,000回を超えるシミュレーション。一桁ベーシスポイント台のエラー率
パイロットプロジェクトの一環として、LRQAはKrewのAIガバナンス・フレームワークについて独立した限定的保証レビューを実施しました。これは、リスク管理、公平性、監督体制など、適切な管理策とセーフガードが整備されていることを外部の立場から確認するものです。
並行してCovalは5,000回を超えるシミュレーションを実施し、幅広い顧客対応シナリオを通じてAIエージェントのストレステストを行いました。
その結果、ガバナンスとシミュレーションテストの両面で高いパフォーマンスが示されました。LRQAは、Krewのガバナンス・フレームワークが広く認められたベストプラクティスの原則を満たしており、特定された指摘事項についても対応が行われたことを確認しました。またCovalによるテストでは、コンプライアンス上重要な指標において100%の合格率を達成し、エラー率は一桁ベーシスポイント台の低い水準となりました。
急速に変化する市場
特に顧客対応業務におけるAIの導入が加速するなか、AIに対する期待も急速に高まっています。大規模な組織が求めているのは、もはやAIの機能だけではありません。明確なガバナンス、責任の所在、そしてシステムが実際の運用において責任ある形で機能していることを示す客観的な証拠が求められています。
同時に、ISO/IEC 42001などのフレームワークによって、適切なAIマネジメントのあり方が明確になり始めており、市場全体でAIサービス提供者に求められる水準が高まっています。
プロジェクトメンバーのコメント
LRQA CEO、イアン・スポールディング（Ian Spaulding）は次のように述べています。
「CovalおよびKrewとの今回のプロジェクトは、AI分野における真に先駆的な取り組みだと考えています。各社のチームが市場をリードするテクノロジーと人の専門知識を組み合わせることで、お客様に具体的な価値を提供するとともに、市場全体にさらなる信頼をもたらすことができました。
独立した監査と技術的評価を組み合わせることで、より包括的な評価が可能になりました。このアプローチは、AI音声エージェントを開発・導入する組織にとって、今後のモデルケースになり得ると考えています。」
Coval 創業者兼CEO、ブルック・ホプキンス（Brooke Hopkins）は次のように述べています。
「AIエージェントが実際の利用場面でどのように動作するのかを理解することは極めて重要です。特に金融サービスのように、高いリスクを伴い、顧客と直接やり取りする環境ではなおさらです。
大規模なシミュレーションを行うことで、設計段階や手作業による品質保証（QA）だけでは把握することが難しいAIの動作をテストし、負荷をかけ、その挙動を捉えることができます。これをガバナンスに対するアシュアランスと組み合わせることで、はるかに深く、信頼性の高い評価が可能になります。」
Krew 共同創業者、マイケル・ゴー（Michael Goh）は次のように述べています。
「AIを活用した顧客サービスおよび債権回収の市場リーダーとして、Krewは、サービスおよび債権回収業界においてAI音声エージェントの外部監査を受けた初かつ唯一のプロバイダーであることを誇りに思います。
CovalとLRQAによる外部監査は、金融サービスにおけるAIの信頼性、透明性、説明責任に新たな基準を打ち立てるものです。監査を受けたAIプラットフォームと実証された運用上の専門知識を活用し、Fortune 1000企業、連邦学生ローンのサービサーをはじめ、高度に規制された環境で事業を展開するさまざまな組織を今後も支援していきます。」
今後の展望
今回のパイロットプロジェクトは、市場が今後どのような方向に進んでいくのかを示すものです。
AI音声システムは、その設計だけでなく、実際の運用におけるパフォーマンスについても評価できることが示されました。LRQAによるガバナンス・アシュアランスと、Covalによる実環境を想定したシミュレーション・評価を組み合わせることで、市場をリードするテクノロジーと人の専門知識、監査と技術的評価を融合し、企業はリスクについてより包括的で信頼性の高い全体像を把握できるようになります。
AIに対する期待が今後も変化し続けるなか、このような統合的なアプローチは、単なる追加的な評価ではなく、エージェント型音声AIシステムの妥当性を検証し、信頼を確立するための中核的な要素として、ますます重要になっていくと考えられます。
