인공지능(AI)을 둘러싼 논쟁은 매우 이례적인 지점에 이르렀습니다. ‘AI가 인류를 구할 것’이라는 주장과 ‘AI가 인류를 종말로 이끌 수 있다’는 주장 사이에서, 오늘날 조직들은 수많은 결정을 내리고 있습니다. AI는 이미 기업이 인재를 채용하고, 자본을 배분하고, 공급망을 모니터링하고, 데이터를 관리하며, 점점 더 복잡해지는 운영을 수행하는 방식에 영향을 미치고 있습니다.
기업 리더들에게 당장의 질문은 덜 극적이지만 훨씬 더 실용적입니다. 'AI가 기업이 말하는 대로 작동하고 있다는 것을 어떻게 알 수 있으며, 이를 독립적으로 확인한 사람은 누구인가?'
공상과학은 통제에서 벗어난 컴퓨터, 자의식을 가진 기계, 창조자에게 등을 돌리는 로봇에 대해 우리를 익숙하게 만들어 왔습니다. 반면, 평범한 사람들이 매우 그럴듯한 기계를 지나치게 신뢰하는 위험에 대해서는 훨씬 적게 다뤘습니다. 하지만 그것이 더 당면한 과제일 수 있습니다.
시험·검사·인증(TIC) 산업이 인간과 AI의 관계에 관한 논쟁을 해결할 수는 없습니다. 하지만 현재 훨씬 부족한 한 가지, 바로 증거를 제공하는 데 기여할 수 있습니다.
그리고 여러 면에서 우리는 이미 이와 비슷한 상황을 겪어 왔습니다.
우리는 언제나 누군가의 확인이 필요했습니다
사회는 보일러 검사를 시작하기 전에 증기기관에 관한 모든 문제를 해결하지 않았습니다. 철도, 공장, 기계가 경제를 변화시키면서, 우리는 강력한 기술에는 표준과 역량 있는 검사, 그리고 무엇보다도 그것이 주장하는 대로 되어 있는지를 확인할 소유자와 독립된 제3자가 필요하다는 사실을 배웠습니다. 이 원칙은 이후의 모든 주요 기술 변화에서도 이어져 왔습니다.
AI는 역량과 속도 면에서 다르지만, 그 근본적인 신뢰의 문제는 놀라울 만큼 익숙합니다. 앞으로 조직들은 자신의 AI가 책임감 있게 운영되고, 통제되며, 적절하게 거버넌스되고 있다고 점점 더 많이 주장할 것입니다. 문제는 누가 이를 검증하느냐입니다.
우리는 ESG에서도 보다 최근에 이와 비슷한 모습을 보았습니다. 지속가능성이 기업의 주요 의제로 부상하면서, 조직들은 ESG 리스크를 측정하고 관리하는 데 점점 더 정교해졌습니다. 금융과 같은 산업 전체도 신뢰할 수 있는 권위자로 자리매김하기 위해 빠르게 움직였으며, 사실상 시장의 승인 도장을 제공하는 역할을 했습니다. 그러나 여기서 중요한 차이가 드러났습니다. 아무리 정교한 방식이라 하더라도 리스크를 관리하는 것과 이를 독립적으로 보증하는 것은 같지 않습니다. AI에서도 같은 실수를 반복하지 않도록 주의해야 합니다.
그 결과 그린 관련 주장에 대한 검증이 강화된 점은 AI에도 시사하는 바가 있습니다. AI에는 또 다른 복잡성이 있기 때문입니다. AI는 그럴듯한 정책, 리스크 평가, 공급업체 응답 또는 컴플라이언스 문서를 몇 초 만에 생성할 수 있습니다. 그럴듯한 주장을 만들어내는 비용이 낮아질수록, 이를 독립적으로 입증하는 것의 가치는 높아집니다.
AI는 양쪽 모두를 바꾸고 있습니다
우리 업계에는 사실 AI와 관련해 두 가지 질문이 있습니다. 첫 번째는 'AI에 대한 보증' 입니다. 조직이 AI를 책임 있게 개발하고, 배포하며, 관리하고 있는지를 어떻게 독립적으로 검증할 것인가 하는 문제입니다. 두 번째는 'AI를 활용한 보증'입니다. 즉, AI가 심사원, 검사원, 리스크 전문가가 결론에 도달하는 방식의 일부가 되었을 때 어떤 일이 발생하는가 하는 문제입니다. 궁극적으로는 두 번째가 더 중요한 무결성의 문제가 될 수 있습니다.
그리고 AI에 대한 보증은 적절한 정책이 존재하는지를 확인하는 수준을 넘어설 필요가 있습니다. 사이버보안 분야에서 레드팀을 통해 시스템의 취약점을 적극적으로 찾아내는 방식이 발전해온 것처럼, 신뢰할 수 있는 AI 보증 역시 점점 더 모델에 문제를 제기하고, 결과를 테스트하며, 그 기반이 되는 데이터의 보안성과 무결성을 검토할 수 있는 방법을 필요로 할 것입니다.
AI는 심사원이 현실적으로 처리할 수 없는 방대한 양의 정보를 분석하고, 수천 건의 거래에서 이상 징후를 식별하며, 과거에는 정기적으로 표본을 추출해 분석하던 리스크를 지속적으로 분석할 수 있습니다. 우리는 이러한 가능성을 받아들여야 합니다.
의료 분야에서도 비슷한 사례를 볼 수 있습니다. 기술은 의료진이 보고 이해할 수 있는 범위를 크게 바꿨지만, MRI 장비가 의학적 판단의 필요성을 없애지는 않았습니다. AI가 스캔 영상을 판독할 수는 있습니다. 하지만 누군가는 여전히 진단에 대한 책임을 져야 합니다.
보증에서도 마찬가지여야 합니다. AI가 심사원이 독립적으로 도출하지 않은 결과를 대신 작성한다면, 보고서는 겉보기에 충분히 신뢰할 수 있어 보일 수 있지만 근본적으로 중요한 무언가가 사라진 것입니다. 사람이 단순히 기계가 만들어낸 결과를 승인하기만 한다면, ‘human in the loop’이라는 개념은 큰 의미가 없습니다. AI는 전문가의 판단을 강화해야지, 책임을 회피할 수 있는 수단이 되어서는 안 됩니다.
정기 검토에서 지속적 보증으로
AI는 보증이 이뤄지는 속도 자체에도 근본적인 변화를 요구합니다. 기존의 보증은 정기 건강검진과 비슷합니다. 특정 시점의 증거를 검토하고 결론을 내린 뒤, 정해진 주기에 따라 다시 확인하는 방식입니다.
하지만 AI 리스크는 이런 주기에 맞춰 움직이지 않습니다. 모델이 바뀌고, 데이터가 바뀌며, 애플리케이션도 계속 달라집니다. 새로운 도구가 조직 안에 거의 하룻밤 사이에 도입되기도 합니다. 조직이 대규모 언어 모델에 점점 더 의존하게 되면서, 데이터가 어디에 저장되는지, 어떤 모델을 거치는지, 어떤 규칙의 적용을 받는지도 점점 더 중요한 문제가 되고 있습니다. 데이터 주권은 이제 조직과 정부가 통제, 회복탄력성, 신뢰를 어떻게 바라보는지와 연결된 문제입니다. 더 이상 IT만의 영역이라고 볼 수 없습니다.
앞으로의 보증은 정기 건강검진보다는 심장 모니터에 가까운 형태가 될 수 있습니다. 지속적으로 신호를 확인하고, 이를 지능적으로 분석하며, 필요한 시점에 전문가가 개입하는 방식입니다. 이는 단순히 AI를 활용해 심사 보고서를 더 빠르게 작성하는 것보다 훨씬 더 큰 기회입니다.
AI는 리스크 관리에서 사람의 판단을 없애는 것이 아니라, 판단에 집중하지 못하게 만드는 업무를 덜어주는 역할을 해야 합니다.
‘우리를 믿어주세요’ 에서 '증명하세요’로
독립적 보증은 그 자체만으로 작동할 수 없습니다. AI에는 효과적인 규제도 필요합니다. 정부는 명확한 기준과 경계를 마련해야 하며, 업계 역시 이를 요구해야 합니다. 조직이 안심하고 혁신할 수 있도록 하면서도, 문제가 발생했을 때 책임 소재를 분명히 하는 규제가 필요합니다.
또한 규제, 표준, 보증은 서로 대체하는 개념이 아니라는 점도 분명히 해야 합니다. 규제는 규칙을 정하고, 표준은 조직이 그 규칙을 충족할 수 있는 체계를 구축하도록 돕고, 독립적 보증은 그 체계가 실제로 제대로 작동하는지를 확인합니다.
바로 이 지점에서 ISO/IEC 42001이 중요합니다. 앞으로는 AI 정책이나 책임 있는 AI 원칙을 갖추는 것만으로는 특별한 차별점이 되기 어려울 것입니다. 중요한 것은 조직이 자신의 AI 거버넌스가 실제로 작동하고 있음을 입증할 수 있느냐입니다.
ISO/IEC 42001은 조직이 AI를 관리할 수 있도록 국제적으로 인정된 경영시스템을 제공하며, 독립적인 평가를 위한 기반도 마련합니다. 이를 통해 논의의 초점은 ‘우리는 AI를 책임 있게 관리하고 있으니 믿어달라’에서 ‘그에 대한 증거가 여기 있다’로 옮겨갑니다.
이 차이는 중요합니다. AI 경영시스템 인증을 받았다고 해서 해당 조직이 운영하는 모든 AI 시스템이 보편적으로 ‘안전하다’고 선언할 수 있는 것은 아닙니다. 무엇이 보증되었고, 무엇이 보증되지 않았는지를 정확히 구분해야 합니다.
우리 업계의 누구도 AI가 궁극적으로 인류를 구할지, 아니면 파괴할지를 기업 리더들에게 말해줄 수는 없습니다. 하지만 우리는 오랜 시간 동안 훨씬 더 실질적인 일을 해왔습니다. 중요한 주장을 검증할 수 있도록 만드는 일입니다.
그리고 AI가 그럴듯한 주장을 거의 아무런 노력 없이 만들어낼 수 있는 시대에는, 이러한 역할의 가치가 줄어드는 것이 아니라 오히려 더 커집니다. 여러분의 조직이 AI를 책임 있게 사용하고 있다고 말한다면, 이를 증명할 준비가 되어 있습니까?
