팟캐스트: 책임 있는 인공지능, 실질적인 경쟁력 – 지금 ISO 42001이 중요한 이유

책임 있는 인공지능, 실질적인 경쟁력: 지금 ISO 42001이 중요한 이유

6월 4일- 35분

이번 ‘Future in Focus’ 팟캐스트 에피소드에서는 LRQA의 최고제품책임자(CPO) 케빈 프랭클린(Kevin Franklin)과 호스트 자비에 프랜시스(Xavier Francis)가 함께 급변하는 디지털 환경 속에서 AI 거버넌스가 왜 핵심적인 역할을 하는지에 대해 심층적으로 이야기합니다.

이들은 ISO 42001이 AI 관련 리스크를 효과적으로 관리하고, 신뢰를 구축하며, 글로벌 규제를 앞서 나가기 위한 시기적절하고 실질적인 프레임워크임을 강조합니다. 시스템 및 표준 분야에서의 풍부한 경험을 바탕으로 Kevin은 모든 규모의 조직이 책임감 있는 AI 도입을 실현하기 위해 왜 ISO 42001이 필수적인 도구가 되어야 하는지를 설명합니다.

안녕하세요, 전 세계 청취자 여러분. LRQA의 Future in Focus 팟캐스트에 오신 것을 환영합니다.
진행을 맡은 저는 자비에 프랜시스(Xavier Francis)입니다. 오늘 이 에피소드를 여러분과 함께하게 되어 매우 기쁩니다.

오늘은 아주 특별한 게스트를 모셨습니다. 바로 LRQA의 최고제품책임자(CPO) 케빈 프랭클린(Kevin Franklin)입니다. 이번 에피소드의 주제는 ‘AI, 리스크 그리고 다음 단계 – 왜 지금 ISO 42001이 중요한가’입니다. 우리는 빠르게 진화하는 AI 환경 속에서 AI 거버넌스의 중요성이 점점 커지고 있는 이유, 그리고 ISO 42001이 조직이 리스크를 관리하고, 신뢰를 구축하며, 다가오는 규제에 대비할 수 있도록 도와주는 실용적인 프레임워크인 이유에 대해 살펴볼 예정입니다.

케빈은 ISO 42001이 신뢰를 바탕으로 미래를 선도하고자 하는 기업들에게 어떻게 게임 체인저가 될 수 있는지, 또한 LRQA가 조직들이 책임감 있고 리스크 기반의 AI 접근 방식을 도입하도록 어떻게 지원하고 있는지에 대해 이야기해줄 예정입니다.

케빈, 팟캐스트에 오신 것을 진심으로 환영합니다. Future in Focus에 함께해 주셔서 감사합니다. 오늘 기분은 어떠신가요?

정말 좋습니다. 초대해 주셔서 감사합니다. 오늘 아주 좋은 대화를 나누게 될 것 같아 기대가 큽니다.

저도 마찬가지입니다. 지금 이 주제는 우리 모두에게 매우 시의적절하고 중요하죠. 케빈이 어떤 인사이트를 나눠줄지 정말 기대됩니다. 본격적으로 시작하기에 앞서, 먼저 본인 소개와 함께 AI 및 ISO 42001과 관련된 여정에 대해 간단히 말씀해 주시겠어요?

물론이죠. 기쁘게 소개해 드리겠습니다. 현재 제 역할은 말씀해주신 대로 LRQA의 최고제품책임자(CPO)이며, 동시에 EIQ라는 공급망 인텔리전스 플랫폼을 중심으로 한 전략적 성장 이니셔티브도 이끌고 있습니다. 제 경력을 간단히 말씀드리면, 지난 20~25년 동안 시스템 분야에서 일해왔습니다. 박사 과정에서는 소프트 시스템 이론*을 주제로 연구했고, 그동안 경영시스템 관련 분야에서 다양한 활동을 해왔습니다. 예를 들어, ISO 14001, SA8000, ISO 1464, AA 1000 등 다양한 경영시스템 표준에 대한 심사원 교육도 이수했고, LRQA에서는 제품 개발 프로세스 전반에 깊이 관여해왔습니다.

또한 저는 AI의 열정적인 사용자이자 실천가이기도 하며, 우리의 공급망 플랫폼인 EIQ와 내부 시스템 전반에 걸쳐 공정하고 책임 있는 방식으로 AI 거버넌스를 적용하는 데에도 적극적으로 참여하고 있습니다. 이러한 경험을 바탕으로 오늘 AI와 ISO 42001에 대해 이야기 나누게 되어 매우 기대됩니다.

그거 정말 반갑네요. 다양한 경험을 쌓아오셨고, 오늘 함께해 주셔서 정말 감사드립니다. 그리고 특히 좋은 점은, 핵심 비지니스 솔루션에서도 AI에 아주 일찍부터 주목해 왔다는 겁니다. 오랜 시간 동안 이 분야를 고민해 왔고, 오늘 케빈이 ISO 42001과 관련된 AI 거버넌스에 대해 어떤 이야기를 들려줄지 매우 기대가 됩니다. 그럼 이제 본격적으로 질문에 들어가 보겠습니다. AI는 지금 기업 내에서 매우 중요한 역할을 하고 있는데, 왜 AI에 '거버넌스'가 필요할까요?

정말 좋은 질문입니다. 그리고 시기적으로도 딱 적절하죠. AI 자체에 관한 부분도 그렇고, 거버넌스에 관한 부분도 마찬가지입니다. 청취자분들 대부분은 어떤 방식으로든 AI를 직접 사용해보셨거나,
적어도 다양한 생성형 AI 툴을 접해보셨을 겁니다. 혹은 이미 일상적으로 사용하는 애플리케이션이나 자신이 속한 회사의 시스템 안에 AI 기능이 내장되어 있는 경우도 많겠죠. 그런데 요즘 점점 더 분명해지고 있는 사실이 하나 있습니다. AI는 더 이상 단순한 도구가 아니라는 것입니다. 이제 AI는 전략적 비즈니스 필수 요소로 자리 잡았고, 앞으로의 조직이 얼마나 효율적이고 높은 성과를 낼 수 있을지를 좌우하는 핵심 축이 되고 있습니다. 오늘날 대부분의 기업들은 AI를 어떻게 활용해 고객에게 더 많은 가치를 제공하고, 조직 내 효율성을 높이며, 그리고 점점 더 가속화되고 있는 초자동화 경제에서 경쟁 우위를 확보할 수 있을지를 고민하고 있습니다. 그래서 이 질문에 대한 첫 번째 핵심은 바로 이것입니다. AI는 선택이 아닌, 전략적으로 반드시 고려해야 할 필수 요소라는 점입니다.

맞아요, 저도 직접 사용해보면서 효율성 면에서 정말 놀랍다고 느꼈어요. 생성형 AI를 활용해서 더 나은 문장을 쓰거나, 간단한 조사 작업을 대신 시키거나, 또는 팟캐스트 작업을 더 효율적으로 처리할 수 있게 해주니까요. 예를 들어, 녹음한 팟캐스트를 AI가 자동으로 텍스트로 변환하고 요약까지 해주니까 제가 다시 전부 듣고 메모할 필요 없이 AI가 그 작업을 대신해줘서 정말 편하더라고요. 그래서 요즘은 이걸 사용하는 사람이 정말 많을 수밖에 없겠다는 생각이 들어요. 업종을 불문하고, 다양한 분야에서 광범위하게 활용되고 있는 것 같아요.

맞습니다. 지금 말씀하신 부분이 바로 이 주제가 왜 이렇게 중요한지를 잘 보여줍니다. 여러분도 그렇고, 저도 그렇고 AI를 직접 사용하기 시작하면 자연스럽게 리스크가 눈에 들어오기 시작하잖아요.
실제로 많은 비즈니스 리더들도 같은 경험을 하고 있을 거라 생각합니다. 예를 들어, AI는 때때로 사실과 다른 정보를 생성하거나, 알고리즘의 작동 방식에 따라 잘못된 추천이나 정보를 제시할 수도 있죠. 예를 들어, 이런 팟캐스트 대본을 AI가 작성한다고 해도 사실과 다르거나 왜곡된 내용이 들어갈 가능성이 있습니다. 그래서 첫 번째로 강조했던 전략적 필요성에 이어서, 이제는 두 번째로 AI에 대한 거버넌스와 리스크 관리라는 주제로이야기가 넘어오고 있습니다.

지금까지는 사실 이런 리스크에 체계적으로 대응할 수 있는 도구나 기준이 부족했죠. 그런 점에서 ISO 42001은 바로 이 부분, 즉 AI 관련 리스크를 사전에 식별하고 관리할 수 있는 체계적인 기반을 마련해준다는 점에서 매우 의미 있는 역할을 하게 될 것입니다. 그리고 여기에 규제 측면도 빼놓을 수 없습니다. 현재 AI 분야에서는 규제 움직임이 점점 더 활발해지고 있으며, 특히 유럽연합의 AI 법은 지금까지 나온 규제 중 가장 본격적이고 포괄적인 법안입니다. 하지만 유럽뿐만 아니라, 다른 국가들이나 주요 증권거래소 등도 유사한 규제나 정책을 추진하고 있어서, 앞으로 이 분야에서 훨씬 더 많은 변화가 있을 것으로 예상됩니다.

또한 이해관계자들도 AI 사용에 대해 점점 더 많은 질문을 제기하고 있습니다. 예를 들어, 해당 AI 도구가 어떻게 설계되고, 개발되었으며, 실제로 어떻게 운영되고 있는지, 또는 AI 사용 과정에서 특정 집단에 대한 불공정한 차별이 발생하고 있지는 않은지 등입니다. 즉, 지금 우리가 이 일을 시작해야 하는 이유는 전략적 필요성, 리스크 대응, 규제 대응, 그리고 이해관계자 압력 대응 — 이 네 가지가 모두 매우 중요하고 긴급하기 때문입니다.

ISO 42001은 정확히 무엇인가요? 그리고 이 표준이 다른 ISO 표준들과 다른 점은 무엇인가요?
물론 이 자리에 계신 분들은 ISO 9001이 일반적인 품질경영시스템이고, ISO 14001은 환경경영시스템이라는 것을 잘 알고 계시겠지만요. 그렇다면 AI는 어떻게 관리해야 할까요? ISO 42001은 어떤 내용을 담고 있나요?

네, 정말 좋은 질문입니다. 말씀하신 대로 ISO 9001, 45001, 14001 같은 잘 알려진 기존 표준들과 ISO 42001은 여러 면에서 유사한 점이 있습니다. 가장 기본적인 구조는 기존의 ISO 표준들과 마찬가지로 10개의 조항으로 구성되어 있습니다. 예를 들어, 적용 범위, 용어 정의, 리더십, 조직의 맥락, 성과 평가, 개선 등으로 이어지며, 전체적으로 PDCA 사이클이 AI 경영시스템 프레임워크에 맞게 반영되어 있습니다.

하지만 이 표준은 또한, 그리고 이 점이 매우 중요한데, 일련의 원칙들과 Annexes와 연결되어 있습니다. 즉, ISO 42001의 핵심 추진력은 투명성, 책임성, 공정성, 설명 가능성, 데이터 프라이버시, 신뢰성과 관련된 일련의 원칙들입니다. 기본적인 PDCA 프레임워크 외에도 이러한 원칙들이 함께 적용되며, 표준의 끝에는 네 개의 Annexes가 포함되어 있습니다. 

Annex A는 책임 있는 AI의 개발, 운영, 사용 및 모니터링을 위한 통제 항목에 관한 내용이며, 여기에는 정책, 역할, 자원, 생애주기 관리, 영향 평가 등이 포함됩니다. Annex B는 Annex A에 대한 보다 상세한 가이드라인을 제공합니다. Annex C는 조직의 AI 도입과 관련된 주요 리스크 원천에 관한 내용입니다. Annex D는 특정 도메인과 산업 분야에 적용 가능한 관련 표준에 대한 내용을 담고 있습니다. 이러한 annex들과 원칙들은 매우 중요합니다. 왜냐하면 이것들이 AI를 고정된 일회성 활동이 아니라 동적이고 진화하는 시스템으로 바라볼 수 있는 메커니즘을 제공하기 때문입니다.

정말 좋은 지적이에요. 이 표준은 훨씬 더 전체론적인 접근을 취하고 있습니다. 조직 내에서의 AI 생애주기를 전반적으로 다루며, 데이터 수집부터 알고리즘 설계, 배포, 그리고 지속적인 모니터링에 이르기까지 모두 포함합니다. 그리고 여기에 이러한 원칙들을 내재함으로써 AI에 윤리적 고려 요소를 더하고, 혁신과 책임 있는 AI 활용 간의 간극을 메워줍니다.

맞습니다. 궁극적으로는, 이 annex들과 그 안에 포함된 AI 중심의 통제 항목들이 기존 경영시스템의 PDCA 프레임워크를 기반으로 하면서도 AI에 적합한 논리와 연결해주는 탄탄한 프레임워크를 제공합니다.

알겠어요, 이해됐어요. 모든 ISO 표준이 기반으로 삼고 있는 기본 틀을 바탕으로, AI의 특성에 맞게 그것을 확장하고 적용 가능한 형태로 만든 거군요. 그럼 케빈, ISO 42001은 누구를 위한 표준인가요? 이거 그냥 빅테크 기업이나 데이터 과학자들같이, AI를 실질적으로 모든 업무에 적용하고 있는 사람들만을 위한 거 아닌가요? 그렇다면 소규모 기업이나 그런 곳은 해당이 없는 걸까요?

정말 좋은 질문이에요. 그리고 사람들이 흔히 “AI는 빅테크 기업이나 데이터 과학자들만을 위한 것”이라고 생각하기 쉬운데, 그렇기 때문에 ISO 42001도 그들만의 표준이라고 오해하곤 하죠. 하지만 실제로는 ISO 42001은 대부분의 기업에 적용 가능한 표준입니다. 사실 많은 기업들이 이미 AI를 활용하고 있습니다. 예를 들어, 지역 병원이 진단 목적으로 AI를 활용하거나, 소매업체가 챗봇을 배포하는 것도 모두 해당하죠. 자체 데이터를 활용하고 있거나, 외부 AI 시스템을 자사 데이터 위에 적용하고 있다면, 그 조직에 ISO 42001은 충분히 관련 있는 표준입니다.

그래서 ISO 42001은 소규모 기업이든 대기업이든, 다양한 산업 분야 전반에 걸쳐 적용 가능한 표준입니다. AI를 통해 경쟁 우위를 확보하고자 하거나, 소비자 및 파트너와의 신뢰를 구축하려는 기업, 온라인 애플리케이션이나 도구를 운영하는 기업이라면 이 표준은 매우 관련성이 높습니다.

또한 농업, 교육, 공공 서비스 등 다양한 산업에서 앞으로는 형태와 방식은 다르더라도 AI 기반 의사결정에 점점 더 의존하게 될 것이며, 그 결과는 고객의 삶은 물론 사회 전반에 영향을 미치게 될 것입니다. 그리고 X, 당신도 대화 초반에 스크립트 생성에 AI를 직접 사용하고 있다고 말했잖아요. 사실 그런 예시만 보더라도, 이 표준이 당신의 조직 같은 곳에도 충분히 적용될 수 있는 것인지 한 번쯤 고려해볼 필요가 있다는 걸 알 수 있죠.

그리고 저 같은 경우에도 AI가 잘못된 정보를 생성한 적이 있었어요. 특정 표준의 조항을 다루는 팟캐스트를 준비하면서 질문을 했는데, AI가 전혀 엉뚱한 조항을 알려주는 거예요. 그래서 제가 “그거 아닌데요?”라고 했더니, AI가 “아, 맞아요. 죄송합니다. 다시 알려드릴게요.” 하면서 그제야 정확한 조항을 알려줬죠. 근데 제가 만약 그 조항이 틀렸다는 걸 몰랐다면, 엉뚱한 방향으로 깊이 빠져들었을 수도 있었겠죠. 이건 아주 사소한 예시일 뿐이에요. 만약 그 기술이 농업, 교육, 또는 사람의 삶에 영향을 주는 결정을 내리는 데 사용된다면, 그리고 그 상황에서 AI가 잘못된 정보를 생성한다면, 그건 정말 심각한 문제가 될 수 있습니다. 그래서 이런 리스크를 어떻게 줄일 것인가, 바로 그것이 ISO 42001이 존재하는 이유 중 하나입니다.

자, 이제 우리는 ISO 42001이 빅테크나 데이터 과학자만을 위한 게 아니라는 점은 어느 정도 이야기했어요. 그렇다면 반대로, AI를 직접 개발하지 않고 단지 사용하는 조직은 어떤가요? 예를 들어 저처럼 ChatGPT 같은 도구를 사용하는 사용자, 영상이나 이미지 생성 도구를 활용하긴 하지만, 그 AI를 내가 직접 개발하거나 설계하지는 않는 경우, 이런 상황에서 ISO 42001이 어떤 도움이 될 수 있을까요?

그럼에도 불구하고 ISO 42001은 여전히 매우 관련성이 있습니다. 즉, ChatGPT나 Copilot 등 타사에서 개발한 기존 AI 도구를 사용하는 사람들에게도 ISO 42001은 유용하게 작용할 수 있습니다. 기성 제품을 가져다가 자신의 데이터나 시스템, 일상적인 의사결정에 학습시키고 적용하고 있다면 더욱 그렇습니다. 이런 도구를 사용할 때는 명확한 목적이 있죠. 효율성을 높이기 위해, 더 나은 의사결정을 위해, 더 정확한 진단을 내리기 위해 사용하는 것입니다. 그렇기 때문에 바로 그 시점에서 그 목적의 타당성에 대해 질문을 던지는 것이 중요합니다. 그래서 맞습니다. ISO  42001은 대기업이나 AI 개발자들만을 위한 것이 아니라,기존의 AI 도구를 비즈니스에 활용하고 있는 조직에게도 적용됩니다.

그리고 현재 AI 관련 규제 환경도 점점 변화하고 있습니다. 기존에는 AI 개발자에게 집중되었던 책임이, 이제는 사용자에게도 일부 이전되고 있습니다. 즉, 우리 같은 조직도 AI를 어떻게 활용하는지, 어떤 데이터를 기반으로 학습시키는지에 대해 주의 깊게 고민해야 한다는 뜻입니다. 설령 우리가 직접 AI를 개발하지 않았더라도, 직접 언어 모델을 만든 게 아니더라도, 그 사용 방식에 대해서는 분명한 책임이 생기는 것입니다. 앞으로 몇 년 안에 더 많은 규제가 생기면서 이런 흐름은 점점 더 확대될 것으로 보입니다. AI 생태계 전반—즉, 개발자뿐만 아니라 사용자까지 포함한 전체 공급망에 대해 공정하고, 견고하며, 윤리적이고, 책임 있는 방식으로 AI를 활용하고 있는지를 검증하는 흐름이 더욱 강화될 것입니다.

맞아요. 책임의 관점에서 본다면, 만약 고객이나 직원과 관련된 민감한 데이터를 AI에 입력하고 있다면, 정말 신중하게 접근해야 합니다. 예를 들어 저는 지금 헬스케어 분야를 생각하고 있어요. 미국에는HIPAA(건강정보보호법)가 있어서, 개인 정보를 절대 공유할 수 없고, 심지어는 이름조차도 사용하지 않고 번호로만 식별해야 할 정도로 정보 보호 기준이 매우 엄격하거든요.

그런 상황에서 그런 데이터를 AI에 입력한다고 상상해보세요. 그 데이터가 어디로 전송되고, 어디에서 처리되며, 그 정보가 AI 학습에 사용되는지, 혹은 다른 사용자 질문에 응답하는 데까지 활용되는지 — 이런 부분을 고려하지 않고 데이터를 넘긴다면 정말 큰 위험에 빠질 수 있는 가능성이 있습니다. 말 그대로, 통제할 수 없는 방향으로 빠져들 수 있는 ‘토끼굴’ 같은 상황이 되는 거죠.

100% 동의해요. 유럽에서도 마찬가지로 GDPR(일반개인정보보호법) 요구사항이 있고, 개인정보 보호와 관련해 다양한 강력한 규제들이 존재합니다. 이런 상황에서 AI를 개인정보 위에 어떻게 적용하느냐는 점에 있어 정말 신중해야 합니다. 또한, 해당 정보가 시스템 밖으로 유출되거나 잘못된 환경에서 처리되지 않도록 하기 위해서는 적절한 보안 통제 체계도 반드시 갖춰져 있어야 합니다. 이 모든 것들이 바로 ISO 42001의 구조와 원칙을 통해 체계화되고 관리될 수 있습니다. 이 표준은 조직 내부는 물론, 규제 기관과 고객에게도 신뢰를 줄 수 있는 기반이 됩니다. AI가 공정하고, 안전하게 설계되고 개발되며 운영되고 있다는 것을 입증해주는 도구인 셈이죠.

좋습니다. 케빈, 오늘 우리는 AI와 ISO 42001에 대해 이야기했고, AI 사용 시 우리가 직면하게 되는 문제들을 이 표준이 어떻게 통제하고 관리할 수 있게 해주는지 살펴봤습니다. 그렇다면 이제, ISO 42001이 변화하는 AI 규제 환경을 어떻게 헤쳐나가는 데 도움이 될 수 있을까요? 아까도 잠깐 언급하긴 했지만, 이건 앞으로 사라질 이슈가 아니라 오히려 더 많은 규제가 생겨날 것이고, AI의 리스크와 위험성에 대한 인식도 커질 것이라는 건 분명해 보입니다. 그렇다면, 이런 규제 변화에 대응할 수 있도록 ISO 42001이 어떤 역할을 할 수 있을까요?

좋은 질문이에요, X. 현재 AI 관련 규제 환경은 매우 빠르게 변화하고 있습니다. 아까 잠깐 언급했듯이, EU AI 법(AI Act)은 세계 최초의 완전하고 포괄적인 AI 전용 법적 프레임워크로, 2024년에 도입되어 2025년 이후 단계적으로 시행될 예정입니다. 이 EU AI 법은 역외적 성격도 가지고 있어서, 전 세계적인 AI 거버넌스와 규제 방향에도 영향을 미치고 있습니다. 그리고 이 외에도 현재 많은 국가에서 AI 규제를 준비하고 있습니다. 미국에서도 AI 관련 규제에 대한 논의가 활발히 이뤄지고 있고, 아시아 태평양 지역에서도 다양한 정책이 추진되고 있습니다. 전 세계적으로 보면 현재 약 60개국 이상이 AI 관련 법이나 정책 프레임워크를 개발 중이며, 접근 방식은 다르지만 공통적으로 AI를 책임 있게 다루려는 방향성을 보이고 있습니다.

제가 말한 '다르지만 유사하다'는 의미는, 전 세계 여러 규제 환경마다 접근 방식에는 차이가 있지만, 그 안에 공통적으로 적용되는 핵심 원칙들이 존재한다는 것입니다. 그리고 그 원칙들은 바로 ISO 42001에서도 중심이 되는 가치들입니다. 예를 들어, 많은 규제기관들은 PDCA와 같은 구조화된 관리 체계와 논리적 프레임워크의 적용을 요구하고 있고, 투명성, 책임성, 공정성과 같은 원칙들이 조직 내에 내재화되어 있기를 기대합니다. 이러한 원칙들은 ISO 42001이 추진하고 있는 핵심 기반이기도 하죠. 또한 각 규제들은 AI가 비즈니스에 미치는 중요한 영향 요소들을 식별하고, 이를 구조적이고 표준화된 방식으로 관리하는 것을 요구하고 있는데, 이 부분 역시 ISO 42001의 통제 항목들이 정확히 제공해주는 기능입니다.

그래서 ISO 42001은 빠르게 변화하는 규제 환경에 대응할 수 있도록 잘 설계된 표준이라고 할 수 있습니다. 이 표준은 마치 살아 있는 프레임워크처럼, 규제 변화에 맞춰 유연하게 움직일 수 있는 구조를 가지고 있습니다. 또한 ISO 42001은 충분히 표준화되어 있으면서도 범용성도 높기 때문에, 기업이 지금 이 시스템을 도입하면, 향후 새롭게 등장하는 규제 요구사항들도 기존의 통제 체계나 시스템 설계 방식 위에 무리 없이 통합할 수 있습니다. 그리고 앞서 말했듯이, ISO 42001은 다수의 AI 규제들이 요구하는 국가 간 적용 요건과도 일치하는 구조를 갖추고 있습니다.

맞아요, 생각해보면 ISO는 이런 부분에 익숙한 조직이죠. 이미 ISO는 전 세계적으로 14001(환경경영), 45001(산업안전보건경영)과 같은 표준을 통해 각국의 다양한 규제 환경 속에서도 잘 작동할 수 있는 시스템을 다뤄왔어요. 이번 AI 관련 표준도 그런 흐름의 또 다른 연장선이라고 볼 수 있습니다. ISO는 각 나라의 규제가 어떻게 다른지에 대한 풍부한 경험과 이해를 가지고 있고, 그렇기 때문에 ISO 42001도 지나치게 특정 국가나 세부 규제에 묶이지 않으면서도, 전반적인 방향성을 잡아주는 실질적인 가이드 역할을 할 수 있도록 잘 설계되어 있습니다. 

정확히 맞습니다. 정말 그렇죠. 그리고 다른 많은 PDCA 기반 프레임워크들과 마찬가지로, ISO 42001 역시 지속적인 개선, 영향 평가 등에 중점을 두고 있으며, 도입되는 각 지역과 국가의 규제 요구사항을 반영하는 구조를 가지고 있습니다. 이는 대부분의 ISO 표준들이 이미 그렇게 해왔던 방식이기도 하죠. 이 말은 결국, ISO 42001도 끊임없이 진화할 수 있는 구조를 가지고 있어서, 앞으로 새롭게 등장하는 어떤 규제 요건이든 유연하게 반영하며 대응할 수 있다는 것을 의미합니다.

정말 멋진 질문이에요. 케빈, 우리가 앞서 잠깐 이야기하긴 했지만, ISO 42001이 AI에 대한 신뢰를 구축하는 데 어떤 역할을 할 수 있을까요? AI를 사용해본 사람이라면 누구나 한 번쯤은 실망했던 경험이 있을 거예요. 정보를 잘못 주거나, 사실이 아닌 내용을 생성하거나, 또는 내가 정확히 묻지 않아서 원하지 않는 답변이 나왔던 경우 말이죠. 그렇다면 ISO 42001은 단순히 리스크로부터 보호해주는 역할이나 윤리적 가이드를 제공하는 역할을 넘어서, AI를 실제로 신뢰할 수 있게 만드는 데 어떻게 기여할 수 있을까요? 이건 우리가 어떤 표준에서든 기대하는 핵심 중 하나이니까요. 단지 위험을 피하게 해주는 것을 넘어서, “이 시스템을 믿고 사용할 수 있다”는 신뢰를 어떻게 만들어주는가, 그게 궁금합니다.

네, 정말 중요한 질문입니다. 그리고 말씀하신 대로, AI는 인간 경험의 다음 장을 여는 매우 흥미로운 기술입니다. 우리는 지금도 AI를 활용해서 자동 의사결정, 막대한 데이터 분석, 학습, 시스템 설계, 질문 응답, 추천 제공, 그리고 앞서 언급했던 의료 진단 등 정말 다양한 영역에서 사용하고 있죠. 그런데 결국 ISO 42001을 바라볼 때 가장 중요한 점은, AI에는 여전히 ‘블랙박스’ 같은 영역이 존재한다는 것입니다. 지금 우리가 이야기한 이 모든 일들을 AI가 수행하고 있음에도 불구하고, 실제로 AI가 내부에서 어떻게 작동하는지 우리는 잘 모릅니다. 물론 대규모 언어 모델(LLM)이나 다양한 AI 시스템이 어떻게 작동하는지에 대한 글이나 설명은 많이 접했지만, 정확히 이해하고 있다고 느끼는 사람은 많지 않을 것입니다.

결국 ISO 42001을 살펴보면, 정말 좋은 질문인데요, AI에는 여전히 '블랙박스' 같은 부분이 존재한다는 점을 알 수 있습니다. 앞서 이야기했던 다양한 활용 사례들 속에서도, 실제로 AI가 어떻게 작동하는지 우리는 명확히 알지 못합니다. 물론 모두가 대규모 언어 모델(LLM)에 대해 읽어봤고, 다양한 시스템이 어떻게 작동하는지도 접해봤지만, 여전히 완전히 이해하고 있다고 보기는 어렵습니다. ISO 42001은 이러한 모델들을 일정 부분 설명하고, 이 블랙박스를 해체하는 데 도움을 줍니다. 그리고 이 블랙박스가 신뢰 부족의 원인이 될 수 있는데, ISO 42001은 바로 그 문제를 해결하는 데 기여합니다. 이처럼 블랙박스를 투명하게 만드는 것 외에도, 이 표준은 조직 내에서 AI 사용에 대한 책임성을 강화해줍니다.

AI가 효율을 높여준다는 이유로, 사람들은 종종 무심코, 또는 의도치 않게 책임감 없이 AI를 사용할 수 있습니다. 이런 상황에서 ISO 42001은 AI를 언제, 어떻게 사용하는지, 무엇에 사용하는지, 그리고 어떤 의사결정 과정에서 인간의 판단과 어떻게 보완되는지에 대해 명확한 기준을 제공하고 사용자에게 책임을 부여합니다. 이것이 바로 ISO 42001이 AI 신뢰 구축에 실질적으로 기여하는 핵심 요소입니다.

맞아요, 맞습니다.

그리고 세 번째로, ISO 42001은 조직 내 여러 이해관계자들과의 적극적인 참여를 요구합니다. 이 과정은 우리가 경영시스템을 어떻게 바라보고 적용할 것인지에 대해 더 높은 신뢰를 형성하게 해줍니다. 즉, 이 시스템이 단지 기업 내부의 관점만이 아니라, 고객, 소비자, 규제기관, 직원들의 이해와 요구를 반영하여 설계되었다는 확신을 갖게 되는 것이죠.

그렇군요. 그렇다면 지금 ISO 42001 인증을 고려 중인 고객이 있다고 가정해볼게요. 이때 도입 과정에서 흔히 생기는 오해에는 어떤 것들이 있나요?

좋은 질문이에요. 그리고 아마 이런 질문은 정말 자주 받게 될 겁니다. 가장 큰 오해 중 첫 번째는 바로 이것입니다: “ISO 42001은 AI를 직접 개발하는 대형 기술 기업들만을 위한 것이다.”

맞아요, 동의합니다.

하지만 우리가 이미 이야기했듯이, ISO 42001은 AI의 소비자이자 사용자에게도 똑같이 유효한 표준입니다. 소규모 기업, 중견 기업, 기타 대기업 등 AI 도구를 사용하고 있는 다양한 조직들이 자체 시스템과 데이터에 AI를 적용하고, 학습시키고, 배포함으로써 조직 내부의 효율성을 높이고 고객 경험을 향상시키고자 한다면, 이러한 기업들 역시 ISO 42001을 반드시 검토해야 합니다. 그러니, 첫 번째 오해는 바로 이것 입니다. : "이건 AI를 개발하거나 구축하는 기업만을 위한 것이다" 하지만, AI를 사용하는 조직이라면 누구나 해당됩니다.

누구든지 ISO 42001 을 활용할 수 있습니다..

맞습니다. AI를 둘러싼 전체 공급망에 관련된 모든 조직이 해당되죠. 그리고 두 번째로 흔한 오해는, ISO 42001은 도입 비용이 많이 든다”라는 생각입니다. 하지만 실제로는 그렇지 않습니다. 이건 ISO 9001이나 14001 같은 다른 경영시스템 표준들처럼 큰 비용이 드는 프로젝트가 아닙니다. ISO 42001의 도입은 인증 비용, 교육 비용, 내부 적용 측면에서도 진입 장벽이 높지 않으며, 오히려 비용 절감 효과를 가져올 수도 있습니다. 이 표준을 통해 조직 내에서 AI를 표준화된 방식으로 관리할 수 있는 기반을 마련하게 되고, 이 과정에서 조기에 실질적인 성과를 얻을 수 있습니다. 그리고 만약 이걸 도입하지 않아서 중장기적으로 AI 오남용, 규제 위반, 고객 반발 등으로 인한 손해가 발생한다면, 그에 비해 ISO 42001의 도입은 충분히 투자 가치가 있는 선택입니다. 특히 지금처럼 AI가 빠르게 확산되고 있지만, 우리가 앞서 말했던 ‘블랙박스’ 문제는 여전히 풀리지 않은 과제로 남아 있는 시점에서는 더더욱 진지하게 고려할 필요가 있는 표준입니다.

네. ISO/IEC 27001의 경우, ‘무엇을 모르는지도 모른다'는 상황에서 정보 보안을 다루게 되죠. 어디에 위험이 있는지도 명확하지 않은 상태에서, 외부의 침입을 막거나 내부 정보 유출을 방지하는 것이 주 목적이었어요. 그런데 ISO/IEC 42001에서는 상황이 조금 다릅니다. 잘못하면 외부로 넘기지 말아야 할 정보를 스스로 제공하게 될 수도 있습니다. 그래서 이 부분은 정말 신중하게 접근해야 하고, 자칫하면 벌금이나 기업 신뢰도 하락 등 심각한 실패로 이어질 수 있습니다. 그래서 Kevin, ISO/IEC 42001은 다른 시스템들과 통합관리시스템(IMS)으로 구현하기 쉬운 편인가요? ISO 9001, 14001처럼 자주 묶이는 조합도 있고, 9001과 45001, 또는 9001과 27001 같이 통합하는 사례도 많은데, 42001도 이런 식으로 IMS에 잘 통합될 수 있을까요?

원칙적으로는 그렇습니다. ISO/IEC 42001의 기본적인 프레임워크 구조는 지금 말씀하신 다른 표준들―예를 들어 ISO 9001, 14001 등―과 매우 유사합니다. 그래서 원칙적으로는 통합에 큰 문제가 없습니다. 다만, 제가 덧붙이고 싶은 점은 42001은 시장에 비교적 최근에 도입된 표준이라는 점입니다. 그래서 AI에 특화된 요구사항들을 실제로 구현하고 내재화하는 데 필요한 심사원, 인증기관, 전문 인력 등이 아직은 상대적으로 부족한 상황이에요. 하지만 원칙적으로는 전혀 문제 없습니다. 올바른 전문 인력과 지원 체계를 갖추고 있다면, 42001도 다른 표준들과 마찬가지로 통합관리시스템(IMS)에 충분히 통합할 수 있습니다.

1. 아무리 사전 검토와 준비를 철저히 하더라도, 결국 지금 시점에서는 실제로 인증을 해줄 수 있는 기관이나 전문가를 찾는 것이 핵심입니다. 그게 정말 중요한 포인트예요.

그래서 Kevin, 기업들이 “우리는 이제 ISO/IEC 42001을 고려해보려 한다”라고 말했을 때, 어디서부터 시작해야 한다고 보시나요?

정말 중요한 질문입니다. 우선 첫 번째 단계는 표준을 입수해서 직접 읽고, 배우고, 고민하는 것입니다. 이건 기본이자 가장 중요한 시작점이에요. 이 과정에서 요즘에는 ChatGPT, Perplexity, Claude 같은 생성형 AI 도구들을 활용해서 "42001에 어떤 내용이 들어있지?", "우리 비즈니스에 적용 가능한가?" 같은 질문을 해보는 것도 좋습니다. 이런 초기 정보 탐색 과정이 아주 중요합니다. 단순히 표준을 따르기 위해서가 아니라, 이 표준이 우리 조직에 어떤 의미가 있을까?, 도입했을 때 어떤 비즈니스적인 이점을 얻을 수 있을까?에 대해 고민해봐야 하죠. 결국엔 도입에 대한 비즈니스 케이스가 있어야 한다는 의미입니다.

두 번째로는 교육입니다. 새로운 표준이나 툴을 도입할 때는 항상 전문가들과 함께 구조화된 학습을 진행하는 게 매우 효과적이에요. 예를 들어, "ISO/IEC 42001 입문 교육", 혹은 조직 규모에 따라 "내부 심사원" 또는 "선임 심사원" 교육까지 고려해볼 수 있습니다. 만약 내부적으로 직접 심사를 수행할 계획이라면 더욱 중요하죠. 이러한 교육 과정은 단순한 지식 전달을 넘어서, 조직 내에 시스템적 사고와 체계적인 접근방식을 심어주는 데 큰 도움이 됩니다.

그리고 세 번째로 말씀드리고 싶은 건, 조직 내 AI 리스크 평가를 수행하는 것입니다. 이것은 전반적인 종합 리스크 진단이 될 수도 있고, 보다 간단한 방식의 경량화된 평가일 수도 있어요. 핵심은 지금 현재 우리 조직이 어떤 방식으로 AI를 사용하고 있고, 그 과정에서 어떤 유형의 노출이나 위험이 존재하는지를 파악하는 것입니다.예를 들어, 우리가 자체적으로 AI 모델을 개발하고 있다면 그 과정의 리스크는 무엇인지, 또는 외부의 AI 툴이나 플랫폼을 도입해서 사용하고 있다면 그 사용 방식에서 생길 수 있는 위험은 어떤 것인지 분석해야 합니다. 이러한 인사이트를 확보하고, 그 리스크가 단순히 우리 조직 내부에만 영향을 주는 것이 아니라 고객, 파트너, 이해관계자 전체에 어떤 영향을 미칠 수 있는지까지 고려하는 것이 중요합니다. 이런 과정을 거치면 ISO/IEC 42001을 어떻게 도입할 것인지에 대한 로드맵을 더 효과적이고 단계적으로 설계할 수 있게 됩니다.

그리고 그다음 단계로는, 인증을 실제로 고려하기 시작하는 시점이라면 조직 내에서 적절한 수준의 경영진 후원을 확보하는 것이 중요합니다.이때 ISO/IEC 42001을 단순한 규정 준수가 아니라 혁신, 리스크 관리, 경쟁 우위 확보 등 전략적 요소를 가능하게 하는 수단으로 포지셔닝할 수 있는 비즈니스 케이스를 수립해야 해요. 표준을 도입함으로써 어떤 투자 대비 효과(ROI)를 기대할 수 있는지도 반드시 고려돼야 하고요.

그다음에는 조직의 규모에 따라 달라질 수 있는데, 작거나 중간 규모의 조직이라면 영향력은 크지만 관리 가능한 범위의 특정 유즈케이스에 먼저 적용할 수 있고,  또는 조직 전체가 하나의 유즈케이스로 간주되어 전사적 적용으로 이어질 수도 있습니다. 이건 정말 기업의 규모와 사업 구조에 따라 달라지는 부분이에요. 그래서 요약하자면, 제가 말한 다섯 가지 핵심 단계는 이렇습니다: 그리고 사실 이 중에서 1번과 2번만이라도 시작해보는 것, 즉 42001에 대해 배우고, 교육을 통해 사고방식을 정립하는 것만으로도 리스크 평가와 거버넌스로 나아가는 훌륭한 출발점이 될 수 있습니다.

“자, 마지막으로 정말 중요한 질문입니다. 마무리 의견을 듣기 전에요. 왜 지금 이게 중요한가요? 앞에서도 조금 이야기하긴 했지만, AI는 빠르고 강하게 우리에게 다가오고 있고, 지금 대응하는 것이 최선이라고 하셨죠. 그렇다면 왜 ISO/IEC 42001이 지금 중요한가요?”

제 관점에서 볼 때, 지금 우리는 하나의 전환점에 서 있습니다. AI의 도입과 활용이라는 측면에서 인류 전체가 중대한 전환점을 맞이하고 있을 뿐 아니라, AI 자체의 발전과 적용 방식에 있어서도, 이 기술이 앞으로 어떻게 다양한 산업과 국가, 지역에서 활용될 것인가에 대한 중대한 갈림길에 있다고 생각합니다. 지금 이 순간에도 매일같이 새로운 AI 도구들이 쏟아져 나오고 있고, 따라가야 할 변화의 속도도 점점 더 빨라지고 있습니다. 이제는 AI를 얼마나 효과적으로 거버넌스하고 있는가가, 성공하는 기업과 도태되는 기업을 가르는 핵심 요소가 되어가고 있어요. 수많은 모델, 업데이트, 치열한 경쟁 속에서 이제 진짜 중요한 건 기업이 AI를 어떻게 활용하고 있는지, 그 활용을 어떻게 통제하고 관리하고 있는지, 그리고 그것을 내부적으로나 이해관계자들에게 얼마나 잘 투명하게 소통하고 있는지입니다. 이러한 거버넌스를 무시하게 되면, 기업 입장에서 심각한 실패로 이어질 수 있고, 명성과 재무적인 손실, 브랜드 가치, 시장 내 입지까지 잃게 될 수 있습니다. 그만큼 지금 이 시점에서 AI 거버넌스를 구축하는 일은 선택이 아니라 필수라고 할 수 있습니다.

그래서 첫 번째 포인트는 지금 이 순간, 'AI 거버넌스는 그 어느 때보다 중요하다'는 점입니다. 그리고 두 번째는, 만약 우리가 지금 제대로 이 문제를 다루지 못한다면, '윤리적 부채'라는 새로운 리스크에 직면하게 될 수 있다는 것입니다.이건 앞으로 우리가 점점 더 많이 이야기하게 될 개념이에요. 그리고 이 '윤리적 부채'라는 개념은 AI의 도입과 활용 과정에서 특히 더 중요하게 작용합니다. 지금까지는 ‘기술적 부채’라는 개념에 익숙한 분들이 많지만, AI의 모델과 툴, 그리고 기업이 이를 어떻게 활용하느냐에 따라 기술적 부채를 넘어서 ‘윤리적 부채’가 발생할 수 있다는 것, 이건 정말 심각한 문제가 될 수 있습니다.

한 번 그런 윤리적 함정에 빠지게 되면, 기업 입장에서는 거기서 벗어나기가 매우 어렵습니다. 그리고 AI는 워낙 빠르게 확산되고, 정보와 커뮤니케이션도 너무나 빠르게 퍼지기 때문에 기업이 본의 아니게 깊은 리스크에 빠지는 상황도 실제로 충분히 일어날 수 있습니다. 그래서 우리는 처음부터 이 딜레마를 선제적으로 관리해야 하고, 윤리적 부채가 발생하지 않도록 AI의 책임 있는 도입과 거버넌스를 구축해야 합니다. 바로 그렇기 때문에, 지금 이 시점에서 ISO/IEC 42001이 그 어느 때보다 중요합니다. 이건 단지 리스크를 피하고, 윤리적 부채를 피하고, 거버넌스 체계를 선제적으로 갖추는 것에 그치지 않습니다. 더 나아가서, AI 혁신의 최전선에 책임감 있고 효율적인 방식으로 참여할 수 있는 능력을 갖추는 것이기도 합니다. 이렇게 함으로써, AI가 가져다주는 거대한 기회를 효과적이고 안전하게 포착할 수 있고, 동시에 고객, 규제 당국과의 장기적인 신뢰를 구축하는 기반도 마련할 수 있습니다.

정말 멋진 마무리였습니다. 오늘 이 대화가 얼마나 유익했고, AI와 42001에 대해 이렇게 깊이 있게 이야기할 수 있어서 얼마나 즐거웠는지 말로 다 표현할 수 없네요. 마지막으로, Kevin, 남기고 싶은 생각 있으신가요?

짧지만, 아마도 생각할 거리를 던져줄 수 있는 이야기로 마무리해보겠습니다. 우리는 오늘 AI가 얼마나 널리 퍼져 있고, 필연적인 기술이 되었는지에 대해 많이 이야기했어요. 하지만 우리가 아직 제대로 짚지 않은 건, AI가 단지 어디에나 존재하는 기술이 아니라, 우리의 현실 자체를 ‘형성하고 있다’는 점입니다. 우리가 AI에게 질문을 하고, 그 대답을 믿고, AI의 인사이트를 바탕으로 비즈니스 결정을 내리는 순간, 우리는 AI와 함께 우리가 인식하고 경험하는 ‘현실’을 만들어가고 있는 것입니다. 그렇다면, 그런 AI가 우리의 현실을 함께 만들고 있는 지금, 그 AI가 제대로 관리되고 있다는 걸 우리가 알고 있어야 하지 않을까요?

즉, 거버넌스는 관료적 장벽이 아니라, AI와 함께 미래를 공동 창조하기 위한 핵심적인 과정입니다. 사실 우리는 이미 그 여정을 시작했어요. 그리고 이 접근은, AI라는 다소 위험하고 통제 불가능해 보일 수도 있는 실험을 지속가능한 경쟁우위를 창출할 수 있는 전략적 도구로 바꿔줄 수 있는 길이기도 합니다 — 우리 조직을 위해서도, 우리의 고객을 위해서도요.

오늘 에피소드는 정말 AI와 ISO/IEC 42001에 대해 새로운 시각을 열어주는 시간이었습니다. 모든 분들께 큰 도움이 되었길 바랍니다. 함께해 주셔서 감사합니다.

초대해 주셔서 감사합니다, X. 정말 즐거운 시간이었고, 귀한 시간 내주셔서 진심으로 감사드립니다.

그리고 오늘 함께해 주신 모든 청취자 여러분께도 감사드립니다. LRQA는 조직이 AI와 기술을 신뢰를 가지고 도입할 수 있도록 지원합니다. 저희의 서비스에는 ISO/IEC 42001 교육, 차이점 분석, 인증 서비스가 포함되어 있어, AI 리스크를 효과적으로 관리하고, 윤리적이고 책임 있는 AI 활용 체계를 조직 전반에 내재화하는 데 도움을 드리고 있습니다.또한, ISO/IEC 27001, 27701을 통한 사이버 보안 및 정보 보안 솔루션도 함께 제공하여, 여러분의 디지털 전환 여정을 보다 포괄적이고 신뢰성 있게 지원합니다.

오늘 함께해 주셔서 감사합니다.