대부분 기업은 지난 몇 년간 AI를 실험적으로 도입하면서 제한적인 파일럿이나 PoC 프로젝트를 진행하고 후속 조치가 부족한 경우가 많았다. 그러나 최근에는 새로운 흐름이 나타나고 있다. 일부 조직은 이렇게 무작위로 진행된 ‘AI 실험’을 반복 가능하고 측정 가능하며, 경영 목표와 일치하는 비즈니스 프랙티스로 전환하고 있다.

다음은 그런 변화를 이끈 여러 산업의 IT 책임자가 경험을 통해 얻은 네 가지 핵심 교훈이다.

의도성을 위한 조직화

댄 제닝스가 2023년 월그린스(Walgreens)의 CTO로 부임했을 때, 회사 내부에는 AI에 대한 열정이 넘쳐났지만 이를 조율할 체계가 없었다. 제닝스는 “AI 관련 활동이 여기저기 흩어져 있었다. 여러 팀이 각자 모델을 실험하고, 파일럿을 진행하고, 솔루션 업체의 도구를 도입했지만 통합된 전략이 없었다”라고 밝혔다.

제닝스가 가장 먼저 착수한 일은 이런 실험을 체계화하는 일이었다. 기술, 데이터, 정보보안, 사업부를 하나의 공통 프레임워크로 연결하는 ‘AI 활성화 센터(COE, Heart of Enablement)’를 신설한 것이다. 이 가상 조직은 혁신 엔진이자 관제탑 역할을 하고 AI 프로젝트를 필터링하고 우선순위를 정하며, 월그린스의 비즈니스 전략과 일치하도록 확장한다. 제닝스는 “빠르게 실패하고 빠르게 배우되, 혁신에는 반드시 규율이 필요하다”라고 강조했다.

COE는 각 제안을 검토한 뒤 일관된 절차를 따른다. PoC를 거쳐 최소 기능 제품(Minimal Viable Product, MVP) 테스트를 진행하고, 성과를 측정할 수 있는 배포 단계로 이어지는 구조다. 제닝스는 “AI를 다른 제품 투자와 동일하게 다루고 있다. 로드맵, 비즈니스 케이스, 그리고 추적 가능한 결과 지표가 있다”라고 설명했다.

이 같은 구조 덕분에 월그린스는 소매 기업이자 헬스케어 기업이라는 두 가지 정체성을 균형 있게 유지할 수 있게 됐다. 리스크 허용 수준이 전혀 다른 두 산업을 아우르기 때문이다. 소매 부문에서는 AI가 빠르게 움직이며 재고 최적화, 개인화, 디지털 고객 참여를 촉진한다. 반면 헬스케어 부문에서는 모든 프로젝트가 도입 전에 엄격한 거버넌스, 투명성, 검증 절차를 거쳐야 한다. 제닝스는 “소매의 민첩성과 헬스케어의 규율을 결합하고 있다”라고 덧붙였다.

제닝스는 월그린스의 변화를 ‘열정에서 의도성으로의 전환’이라고 표현했다. 초기에는 직원이 각자 생성형 AI 도구를 실험하며, 제닝스가 ‘무작위 AI 실험(Random Acts of AI)’이라 부르는 현상이 벌어졌다. 이제 이런 시도는 AI 활성화 센터를 통해 관리되는 핵심 사용례로 전환되어, 약국 수요 예측과 직원 스케줄링 같은 주요 과제를 지원하고 있다. 제닝스는 “이제는 모델을 가지고 노는 것이 아니라, AI를 통해 측정 가능한 비즈니스 성과를 안전하고 대규모로 창출하는 단계에 들어섰다”라고 강조했다.

재무제표를 넘어선 ROI 측정

FMOL 헬스(Franciscan Missionaries of Our Woman Well being System)의 부사장이자 CIO인 윌 랜드리는 “전통적인 재무 지표만으로는 모든 것을 설명할 수 없다”라고 지적했다. 랜드리는 “FMOL 헬스는 비영리 의료기관이기 때문에 ROI는 단순한 비용 절감이 아니라 의사 참여도와 만족도, 환자 참여도와 만족도에 달려 있다”라고 설명했다. 즉, 성공의 기준은 경제적 효율성뿐 아니라 인간 중심의 경험에도 있다는 뜻이다.

랜드리는 AI 도구가 어떻게 의료진의 피로를 줄이고 문서 작성 시간을 단축하며, 환자와의 상호작용 품질을 높이는지를 평가하고 있다고 말했다. 예를 들어 수백 개의 병원과 클리닉에 도입된 앰비언트 리스닝 시스템(Ambient Listening System) 덕분에 의사는 진료 기록을 작성하느라 야근하는 시간이 줄었고, 환자와의 의미있는 대화에 더 많은 시간을 쏟을 수 있게 됐다. 이 변화는 만족도와 사기 모두를 높였고, 환자는 더 정확한 진료 기록을 더 빨리 받아볼 수 있게 됐다.

FMOL 헬스의 AI 투자는 운영 효율 측면에서도 가시적인 성과를 내고 있다. 랜드리는 “AI 도입 범위를 임상 문서화 도구에서 백오피스 자동화까지 확장했지만, 기술 예산 증가율은 매출과 서비스 규모 증가율보다 낮았다”고 밝혔다. 또, “이건 실제로 효율이 개선됐다는 의미다. 같은 인력 규모로 더 많은 자동화를 이루고 있다”고 강조했다. 랜드리에게 진정한 AI의 ROI란 참여도 향상과 기술 비용의 균형이 유지되는 상태, 즉 재정적 건전성ㅡ과 인간 중심의 웰빙이 함께 구축된 조직이라고 정의했다.

사무가구 제조업체 스틸케이스(Steelcase)의 CTO 스티브 밀러 역시 ROI를 단순한 수익률이나 비용 절감 이상의 개념으로 본다. 밀러는 “어떤 사업 영역을 개선하려는가에 따라 ROI의 의미가 달라진다”라며, “어떤 경우에는 지속가능성 지표를 개선하는 것이 목표이고, 또 다른 경우에는 우리 제품을 사용하는 사람들의 경험과 만족도를 높이는 것이 핵심이다”라고 설명했다.

스틸케이스의 AI 비즈니스 그룹은 AI를 단순한 효율성 향상 도구로 보지 않는다. 밀러는 각 AI 프로젝트를 회사의 목적과 연결해 에너지 절감, 원자재 낭비 최소화, 고객 및 직원 경험 향상 같은 구체적 성과로 이어지게 한다고 설명했다. 예를 들어 AI 기반 분석과 시뮬레이션 도구는 제조 공정의 흐름을 최적화해 에너지 소비와 폐기율을 줄인다. 반면 디자인 중심의 시스템은 사용자가 스틸케이스 제품을 얼마나 자연스럽게 사용할 수 있는지를 성공 기준으로 삼는다. 밀러는 “성과의 일부는 재무 지표가 아니라 지속가능성이나 만족도 같은 지표로 평가된다”라고 밝혔다.

스틸케이스는 AI 투자를 지속가능성과 인간 경험에 연결함으로써 시간이 지날수록 누적되는 장기 가치를 만들어가고 있다. 예를 들어 예측 분석 기술은 기업이 사무실을 리노베이션할 시점을 예측해 과잉 생산과 폐기물을 줄이고, 고객이 더 책임감 있게 공간을 계획할 수 있도록 돕는다. 밀러는 이를 “의도적인 AI의 본질”이라고 정의하며, “AI는 단순히 비용을 낮추는 수단이 아니라, 데이터를 활용해 일하는 방식과 생산 방식을 더 나은 방향으로 변화시키는 도구여야 한다”라고 강조했다.

가드레일과 거버넌스를 통한 신뢰 구축

랜드리는 “의료 분야에서 AI가 성공하려면 신뢰가 기반이 돼야 한다”라며, “우리는 환자 데이터의 관리자이며, 환자는 우리에게 자신의 정보를 지킬 것을 신뢰하고 있다”라고 강조했다. 이런 책임감 때문에 FMOL 헬스의 AI 혁신은 언제나 실험 정신과 안전, 그리고 윤리적 감독 사이에서 균형을 유지해야 한다.

이를 위해 랜드리의 팀은 기술 설계와 배포의 모든 단계에 거버넌스를 내재화했다. 예를 들어, 진료 중 대화를 자동으로 기록해 문서 초안을 작성하는 앰비언트 임상 리스닝 시스템 같은 실험적 기술조차도 엄격한 감독하에 도입된다. 환자의 명시적 동의를 받은 뒤, 세션 종료 후 반드시 의사가 내용을 검토하고 승인해야 한다. 랜드리는 “우리는 설계 단계부터 보수적으로 접근한다. AI가 무엇을 작성하더라도, 의사가 검토하고 서명하지 않으면 환자 기록에 반영되지 않는다”라고 설명했다.

FMOL 헬스의 거버넌스 구조는 임상 영역을 넘어 데이터 관리와 보안으로도 확장된다. 데이터 관리팀과 보안팀은 ‘커뮤니티 커넥트(Group Join)’ 프로그램을 통해 병원, 클리닉, 협력기관 간 데이터가 안전하게 공유되는지를 공동으로 모니터링한다. 이 프로그램은 독립 병원이 FMOL 헬스의 에픽(Epic) 시스템을 안전하게 사용할 수 있게 하는 구조다. 랜드리는 “목표는 단순한 규제 준수가 아니라 신뢰 확보다. 의료진과 환자가 AI가 책임감 있게 사용되고 있다는 확신을 가져야 한다”라고 덧붙였다.

하지만, 이런 가드레일이 혁신을 늦추는 게 아니라 지속 가능하게 만든다. 랜드리는 “의료 산업은 빠르게 움직여야 하지만, 실수를 허용할 수는 없다. 우리의 거버넌스 체계는 안전하게 전진할 수 있다는 자신감을 준다”라고 강조했다.

스틸케이스의 밀러는 “AI에서 신뢰는 구조에서 시작된다”라며, “데이터 거버넌스 협의회를 통해 AI가 ‘무엇을 할 수 있는가’뿐 아니라 ‘무엇을 해야 하는가’를 명확히 규정하고 있다”라고 설명했다. 협의회는 데이터 거버넌스, 정보보안, 법무, 인사 부서의 리더로 구성되며, 모든 AI 프로젝트를 검토하고 데이터 품질, 개인정보 보호, 윤리적 사용을 보장한다. 또한 데이터셋의 활용 목적을 명시하고 편향 여부를 감시하며, 민감 정보 처리 규칙을 엄격히 관리한다.

밀러는 이 구조를 “관료적 절차가 아닌, AI 개발에 직접 내장된 ‘살아 있는 거버넌스 체계’”라고 표현했다. 실제로 데이터 거버넌스 전문가가 AI 개발팀에 상주하며 모델의 행동을 감시하고 잠재적 위험을 식별하며, 새로운 도구를 테스트할 때 책임 있는 개선이 이뤄지도록 관리한다. 밀러는 “데이터가 올바르게 사용되는지 확인하는 일은 끝이 없다. 결과가 좋지 않다면 즉시 조정해야 한다”라고 조언했다.

밀러는 이런 체계가 혁신을 가능하게 한다고 강조했다. 윤리적 경계를 명확히 정의하면, 팀은 그 안에서 자유롭게 실험할 수 있다. 또, “에이전틱 AI 단계에 들어가면, 경계를 정의하고 지키는 일이 필수적이다”라고 덧붙였다.

스틸케이스에 거버넌스는 단순한 규제 준수가 아니라 신뢰의 기반이다. 밀러는 “우리 디자이너와 엔지니어는 매일 AI 시스템을 사용해 제품 설계, 공장 시뮬레이션, 공간 활용 분석을 수행한다. 중요한 것은 AI가 예측 가능하고 윤리적으로 작동한다는 확신을 주는 것이다. 그것이 사람들이 실제로 AI를 신뢰하고 사용할 수 있게 만드는 핵심이다”라고 설명했다.

AI를 통한 인간 역량 강화

데이터 브로커 줌인포(ZoomInfo)의 최고 전략 책임자 러셀 레비는 “AI의 진정한 힘은 사람을 대체하는 것이 아니라 인간의 역량을 증폭시키는 데 있다”라고 지적했다. 레비는 “가장 뛰어난 AI 에이전트 중 일부는 데이터 과학자가 아니라 현장의 영업 담당자가 만들었다. 그들은 자신에게 가장 효과적인 방식을 알고 있었고, 그것을 모두가 활용할 수 있도록 공유하고 싶어 했다”라고 말했다.

이 철학이 줌인포의 AI 전략 전체를 이끌고 있다. 줌인포는 직원이 직접 에이전틱 AI를 설계하고 배포할 수 있도록 도구를 제공하되, 반드시 인간이 통제권을 유지하는 거버넌스 모델 아래에서 운영한다. 레비는 “모든 AI 에이전트에는 반드시 사람이 개입한다. AI가 이메일 초안을 작성하고 회의를 기록하고 통화 요약을 생성할 수는 있지만, 그 결과를 언제 어떻게 사용할지는 사람이 결정한다”라고 설명했다.

레비는 이를 ‘자동화에서 증강으로의 전환’으로 정의했다. 성과가 높은 직원의 직관적 노하우를 AI 에이전트로 코드화해 조직 전체가 활용할 수 있도록 만드는 것이다. 영업 담당자의 최적 후속 전략이나 고객지원 직원의 어려운 대화 표현법 등이 이제 자동으로 기록되고 공유된다. 레비는 “AI는 암묵적 지식을 재사용 가능한 자산으로 바꾸는 과정이다”라고 강조했다.

이처럼 기술 비전문가가 자신의 업무 지능을 담은 AI 에이전트를 직접 만드는 문화는 조직의 중요한 전환점이 되었다. 레비는 “직원이 스스로와 팀을 돕는 AI를 만들 수 있다는 사실을 깨닫는 순간, AI 도입은 자연스럽게 확산된다”라고 말했다. 이렇게 인간과 AI 에이전트가 상호 학습하며 협업하는 환경이 만들어진 것이다. 레비는 “AI는 사람을 대체하지 않는다. 오히려 사람의 영향력을 확장한다”라고 덧붙였다.

산업 분야마다 접근 방식은 다르지만, 공통된 맥락은 분명하다. ‘의도적인 AI(deliberate AI)’는 정해진 매뉴얼이 아니라, 혁신과 윤리, 자동화와 인간의 판단을 균형 있게 조화시키는 사고방식이라는 점이다.
dl-ciokorea@foundryco.com