TIAA는 수십, 수백 건의 AI 아이디어와 파일럿 프로젝트가 동시에 진행되는 ‘AI 실험의 온상’이다. 하지만 107년 역사의 이 금융 서비스 기업은 실제 전사적으로 적용할 수 있는 AI 프로젝트는 절반도 안 되는 소수만 우선 추진하고 있다. 대부분 화려하지 않지만 핵심적인 업무를 다루는 사용례다.

이는 AI에 대한 흥미 부족 때문이 아니라, 장기적 성과를 위한 신중한 배포 전략 때문이다. TIAA의 최고 운영·정보·디지털책임자 사스트리 두르바술라는 “지금 AI 시장에는 고기 굽는 소리만 요란하고 먹을 고기는 별로 없다”라고 지적했다. “모두가 흥미로운 차세대 사용례를 보여주고 싶어 하지만, AI를 전사적으로 확장하려면 비즈니스의 핵심 문제, 다시 말해 ‘지루하지만 본질적인 문제’를 해결해야 한다”라고 강조했다.

두르바술라가 말한 신중한 AI 확장 전략은 AI 도입이 새로운 전환점을 맞은 시기에 등장했다. 생성형 AI, 그리고 최근의 에이전틱 AI에 대한 초기 열풍이 잦아들면서, 기업은 현실 점검의 순간에 직면하고 있다. 초반에는 개인 생산성 향상에 놀라운 효과를 냈지만, 전사적 도입이나 수익 개선 같은 실질적 비즈니스 성과로 이어진 경우는 드물었다.

TIAA

MIT 난다(NANDA) 이니셔티브 보고서에 따르면, 미국 기업은 생성형 AI 프로젝트에 350억~400억 달러를 투자했지만, 실질적으로 매출 성장을 이끈 사례는 5percent에 불과했다. 대부분 프로젝트가 손익에 거의 영향을 주지 못한 이유는 AI 모델의 품질이나 성능이 아니라, 올바른 사용례를 찾지 못했기 때문이다. MIT 보고서는 특히 기업 시스템 통합 문제와 업무 흐름에 맞춰 모델을 학습시키고 정렬하는 기술적 과제가 핵심 장애물이라고 분석했다.

기업은 또한 AI 모델의 환각과 편향에 대한 우려, 그리고 AI가 일자리를 대체할지도 모른다는 불안감으로 과도한 실험 단계를 재점검하고 있다.

PwC 컨설팅 솔루션 파트너 라니 라드하크리슈난은 “AI의 신뢰 기반이 완전히 구축되지 않았고, 가치를 객관적으로 측정할 만큼의 성능 수준에도 아직 도달하지 못했다”라며, “AI의 진정한 가치를 입증하려면 전 주기를 거쳐야 하며, 그것은 결국 시간의 문제다”라고 덧붙였다.

기본으로 돌아가기

IT 책임자는 이제 새로운 기술을 무작정 따라가기보다, 체계적 프레임워크와 방법론을 세워 기술을 안정적으로 도입하는 일에 집중하고 있다. 과거의 기술 혁신보다 AI의 발전 속도가 훨씬 빠르고, 불확실성도 훨씬 크기 때문이다.

페덱스의 글로벌 운영 및 기술 부문 부사장 겸 CIO를 지낸 뒤 현재 전략·기술 컨설턴트로 활동 중인 케네스 스팽글러는 “과거에는 소프트웨어 엔지니어링을 위한 프레임워크와 방법론이 존재했고, 이를 따라 잘 수행할 수 있었다. AI는 아직 그런 틀이 제대로 마련되지 않았다는 점이 문제이며, 지금도 계속 진화 중”이라고 말했다.

AdaptiveION

기업이 무분별한 실험 대신 오랜 시간 검증된 실행 원칙을 기반으로 AI를 도입할 때 비로소 실질적 영향력을 얻고 전사적으로 확산할 수 있다. 물론 AI의 고유 특성에 맞게 원칙을 수정하는 과정은 필요하다. TIAA는 이 방향을 따르며 거버넌스 구조, 성과 지표, 변화 관리, 교육 및 활용 역량 프로그램을 포괄하는 기업용 AI 배포 프레임워크를 구축하고 있다. 이는 개별 사용례를 기업 전체 전략으로 확장해 비즈니스 목표를 가속하는 데 초점을 맞추고 있다.

리제네론 제약은 거버넌스를 AI 확장의 핵심으로 삼았다. 리제네론의 CIO 밥 맥코완은 “리제네론은 AI와 관련해 감수할 수 있는 위험과 감수할 수 없는 위험을 세밀히 구분하고, 업계와 회사 데이터·규제 요구사항을 깊이 이해한 외부 전문가의 조언을 받아왔다”고 설명했다.

리제네론은 또 AI 거버넌스를 실제로 작동시킬 제어 체계를 마련하고 있다. 예를 들어, 문서 분류 작업을 수행할 때, 어떤 데이터를 LLM에 입력할 수 있고 어떤 것은 불가능한지 자동으로 판별하는 메커니즘을 구축하고 있다. 이를 위해 과거 부서별로 달랐던 데이터 접근 및 관리 권한을 재검토하고, 각 사업 부문 대표로 구성된 거버넌스 팀을 만들어 논의와 조율을 거쳤다.

맥코완은 이 같은 체계적 거버넌스 덕분에 리제네론이 사내 데이터만으로 작동하는 코파일럿형 생성형 AI 애플리케이션 여러 개를 대규모로 운영할 수 있었다고 밝혔다. 또, “제대로 된 거버넌스는 속도를 늦추는 브레이크가 아니라, 더 빠르게 달릴 수 있게 해주는 안전장치”라고 강조했다.

Regeneron

트랙터 서플라이(Tractor Provide)도 AI 거버넌스에 공을 들이고 있다. 보안 통제, 데이터 품질 관리, 프롬프트의 정확성 유지 등이 그 예다. 그러나 무엇보다 중요한 점은, AI 기술이 아니라 ‘문제’에서 출발한다는 점이다.

농촌 생활용품 유통업체인 트랙터 서플라이의 최고 기술·디지털·전략책임자 롭 밀스는 “우리는 기술이 아니라 문제를 먼저 본다. 조직의 고충을 파악하고, 그 문제 해결에 AI가 기여할 수 있는지를 검증하는 방식으로 접근한다”라고 말했다.

트랙터 서플라이의 AI 확장 전략에서 또 하나 중요한 요소는 LLM 표준화다. 오픈AI와 협력해 챗GPT를 전사 워크플로우에 통합하고, 회사 데이터를 반영해 특정 직무나 고객 교육 같은 목적별 LLM을 구축했다.

예를 들어, 매장 직원 전용 LLM은 현장에서 고객에게 즉시 필요한 정보를 제공한다. 닭을 기르는 고객이 알 생산량을 늘리고 싶다고 할 때, 직원은 LLM의 도움으로 적절한 제품과 관리 방법을 즉시 안내할 수 있다. 이 사례는 1~2개 매장의 파일럿에서 시작해 매달 20만~30만 건의 질문을 처리하는 대규모 시스템으로 성장했고, 매출 증가로 이어졌다는 것이 밀스의 설명이다.

밀스는 “플랫폼을 표준화하면 한 번의 학습과 한 번의 거버넌스로 모든 곳에 확장할 수 있다”라며 “이런 규율이 비용을 통제하고, 통찰을 실질적 성과로 바꾼다”라고 강조했다.

Rob Mills / Tractor Provide Co.

이 같은 엄격한 AI 확장 전략이 트랙터 서플라이의 실험 정신을 약화시키지는 않는다. 직원은 자신만의 생산성과 자동화 수준을 높이기 위해 AI를 탐구할 수 있는 도구와 교육, 보안 환경을 제공받는다. 효과가 입증된 사례는 조직 전체로 확산된다.

밀스는 “우리는 안전한 실험 문화를 구축했다. 명확한 가이드라인 안에서 아이디어를 시험하고, 가치가 입증되면 확장한다. 이것이 수천 개의 프롬프트와 프로토타입을 일관된 비즈니스 성과로 전환하는 방식”이라고 덧붙였다.

성과 지표와 조직 구조 : 성공의 두 축

웹스터 은행(Webster Financial institution)은 거버넌스 구조, AI 비즈니스 사용자 그룹, AI 기술 구축 및 설계 체계의 세 가지 축으로 구성된 이른 ‘세 발 전략’을 수립해 AI 확산 로드맵을 추진하고 있다.

AI 거버넌스 위원회는 이사회 기술위원회에 정식으로 보고하며, IT부터 데이터, 사이버 보안, 프라이버시, 컴플라이언스, 법무, 감사 부서가 참여한다. 이 위원회는 각 파일럿 프로젝트가 은행의 위험 프로파일에 부합하는지, AI 모델에 편향이 없는지를 검토하고 확장 가능성을 평가한다. 또, 각 사업 부문과 기능 부서가 참여하는 AI 비즈니스 사용자 그룹은 AI 전도사 역할을 하며, 다양한 사용례를 발굴해 위원회에 제안한다. 위원회는 이를 공식 평가해 기업 전반의 가치 창출 가능성과 성공 가능성을 판단한다.

웹스터 은행의 부사장 겸 CIO 비크람 나프데는 “이 사용자 그룹이야말로 전략의 ‘풀뿌리’ 역할을 하고 있다. 특히 운영과 기술 부문에서 AI의 비즈니스 가치가 가장 크게 드러났다”라고 강조했다.

지금까지 웹스터 은행은 150건의 잠재적 AI 사용례를 수집했고, 이 가운데 약 12건이 실제 운영 단계에 진입했다. 나프데는 “우리는 코드 한 줄을 작성하기 전에 먼저 KPI를 설정하고 전 과정에서 이를 검증한다”라며, “측정할 수 없다면, 무엇이 작동하고 있는지 혹은 확장할 가치가 있는지도 알 수 없다”라고 지적했다.

Webster Financial institution

세 번째 축은 실제로 사용례를 구현하는 일이다. ‘퀀텀 마인즈(Quantum Minds)’라는 애자일 전담팀이 나프데 직속 AI 총괄 책임자의 지휘 아래 AI 솔루션을 설계 및 개발하고 있으며, 하이퍼스케일 클라우드 및 기술 파트너사와 협력해 구축 속도를 높이고 있다.

TIAA 역시 모든 AI 프로젝트를 ROI 프레임워크에 따라 평가한다. 매출 성장, 이익 개선, 고객 경험, 리스크 관리 등 주요 항목별 영향을 분석하고, 기업 규모로 확대되는 모든 프로젝트에는 성과 지표를 설계 단계부터 반영한다. 현재 글로벌 직원 수천 명이 사용하는 AI 비서 ‘마이게이트(MyGAIT, My Generative Agentic Clever Know-how)’, 그리고 고객 상담원의 공감 능력을 높여주는 ‘공감형 상담 에이전트’가 대표적인 사례다.

TIAA의 두르바술라는 “2026년부터는 이런 AI 프로젝트를 경영계획에 직접 포함시켜, 도입 이후 실제 ROI 약속이 이행되는지를 검증할 것”이라며, “성과 지표를 달성하지 못하면, 곧 계획을 놓치는 셈이다. 그것이 가장 확실한 책임 경영 방식”이라고 밝혔다.

TIAA의 AI 확장 전략에서 또 하나의 핵심 과제는 변화 관리(Change Administration)다. 두르바술라는 CFO와 최고 인사 책임자 등 경영진과 협력해, AI가 결합된 미래 인력 구성, 리스크 및 거버넌스 통제 설계, ROI 검증 지표 구축 등 주요 과제를 논의하고 있다. 두르바술라는 “AI 중심 조직의 변화 관리는 매우 신중히 접근해야 한다. 일자리 상실에 대한 불안이 큰 만큼, 조직이 다음 단계로 나아갈 수 있도록 건전한 낙관주의를 심어주는 리더십이 필요하다”고 강조했다.
dl-ciokorea@foundryco.com