가트너는 전 세계 AI 지출이 올해 1조 5,000억 달러에서 2026년에 2조 달러에 이를 것으로 전망했다. 경영 컨설팅 회사 웨스트 먼로가 대기업 임원 300명 이상을 대상으로 진행한 설문에서도 응답자의 85percent가 내년에 IT 예산을 늘릴 계획이라고 답했으며, 이 가운데 상당 부분이 AI에 투입될 예정이라고 밝혔다. 응답 임원의 42percent는 AI와 데이터 역량 확장을 기술 투자 최우선 과제로 꼽았고, 91percent는 AI가 기술 지출 증가를 유발하고 있다고 답했다. 약 3/4은 AI 도입으로 외부 계약 비용도 늘릴 계획이라고 밝혔다.

웨스트 먼로의 최고 AI 책임자 브렛 그린스타인은 지난 몇 년 동안 많은 기업이 AI가 무엇을 할 수 있는지 파악하기 위한 개념검증 작업을 진행하고 있었지만, 최근 분위기는 달라졌다고 설명했다. 그린스타인은 “이제는 사용례나 개념검증을 이야기하는 경우가 크게 줄고, 1단계 또는 2단계 프로젝트 논의가 많아졌다”고 말했다.

그린스타인은 AI가 무엇을 할 수 있는지 판단하는 일이 이제는 어렵지 않다며, “어떤 과제를 보면 AI로 충분히 해결할 수 있는지 바로 판단할 수 있다”라고 말했다. 하지만 CIO가 원하는 만큼 마음대로 예산을 쓸 수 있다는 의미는 아니라고 덧붙였다.

글로벌 투자·보험사 프린시펄 파이낸셜 그룹의 최고 데이터 및 애널리틱스 책임자 라제시 아로라는 현재 회사의 초점은 측정 가능한 비즈니스 가치를 제공하는 데 맞춰져 있다고 말했다.

프린시펄 파이낸셜 그룹은 확장 가능한 플랫폼과 고가치 사용례를 중심으로 예산을 재배분하고 있으며, 엄격한 ROI 추적과 비용 거버넌스도 도입하고 있다. 아로라는 이제 실험적 파일럿 단계를 넘어섰으며, 확장 가능한 플랫폼뿐 아니라 라이프사이클 관리 도구, 데이터 기반, 운영 AI 역량도 함께 검토하고 있다고 설명했다.

아로라는 “프로세스를 자동화하고 고객 경험을 개선하고, 새로운 역량을 구축하고 리스크 관리 체계를 강화하는 솔루션을 찾고 있다”라며, “모든 비용을 최대한 효율적으로 사용하는 것이 목표다. 예산이 유한한 만큼 우선순위 조정도 불가피하다”라고 강조했다.

예를 들어 프린시펄 파이낸셜 그룹은 가치가 낮은 투자 항목을 중단하고, 고가치 사용례에 집중하고 있다. 계약 관리도 강화하고 조건 재협상도 진행 중이다. 또 자동화 측면에서는 LLM 운영 비용 경보 기능과 주요 사항 버전 관리 기능을 구축해 이상 징후를 식별하고 초과 비용을 방지하고 있다.

LLM은 동일한 입력에 다른 결과를 생성할 수 있고 모델 버전에 따라서도 성능과 비용이 크게 달라질 수 있다. 버전 관리 기능은 소프트웨어 변경뿐 아니라 모델, 데이터, 프롬프트 사용 이력을 추적한다. 아로나는 “결국 비용 통제를 위해 AI를 전략적 관리 대상으로 삼는다는 의미”라고 말했다.

아로라의 경험은 드문 사례가 아니다. 다양한 규모와 업종의 기업이 개념검증 단계를 넘어 본격적인 대규모 도입 단계로 이동하면서 AI 지출 관리라는 새로운 과제에 직면하고 있다. ROI 요구 증가, 레거시 예산의 AI 전환, 기술 부채 관리 등이 대표적인 과제다.

성과 증명에 대한 압박

프린시펄 파이낸셜 그룹은 AI 투자가 가치가 있음을 입증하기 위해 효율성 향상, 리스크 감소, 고객 만족도 개선, 직원 경험 개선을 추적하고 있다. 이는 AI가 창출하는 가치를 전체적으로 파악하는 데도 도움이 된다.

아로라는 “균형 잡힌 포트폴리오를 유지하는 접근 방식을 취하고 있다. 이는 단기 성과로 동력을 얻는 동시에 전략적 우위와 성장을 위한 장기 혁신에 투자한다는 의미이다”라며, “AI 역량이 성숙해지면서 성공 기준을 더욱 명확하게 설정하고 장기적 지속 가능성을 보장하는 일이 중요해졌다”라고 덧붙였다.

규모가 작은 기업의 기술 책임자도 AI 프로젝트의 결과를 입증해야 하는 상황이다. 미국 오스틴과 샌안토니오에 4개 사무소를 보유한 JB굿윈 리얼터스는 800명 규모의 에이전트, 파트너, 직원이 근무하는데, 모두가 AI를 적극적으로 활용하고 있다.

JB굿윈 리얼터스의 부사장 에드워드 툴은 “CEO도 매일 AI를 사용한다. 모든 에이전트도 AI를 활용하고 있고, 추가 지출 승인도 받았다. 하지만 ROI는 직접 증명해야 한다”라고 강조했다. 툴은 “소규모로 지출하고 사용례를 입증하면, 예산을 조금 더 받고 다시 조금 더 지출하는 방식이다”라고 설명했다. 예를 들어 효율성이 개선되었는지 보여주기 위해 기존 방식과 AI 방식 두 가지 프로세스를 병행해 비교하기도 한다.

가트너 애널리스트 멜러니 프리즈는 비용 절감 효과가 있는 AI 프로젝트에 집중하는 것이 성과를 보여주고 동력을 확보하는 좋은 방식이라고 평가했다. 프리즈는 “비용 외에도 장기적 가치로 이어지는 다양한 효과를 얻을 수 있다”고 설명했다. 예를 들어 인프라와 운영에서는 클라우드 비용 관리, IT 서비스 지원, 전반적 직원 생산성이 대표적 성과이다.

프리즈는 “비용 최적화뿐 아니라 혁신, 효율성, 인재 관리 최적화 같은 다양한 가치를 함께 확보할 수 있다”라고 덧붙였다.

투자 우선순위의 변화

아직 명확한 ROI가 없는 실험적 AI 프로젝트 비용을 충당하는 또 하나의 방법은 다른 예산 항목에서 자금을 이전하는 것이다. 툴은 그런 방식을 실제로 사용한다며, “AI 지출을 상쇄하기 위해 다른 비용을 줄인다”라고 말했다.

웨스트 먼로의 브렛 그린스타인은 모든 기업이 AI 중심 또는 AI 네이티브 조직이 되고 싶어 하지만, “회사 생존에 직결되는 경우가 아니라면 추가 예산이 따로 있는 곳은 없다”라고 지적했다. 그래서 레거시 프로젝트 예산을 AI로 전환하는 전략이 널리 쓰인다는 것.

그린스타인은 “기업 내부 우선순위가 이동하고 있다”라고 강조했다. 기업은 기존 투자가 AI 때문에 불필요해졌는지, 또는 AI로 대체 가능한지를 검토하고 있으며, 솔루션 업체에도 비용 절감을 강하게 요구하고 있다.

기술 선도 기업조차 이런 조정이 필요할 수 있다. 포춘 500대 보험회사 한 곳의 수석 기술 임원은 “AI를 위해 완전히 새로운 예산 항목을 만든 것은 아니다. AI 예산 책정 방식은 아직도 조율 중이다”라고 말했다.

해당 기업은 대신 다른 영역에서 자금을 떼어 AI에 투입하고 있다. 이 기술 임원은 “현재 AI는 자체 조달 모델로 운영되고 있다. 레거시 기술에 투입하던 투자를 AI로 이동하는 방식이다”라고 설명했다. 예를 들어 이전에 특정 기술에 연간 100만 달러를 사용하던 비용을 자동화를 통해 90만 달러로 줄였다면, 절감한 10만 달러를 AI에 투입하는 식이다.

일부 기업은 솔루션 업체가 기존 제품에 AI 기능이나 에이전트 기능을 추가하면서 회사가 새로운 AI 기능을 무료로 얻기도 한다. 하지만 어떤 플랫폼은 새 기능에 대해 추가 비용을 청구한다. 이런 구조는 2026~2027년에 새로운 자금 모델로 발전할 가능성이 있으며, 기업의 AI 활용이 성숙해질수록 자금 모델도 함께 진화할 것으로 보인다.

이 기술 임원은 “높은 비즈니스 가치를 창출하거나 효율성을 높이는 역량을 입증하면 변화가 나타날 것이다. 그러면 속도를 높이기 위한 추가 투자로 전환할 것”이라고 말했다.

예상치 못한 상황을 대비한 계획

IT 프로젝트 예산 수립은 원래도 쉽지 않았지만, AI는 여기에 새로운 난제를 더하고 있다. 전례 없는 변화 속도가 대표적인 과제다.

퍼블리시스 사피엥트의 최고 제품 책임자 셸던 몬테이로는 “지금 세우는 어떤 모델도 6개월 뒤에는 유효하지 않다”라고 지적했다. 물론 이런 변화가 항상 나쁜 것만은 아니다. 몬테이로는 지난 2년간 일부 모델의 토큰당 비용이 급격히 떨어진 것을 예로 들었다. 하지만 반대로 더 새롭고 뛰어난 모델이 계속 등장하고, 사용량이 증가하면서 성능도 예측하기 어렵다.

몬테이로는 “전통 소프트웨어 경제학에서는 개발, 엔지니어링, 인프라 같은 선행 비용이 들어가지만, 일단 고정 비용이 확정되면 운영 비용은 비교적 예측 가능하고 관리 가능하다. 하지만 AI는 추론 비용이 변동적이고, 안전성 검증과 컴플라이언스 점검에도 추가 비용이 발생할 수 있다”라고 지적했다. 확장도 선형적이지 않고 기술 자체가 계속 변한다는 점도 문제다.

몬테이로는 “탄력적으로 대응할 수 있어야 한다. 지금은 어떤 기술이 승자나 패자가 될지 판단하기조차 어렵다”라고 강조했다.

AI가 사람, 시스템, 데이터에 요구하는 부담도 예산 수립의 또 다른 난제다. 프린시펄 파이낸셜 그룹의 라제시 아로라는 AI 비용 관리에서 가장 큰 과제가 인재 확보라고 말했다. 아로라는 “기술 역량 격차와 부서 간 의존성 때문에 작업이 지연되고 비용이 증가한다”고 설명했다.

규제 변화도 문제다. 규제가 계속 바뀌는 만큼 거버넌스 체계를 지속적으로 조정해야 한다. 또 기업은 AI에 필요한 데이터와 기반 시스템을 정비하는 데 실제로 얼마만큼의 비용이 드는지 과소평가하는 경우가 많다. 직원 교육 비용도 마찬가지다.

아로라는 “레거시 환경은 복잡성과 비용을 증가시킨다. 이런 초기 비용은 부담이 크지만 장기적 비효율을 막기 위해 필수적이다”라고 설명했다.

또한 AI 기술이 개념검증 단계를 지나 실제 운영 환경으로 이전되면, 기업이 기대한 것과 전혀 다른 결과가 나오는 경우도 많다.

터프츠대학교 공대 대학원 학장 겸 IEEE 펠로우인 카렌 패네타는 “지금은 불확실한 요소가 너무 많다”라고 지적했다. 패네타는 많은 조직이 AI를 사람의 대체재로 생각하지만 현실은 그렇지 않으며, 이전에는 신경 쓰지 않아도 됐던 새로운 문제가 생기기 시작했다고 설명했다.

겉으로 보면 매우 매력적인 선택지처럼 보인다. 지금은 직원 10명이 고객 전화를 받고 있고, AI가 그 10명의 일을 대신할 수 있을 것처럼 느껴진다. 하지만 패네타는 모델을 정상 흐름 기준으로 설계한 경우가 많아 예외 상황을 처리하지 못한다고 지적했다. 이 때문에 고객 불만이 생기거나 시스템이 중단되는 문제가 발생할 수 있고, 보안 측면에서도 이전에는 사람이 감지하던 위험을 놓칠 수도 있다고 설명했다.

패네타는 CIO가 AI로 무엇을, 왜 하려는지 면밀하게 고민해야 한다고 강조했다.

많은 CIO는 이미 비용과 리스크 관리에서 탈피해 데이터 관리와 인사이트 창출 역할로 이동했고, 비즈니스 조직과 더 가까운 위치에 서고 있다. 이제 CIO는 안전하고 비용 효율적인 방식으로 AI를 지원하는 역할로 발전하고 있다.

웨스트 먼로의 브렛 그린스타인은 “AI 도구가 출시되는 즉시 모든 접근을 차단하고 방화벽을 걸어버린 CIO도 있었다. 이는 조직의 AI 도입 자체를 막는 결과를 낳았다”라고 설명했다. 반면 진보적 CIO는 신중하고 체계적으로 접근해 거버넌스를 구축하고, 새로운 AI 중심 엔터프라이즈 아키텍처를 만들고 있다. 그린스타인은 이런 CIO가 미래 기업을 가능하게 만드는 역할을 하게 될 것이라고 강조했다.
dl-ciokorea@foundryco.com