CIO는 자신이 주도하는 AI 프로젝트의 성공을 보장하기 위해 해야 할 일이 많지만, 곧 현업 부서가 주도한 AI 프로젝트 실패의 뒷수습까지 떠맡게 될 가능성이 크다.

AI 전문가들은 성공적인 프로젝트를 위해 CIO가 현업 리더와 긴밀히 협력해 조직에 실질적인 가치를 창출해야 한다고 조언한다. 또한, IT 부서가 명확한 비즈니스 목표 없이 AI 프로젝트를 추진할 때도 문제이지만, CIO의 승인 없이 현업 부서가 독자적으로 AI 실험을 진행하는 것도 마찬가지로 위험하다고 경고한다.

이 같은 부작용은 머지않아 현실이 될 전망이다. 포레스터는 ‘2026년 기술 리더십 전망’ 보고서에서 “2026년 CIO의 25percent가 현업 부서가 주도한 AI 프로젝트 실패를 수습해야 할 것”이라고 예측했다. 포레스터의 리서치 디렉터인 마크 모시아는 일부 실패한 프로젝트는 초기 단계에서 CIO가 관여했지만, AI를 빠르게 도입하려는 과도한 열정이 기술 지원의 필요성을 잘못 판단하게 만들었다고 지적했다.

모시아는 “AI 확산과 속도 경쟁으로 인해 너무 많은 자금이 투입되고 있다”라며, “배포를 서두르느라 절차를 생략하거나 모델이 실제로 구동되기 시작하면 경제성을 이해하지 못한 채 비용이 과도하게 늘어나거나, 결함이 너무 많아 시스템 전체에 문제를 일으키는 사례가 많다”라고 말했다.

또한 “대부분 기업이 AI 프로젝트를 잇달아 추진하기 전에 충분히 견고한 엔터프라이즈 아키텍처나 거버넌스 체계를 갖추지 못했다”라고 덧붙였다.

CIO가 배제된 AI 프로젝트 추진 구조

일부 현업 주도 AI 프로젝트는 CIO의 의견이 반영됐지만, 상당수 조직은 CIO나 IT 부서의 실질적 지원 없이 AI 프로젝트를 추진하고 있다.

데이터 정제 플랫폼 서비스 업체 데이터링크스 AI(Datalinx AI)의 최고 AI 책임자 알렉 리스코프는 “IT 부서의 깊은 개입 없이 다른 부서가 AI 프로젝트를 진행하면 성공을 위해 필요한 기술적 작업을 과소평가하기 쉽다”라고 지적했다. 리스코프는 “AI 도입을 서두른 나머지 많은 현업 부서가 IT 요구 사항을 무시했다”라며, “데이터, 하드웨어, 품질, 테스트 등 여러 측면에서 필요한 기술적 이해가 부족한 상태에서 프로젝트를 시작하고 있다”라고 설명했다.

AI 노트 필기 서비스 업체 리드 AI(Learn AI)의 CEO 데이비드 심은 “많은 기업이 IT 주도가 아닌 ‘바텀업’ 방식으로 AI를 도입했다”라며, “직원들이 실제로 업무에 도움이 되는 AI 도구를 자발적으로 사용하면서 확산됐기 때문”이라고 말했다.

하지만, “이런 자생적 확산은 혁신에는 좋지만, 현재 많은 기업이 분절된 AI 사용 환경, 불일치한 데이터 파이프라인, 중앙화되지 않은 거버넌스 문제를 겪고 있다”라고 지적했다.

심은 “많은 기업이 사내 제작 에이전트나 독립형 제품을 실험하던 ‘상상 단계’를 마무리하고 있다. 이제 초점은 생산성과 운영 성과로 옮겨가고 있다. 기대치가 높아지면서 표준화 필요성이 커지고, 바로 그 시점에 CIO가 다시 투입돼 대규모 운영 체계를 구축하게 된다”라고 설명했다.

조직 문화의 변화 필요성

데이터링크스 AI의 리스코프는 AI 프로젝트를 시작할 때 IT 리더, 현업 리더, 주요 이해관계자가 모두 포함된 프로젝트 추진팀을 구성해야 한다고 조언했다. 그러나 이런 협업이 원활하게 작동하려면 기업 문화의 대대적인 변화가 필요하다고 지적했다. 일부 현업 리더가 IT 부서를 ‘걸림돌’로 인식하기 때문이다.

리스코프는 “프로젝트를 본격적으로 진행하기 전에 반드시 기술 담당자가 먼저 참여해야 한다”라며, “여전히 많은 조직에서 비즈니스와 IT 간의 단절이 존재하거나 IT 측의 대응이 느리거나 단순히 신뢰 부족이 문제인 경우가 많다”라고 지적했다.

대형 법률회사 잭슨 워커의 CIO 빌 피너는 “의심이 있더라도 모든 AI 프로젝트에는 IT 리더가 처음부터 참여해야 한다”고 강조했다.

피너는 “AI는 단지 기술 스택에 새로 추가되는 또 하나의 기술일 뿐이다. 방관하기보다는 적극적으로 도입해 비즈니스 성공을 돕는 편이 낫다”고 말했다.

또한 “CIO는 잠재적 솔루션을 검증하고 비용을 통제하는 내부 전문가가 되어야 한다”라며, “법률 부문과 비즈니스 부문 전체가 애플리케이션의 기능과 이를 통해 업무 프로세스를 간소화할 수 있는 방법을 충분히 이해할 수 있도록 교육하는 데 CIO가 중요한 역할을 해야 한다”라고 설명했다.

피너는 “CIO는 조직의 성공을 돕는 것을 좋아한다”라며, “AI 프로젝트는 CIO가 자신의 가치를 입증할 수 있는 또 하나의 기회”라고 강조했다.

CIO, 실패한 AI 프로젝트 수습 대비해야

포레스터는 경영진이 실패한 AI 프로젝트의 해결을 CIO에게 맡기게 될 상황에 대비해야 한다고 권고했다. CIO는 조직 내 AI 프로젝트의 부족한 부분을 미리 파악해야 한다고 덧붙였다.

조사에 따르면, 현재 AI 의사결정자의 39percent만이 CIO나 CTO가 AI 기술 전략을 주도하고 있다고 답했으며, 21percent만이 AI 비즈니스 전략을 주도하고 있다고 응답했다. 포레스터는 기업이 IT 리더가 성공적인 AI 에이전트를 구축할 최적의 위치에 있다는 사실을 인식하면서 이 비율이 두 배로 늘어날 것으로 전망했다.

포레스터의 2026년 전망 보고서는 “IT 리더가 데이터와 지식 자산을 관리하고 뛰어난 사용자 경험을 설계하며, 산출물 품질을 세밀하게 관리할 수 있는 올바른 거버넌스와 역량을 구축할 것”이라며, “CEO가 AI 윤리나 정책 위반 같은 대형 사고가 발생한 뒤에야 거버넌스 구축의 필요성을 깨닫는 상황을 기다려서는 안 된다”고 경고했다.
dl-ciokorea@foundryco.com