많은 기업이 AI 에이전트를 빠르게 도입하고 있지만, 에이전틱 AI의 정확성에 대한 심각한 의문이 제기되면서 향후 잠재적 위험이 발생할 수 있다고 전문가들은 지적했다.

아이러니하게도 AI 에이전트는 충분한 가치를 내려면 의사결정 자율성이 필요하다. 그러나 많은 AI 전문가는 여전히 에이전트를 ‘블랙박스’로 바라보고 있으며, 기업은 에이전트가 어떤 이유로 특정 행동을 선택하는지 들여다보기 어렵다. 이 같은 의사결정 과정의 불투명성은 에이전트를 대규모 효율성을 이끄는 자율형 도구로 확장하는 데 장애물이 될 수 있다고 전문가들은 말한다.

AI 실무자들이 제기하는 신뢰 문제는 정작 잠재 고객들에게 충분히 전달되지 않고 있다. 이미 많은 조직이 에이전트 열풍에 합류하고 있기 때문이다.

소프트웨어 마켓플레이스 G2가 10월 발표한 조사에 따르면 B2B 기업의 약 57percent가 이미 에이전트를 실제 운영 환경에 배치한 상태다. 여러 IT 분석 기관도 향후 AI 에이전트 시장의 고성장을 예상했다. 예를 들어 컨설팅 기업 그랜드뷰리서치(Grand View Analysis)는 2025년부터 2030년까지 시장이 연평균 약 46% 성장할 것으로 전망했다.

AI 전문가는 많은 기업이 적절한 가드레일 없이 에이전트를 도입할 경우 얼마나 불투명해질 수 있는지 이해하지 못하고 있다고 지적한다. 또한 각종 안전장치가 등장하고 있음에도, 현재의 도구만으로는 에이전트의 오작동을 충분히 막기 어렵다는 점도 문제로 꼽힌다.

오해와 오용

에이전트 구축 플랫폼 라이터(Author)의 제품 관리 디렉터 마탄-폴 셰트릿은 에이전트의 역할과 기능에 대한 광범위한 오해가 기술의 확산을 저해할 수 있다고 언급했다. 많은 조직이 에이전트를 예측 가능하고 단순한 결과를 반환하는 API 호출처럼 바라보지만, 실제로는 초급 인턴에 가까운 존재로 다뤄야 한다는 설명이다.

셰트릿은 “초급 인턴처럼 에이전트도 여러 가드레일이 필요하지만, API는 상대적으로 쉽게 제어할 수 있는 기술”이라며 “인턴은 의도적이든 아니든 잘못을 저지를 수 있고, 접근하지 말아야 할 정보를 접하거나 활용할 수도 있다. 예컨대 CIO와 특정 대화를 듣고 민감한 정보를 알게 되는 상황이 생길 수 있다”라고 설명했다.

셰트릿은 앞으로 AI 개발자와 기업 고객이 수많은 에이전트를 어떻게 관리할지가 큰 과제가 될 것이라고 전망한다.

그는 “1,000명 규모의 조직이 1만 개의 에이전트를 배포하는 상황은 충분히 상상 가능하다”라며 “그 시점부터 조직은 1,000명이 아니라 1만 1,000명의 ‘구성원’을 가진 조직이 되고, 운영 방식도 완전히 달라진다”라고 말했다.

셰트릿은 대형 은행과 같은 거대 조직의 경우 장기적으로 에이전트 수가 50만 개까지 확대될 수 있다고도 내다본다. 이는 조직 자원 관리와 IT 관측·감독 체계를 완전히 새롭게 설계해야 하는 상황이라는 설명이다.

그는 “업계가 이 문제를 해결하기 전까지 에이전트 기술이 약속한 만큼 광범위하게 도입될 것이라고 보지 않는다”라고 말했다.

광고 기술 기업 제퍼(Zefr)의 최고 AI 책임자 존 모라도 많은 조직이 문제의 존재조차 인지하지 못하고 있다고 지적한다.

모라는 “에이전트에는 상당한 신뢰 문제가 있지만, 이를 대중이 잘 이해하지 못하고 있다”라며 “AI 에이전트라는 개념 자체가 여전히 사람들에게 낯설고, 때로는 문제보다 솔루션이 먼저 등장한 상태이기도 하다”라고 말했다.

모라는 많은 경우 에이전트를 사용할 필요 없이 더 간단하고 결정론적인 기술로 대체할 수 있다고 지적한다. 그는 특히 에이전트를 구동하는 대규모 언어 모델(LLM)의 위험성을 기업 상당수가 제대로 이해하지 못하고 있다고 본다.

모라는 “지금은 많은 사람이 에이전트를 지나치게 신뢰하고 있고, 그 신뢰가 오히려 역효과를 일으키고 있다”라며 “LLM을 사용하는 사람들이 ‘존, 얘네 수학 틀리는 거 알고 있었어? 통계도 지어낸다던데?’라고 묻는 경우가 많다. 그런데 그건 당연한 일”이라고 말했다.

여러 AI 전문가는 모델이 발전함에 따라 장기적으로 에이전트 신뢰도가 높아질 것으로 예상하지만, 모라는 AI가 환각 가능성을 완전히 없앨 수 없기 때문에 ‘완전한 신뢰’는 끝내 불가능하다고 강조한다.

자율성 불신으로 발생한 워크플로우 문제

모라와 셰트릿이 지적한 것처럼 많은 AI 사용자가 에이전트의 투명성 문제를 제대로 이해하지 못하고 있는 가운데, G2가 10월 발표한 보고서는 특정 업무에서는 에이전트 신뢰도가 높아지고 있다고 분석한다.

예를 들어 의심스러운 IP 자동 차단이나 실패한 소프트웨어 배포 롤백과 같은 작업에서는 에이전트에 대한 신뢰가 확대되고 있다는 것이다. 그럼에도 응답자의 63percent는 에이전트가 예상보다 더 많은 인간 감독을 필요로 한다고 답했다. 가드레일이 있어도 에이전트의 자율적 의사결정을 신뢰한다는 응답은 절반 이하였고, 완전한 자율권을 주는 데 부담이 없다고 답한 비율은 8percent에 불과했다.

G2의 최고혁신책임자 팀 샌더스는 기존의 경고에 동의하지 않는다. 그는 투명성 부족보다 ‘불신’이 에이전트 확산의 더 큰 문제라고 본다. 새로운 기술에 대한 경계심은 자연스러운 현상이지만, 에이전트의 핵심 가치는 인간 개입 없이 스스로 행동할 수 있는 능력에 있다고 강조했다.

샌더스는 조사 결과를 언급하며 “B2B 기업 절반 가까이가 에이전트를 도입하고 있으면서도 실제 자율성을 부여하지 않고 있다”라고 말했다. 그는 “이 경우 모든 행동을 사람이 검토하고 승인해야 하고, 이는 효율성과 생산성, 속도를 높이기 위해 에이전트를 도입한다는 목적을 완전히 훼손한다”라고 지적했다.

샌더스는 지나친 신중함이 결국 기업에 비용 부담으로 돌아올 수 있다고 주장한다. 그는 “인간이 프로세스에 지나치게 많이 개입하면 에이전트 기반 워크플로우가 병목으로 전락해 수십억 달러 규모의 절감 효과를 놓칠 수 있다”라며 “신뢰는 쌓기 어렵고 잃기 쉽지만, 에이전트가 제공할 경제적·운영적 가능성이 성장 지향적 기업 리더에게 더 많은 신뢰 부여를 요구하고 있다”라고 설명했다.

신중함이 필요한 시점

한편 다른 AI 전문가는 에이전트 투명성 문제가 아직 해결되지 않은 만큼, 엔터프라이즈 IT 리더는 도입 시 각별한 주의가 필요하다고 경고한다.

케이맨제도 정부의 AI 디지털전환 태스크포스를 이끄는 탬신 디지-와인스타인은 AI는 인간이 개입하고 강력한 거버넌스가 적용된 환경에서 가장 안정적으로 작동하지만, 많은 AI 에이전트는 과대 홍보되고 실제로는 관리가 부족하다고 지적한다.

디지-와인스타인은 “에이전트는 인간 개입을 제거해준다는 점에서 놀라운 기술이지만, 동시에 매우 위험할 수 있다”라며 “우리는 강력한 가드레일 없이 자율형 에이전트를 홍보하지만, 실제로는 잠재적 재앙에 가까운 기술을 다루고 있다”라고 말했다.

그는 투명성 부족에 대응하기 위해 에이전트의 역할 범위를 제한할 것을 권한다.

디지-와인스타인은 “가장 신뢰할 수 있는 에이전트는 지루할 만큼 좁은 역할을 가진 존재”라며 “범위가 넓고 자유도가 커질수록 결과물에서 잘못될 가능성도 커진다. 신뢰할 수 있는 에이전트는 작고 명확하게 정의된 업무에만 집중하며, 매우 엄격한 가드레일 안에서 운영된다”라고 말했다.

다만 이런 고도로 제한된 에이전트 방식이 일부 사용자에게는 매력적이지 않을 것이라는 점도 인정한다. 그는 “요즘 사용자들은 적은 시간과 역량으로 더 많은 일을 처리하길 기대한다”라며 “하지만 AI 에이전트가 이메일 작성부터 문서 편집, API 호출까지 인간 개입 없이 모두 처리할 수 있다면, 결국 사용자는 통제권을 잃은 것이나 다름없다. 선택은 조직의 몫”이라고 말했다.

여러 AI 전문가는 자율형 에이전트가 저위험 영역에만 사용돼야 한다고 강조한다. 디지-와인스타인은 “누군가의 자유, 건강, 교육, 소득, 미래에 영향을 미치는 결정은 AI가 보조 역할에 머물러야 한다”라며 “모든 행동은 설명 가능해야 하지만 AI는 이를 제공하지 못한다”라고 설명했다.

그는 OECD AI 원칙, 미국 NIST AI 리스크 관리 프레임워크 등 국제 기준이 조직이 AI 위험을 이해하는 데 도움이 될 수 있다고 제안했다.

관측과 오케스트레이션

일부 AI 전문가는 에이전트 오작동 문제를 해결할 방안으로 AI 옵저버빌리티(관측성)가 떠오르고 있다고 말한다. 다만 관측 도구만으로는 에이전트의 근본적인 문제를 진단하기 어렵다는 반론도 있다.

AI 오케스트레이션 기업 카미와자 AI의 필드 CTO 제임스 어쿼트는 에이전트를 활용하는 조직이 생명주기 관리, 컨텍스트 공유, 인증, 관측성을 통합적으로 처리하는 오케스트레이션 레이어를 구축할 수 있다고 설명한다.

어쿼트는 앞서 탬신 디지-와인스타인이 강조한 것처럼 에이전트의 역할을 제한하는 접근을 지지하며, 오케스트레이션을 전문 에이전트 팀을 관리하는 ‘심판’에 비유한다. 그는 “만능형 에이전트를 쓰지 말라”라며 “에이전트를 스위스 아미 나이프가 아니라 피트크루처럼 다뤄야 한다”라고 말했다.

그는 AI의 신뢰 문제는 기술 자체보다 아키텍처의 문제라고 진단한다.

어쿼트는 “오늘날 대부분의 엔터프라이즈는 에이전트를 띄우는 것까지는 가능하지만, 여러 에이전트를 설명하고 통제하며 조정하는 기능은 부족하다”라며 “규모 확장과 안전, 거버넌스를 가능하게 하는 제어 플레인이 없다면 기업은 더 큰 혼란을 초래하게 될 것”이라고 경고했다.
dl-ciokorea@foundryco.com