이는 에이전틱 AI가 단순히 학습된 정보를 제공하는 데 그치지 않고 다양한 LLM과 접점을 연결해 실시간 추론을 수행하는 구조이기 때문이다. 기업은 이제 AI를 통합 관리할 전문 인재 부족뿐만 아니라, 각종 보안 위험와 비용 효율성 문제까지 해결해야 하는 상황에 놓여있다.

특히 데이터센터와 클라우드를 넘어 실제 데이터가 발생하는 엣지 영역까지 아우르는 기업 환경에서는 다양한 모델과 추론 요청을 아우르는 일관된 관리 체계와 AI 인프라가 부족하다는 점이 근본적인 난제로 떠오르고 있다.

레노버와 뉴타닉스는 소프트웨어와 하드웨어의 긴밀한 결합을 통해 이런 과제를 해결하고자 한다. 9월 3일 CIO Korea/ITWorld가 주최한 ‘AI & 데이터 서밋 2025’에서 레노버 코리아의 조윤환 상무와 뉴타닉스 코리아의 마이클 신 전무는 각각 하드웨어와 소프트웨어 관점에서 효과적인 AI 관리 체계와 인프라를 구축하고 보안과 비용 효율성을 동시에 확보할 현실적인 해법을 제시했다.

“통합 플랫폼이 AI 추론의 복잡성을 해소”

뉴타닉스 조사에 따르면 기업은 로컬 GPT 활용, 코딩 어시스턴트, 콘텐츠 제작, 문서 정리 등의 영역에서 생성형 AI 도입을 통해 2년 내 생산성을 15% 이상 끌어올릴 것으로 기대하고 있지만, 실제 도입에 있어서는 여러 장벽이 나타나고 있다.

마이클 신 전무는 “데이터 과학자나 ML옵스 인력 확보가 쉽지 않고 비용도 높으며, 데이터 유출 사례가 늘어나면서 보안 문제가 갈수록 민감해지고 있다”라며, “특히 퍼블릭 클라우드 기반 추론의 경우 비용 예측이 매우 어렵다는 점이 주요 문제로 꼽힌다. 점점 더 많은 기업이 프라이빗 클라우드에서 추론 서비스를 운영하는 추세”라고 설명했다.

Foundry

이처럼 실제 클라우드 기반 AI 구현에 대한 기업의 고민은 늘어나고 있지만, 에이전틱 AI 시대로 접어들면서 도입의 복잡성은 한층 심화되고 있다. 기존의 LLM이 사전 학습된 정보를 단순히 제공하는 데 그쳤다면, 에이전틱 AI는 외부 도구를 호출하고 실시간으로 데이터를 처리하며 추론을 수행하기 때문이다. 이를 사용하는 과정에서 RAG(검색 증강 생성), 임베딩, 리랭킹, 가드 LLM 등 추가 기능이 필요해지고, 매주 수천 개의 모델이 새로 등장하면서 관리와 통제는 갈수록 어려워지고 있다. 더욱이 기업 내 여러 부서나 개발팀이 필요한 LLM과 추론 서버를 따로 구축해, GPU와 같은 중요 자원이 중복 사용되는 비효율도 발생할 수 있다.

마이클 신 전무는 “추론 작업은 LLM과 추론 서버의 적절한 조화가 핵심이지만, 기업이 스스로 감당하기에는 점점 더 버거워지고 있다. 이에 필요한 인프라, 쿠버네티스, 스토리지, 데이터베이스, LLM과 추론 계층 등의 스택이 복잡하게 얽히고 있다”라고 지적했다.

뉴타닉스는 이 같은 복잡성을 해결할 방법으로 공유 AI 엔드포인트 서비스를 제시했다. 이는 GPU 자원을 하나의 풀로 묶어 모든 모델과 추론 과정을 관리하는 단일 플랫폼을 제공하는 서비스다. 뉴타닉스는 이를 통해 조직 내 AI 파이프라인의 복잡성을 해결하고, 개발자가 필요로 할 때마다 특정 모델에 최적화된 추론 서버를 자동으로 제공해 AI 추론에 따르는 비용을 효과적으로 통제할 수 있다고 밝혔다.

Lenovo Korea

뉴타닉스가 제공하는 AI 플랫폼은 쿠버네티스부터 데이터를 처리할 성능과 안정성을 갖춘 스토리지, 검색 증강 생성에 최적화된 데이터베이스, LLM 및 추론 계층까지 풀스택으로 지원한다. 사용자는 엔비디아 니모(NeMo) 및 NIM, 허깅페이스(Hugging Face), VLLM 기반의 검증된 추론 서버를 선택할 수 있으며, 모델 보안 검증에 대한 지원을 통해 안정성을 보장받을 수 있다. 마이클 신 전무는 “엔비디아 인증을 받은 쿠버네티스 플랫폼과 스토리지를 통해 데이터 과학자와 개발자 등 핵심 인력이 인프라 고민 없이 개발에 집중할 수 있는 환경을 제공하고 있다”라고 말했다.

클라우드부터 엣지까지 하이브리드 AI 인프라 확장 지원

뉴타닉스가 제시한 플랫폼 기반 소프트웨어 전략은 적절한 하드웨어, 즉 인프라 위에 구현돼야 한다. 뉴타닉스가 소프트웨어 플랫폼을 통해 복잡한 AI 운영을 단순화한다면, 레노버는 이를 안정적으로 뒷받침하는 인프라를 제공하고 있다. 조윤환 상무는 레노버가 하이브리드 AI 전략을 통해 클라우드부터 데이터센터, 엣지까지 확장할 수 있도록 지원하고 있다고 설명했다.

조윤환 상무에 따르면 레노버와 뉴타닉스의 협업은 생성형 AI의 두 축인 학습과 추론 가운데 추론에 집중하고 있다. 학습은 대규모 GPU를 투입해 일정 기간 수행하면 마무리되는 반면, 추론은 모델의 다양성과 운영 환경의 복잡성이 겹쳐 훨씬 더 많은 비용과 보안 리스크를 동반한다. 따라서 추론의 단순화와 안정화가 기업에 실질적인 가치를 제공할 수 있는 핵심 영역이라는 설명이다.

Foundry

이를 위해 레노버는 뉴타닉스 전용 하드웨어 라인업을 포함한 다양한 인프라 솔루션을 제공하고 있다. 대표적으로 엔비디아 GPU 탑재를 지원하는 씽크애자일 HX(ThinkAgile HX) 시리즈는 뉴타닉스 플랫폼에 최적화된 서버로, LLM 학습부터 추론 서버, 엣지 환경등 다양한 용도별 라인업으로 구성됐다. 조윤환 상무는 “뉴타닉스 AI 플랫폼은 전용 장비에서만 구동된다는 점이 특징이다. 레노버는 IBM으로부터 인수한 X86 서버 기술력을 기반으로 GPU가 최적으로 동작할 수 있도록 차별화된 포트폴리오를 제공하고 있다”라고 설명했다.

하지만 성능 문제 외에 기업의 AI 인프라는 다양한 현실 과제에 직면하고 있다. 대표적인 것이 전력 및 발열 관리다. 조윤환 상무는 “대규모 AI 플랫폼에서는 단순한 성능 지표가 아니라 운영 과정에서 발생하는 근본 문제를 해결하는 것이 중요하다. 실제 운영에 있어서는 GPU 선택 못지않게 전력과 발열 관리가 안정성과 장애 대응을 좌우한다”라고 설명했다.

이 과제를 해결하기 위해 레노버는 수랭식 냉각 기술 ‘넵튠(Neptune)’의 도입을 본격화하고 있다. 넵튠은 냉각수를 통해 CPU와 GPU의 발열을 직접 제어하는 솔루션으로 공랭식 대비 높은 전력 효율을 제공한다. 데이터센터의 랙 구조나 설계 변경이 필요할 만큼 적용 과정은 간단하지 않지만, 이미 대규모 HPC와 AI 서버를 도입하는 기업들 사이에서 수랭식 기술을 고려하는 경우가 많아지고 있다. 레노버는 뉴타닉스 협업의 일환으로, 뉴타닉스 AI 플랫폼이 수랭식 기반으로 운영될 수 있는 턴키 AI 솔루션인 ‘Nutanix GPT-in-a-box’를 최근 출시했다.

Lenovo Korea

실제 기업 환경에 최적화된 AI 추론을 위한 레노버와 뉴타닉스의 협력

아울러 레노버는 AI 추론 최적화 과제가 데이터센터에만 머물지 않고 점점 더 실시간성을 요구하고 있다는 점에 주목하고 있다. 다시 말해 엣지 환경으로 AI를 확장해, 데이터 주권을 확보하고 네트워크 비용을 절감하며 실시간 의사결정을 지원하는 것이 점점 더 중요해질 것으로 보고 있다. 이에 따라 레노버는 뉴타닉스와 협력해 GPU 탑재가 가능한 10여 종 이상의 엣지 서버를 출시했다. 해당 제품군은 실제로 양사가 공동으로 테스트를 진행해 이미지 및 텍스트 분류 성능을 검증했다.

예를 들어 인텔 제온 D-2733NT CPU와 8 vCPU 가상화 환경을 갖춘 씽크애자일 HX360 V2 엣지 서버는 테스트에서 이미지 분류의 초당 추론 처리 횟수 211IPS(Inferences Per Second), 텍스트 분류 1250IPS를 기록하는 등 기업의 실제 엣지 환경에서 활용 가능한 수준의 성능을 보였다. 조윤환 상무는 “해당 테스트 결과는 엣지에서도 데이터센터와 인프라 스택을 동일하게 가져가면서 실질적인 AI 추론이 가능하다는 점을 보여줬다”라고 말했다.

Lenovo Korea

이처럼 뉴타닉스와 레노버는 기존 인프라에서부터 다져온 파트너십을 바탕으로 AI 솔루션 협력을 확대하고 있다. 특히 양사는 하이브리드 AI 환경을 하나의 일관된 플랫폼으로 제공해 기업이 AI 도입의 복잡성을 줄이고 안정적인 운영 기반을 확보할 수 있게 하는 데 집중하고 있다. 마이클 신 전무는 “복잡한 AI 추론 환경을 단순화할수록 불필요한 중복 투자를 막고 AI 운영의 총소유비용(TCO)을 절감할 수 있다”라고 말했다.

아울러 레노버는 AI 이노베이터 프로그램을 운영해 글로벌 165개 이상의 파트너 솔루션을 자사 하드웨어로 검증 및 제공하고 있다. 기업 고객은 이미 검증된 솔루션을 빠르게 도입할 수 있고, 필요한 경우 파트너 생태계를 통해 확장된 지원을 받을 수 있다는 설명이다. 조윤환 상무는 “뉴타닉스와의 협업으로 대표되는 레노버의 하드웨어 기반 협력 체계는 기업이 AI 추론을 단순히 도입하는 단계를 넘어, 이를 실제 환경에서 안정적이고 확장 가능한 운영 모델로 발전시킬 수 있도록 지원한다”라고 설명했다.
yuseong.kim@foundryco.com