AI 핵심 요약
beta- 망고부스트가 12일 AI 추론 서비스 '망고 인퍼런스' 유료화를 시작했다
- 자체 DPU·GPU·소프트웨어로 가격을 경쟁사보다 20% 낮췄다
- 강남 1MW 데이터센터를 짓고 5MW·해외 500MW 확장을 추진했다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
2027년 1분기 자체 인프라 구축 목표
고객사 내부에 AI 인프라 직접 설치 구상도
[서울=뉴스핌] 심재민 인턴기자 = 인공지능(AI) 인프라 기업 망고부스트가 자체 하드웨어와 소프트웨어 기술을 기반으로 AI 추론 서비스 시장에 본격 진출한다. 데이터처리장치(DPU)와 그래픽처리장치(GPU) 서버, AI 추론 최적화 소프트웨어 등 자체 기술을 토대로 기업 고객에게 AI 추론 서비스를 직접 제공하면서 사업 영역을 확장하겠다는 전략이다.
망고부스트는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고 서버리스 AI 추론 플랫폼 '망고 인퍼런스(Mango Inference)'의 유료 서비스 개시와 향후 사업 전략을 발표했다.
◆ 자체 하드웨어·소프트웨어 썼다...저렴한 가격으로 승부
망고 인퍼런스는 기업과 개발자가 별도의 그래픽처리장치(GPU) 서버를 구축하지 않고도 대규모언어모델(LLM)을 이용할 수 있도록 지원하는 서비스다. 고객은 API 키를 통해 원하는 AI 모델을 호출하고, 사용한 토큰 양에 따라 요금을 지불한다. 현재 딥시크(DeepSeek), GLM, 미니맥스(MiniMax) 등 오픈웨이트 AI 모델 5종을 지원한다.
망고부스트가 내세우는 차별점은 하드웨어와 소프트웨어를 모두 직접 설계하는 '풀스택 AI 인프라'다. 기존 GPU 임대 사업자인 네오클라우드와 달리 자체 설계한 네트워크 장치와 GPU 서버, 스토리지 시스템에 추론 최적화 소프트웨어를 결합해 비용을 낮추겠다는 구상이다.
김장우 망고부스트 대표는 "직접 컴퓨터를 만들고 소프트웨어까지 개발한다는 점에서 다른 네오클라우드 회사들과 차이가 있다"고 강조했다.
회사는 AI 추론 서비스 시장에서 미국의 투게더AI(Together AI), 모달(Modal), 모듈러(Modular) 등을 경쟁 상대로 제시했다. 김 대표는 "기존 추론 서비스 업체들은 외부 GPU 인프라를 이용하는 과정에서 추가적인 비용이 발생해 가격 경쟁력이 떨어진다"며, "자체 하드웨어와 소프트웨어를 통합하면 이러한 비용 부담을 줄일 수 있다"고 설명했다.
권동업 망고부스트 최고기술책임자(CTO)는 주요 고성능 AI 추론 서비스 업체와 비교해 서비스 가격을 20% 이상 저렴하게 책정했다고 설명했다.
망고부스트는 AMD 및 델과 협력해 AI 성능 평가 벤치마크인 엠엘퍼프(MLPerf)에서 기술력을 검증해 왔다. 회사는 AMD GPU 기반 시스템의 추론 성능과 확장 효율을 높여 엔비디아 중심의 AI 인프라 시장에서 경쟁력을 확보한다는 방침이다.
권 CTO는 이어 "에이전틱 AI가 확산하면서 이전에 처리한 문맥 정보를 얼마나 효율적으로 다시 가져오느냐가 중요해지고 있다"고 설명했다.
이에 따라 GPU의 고대역폭메모리(HBM)에만 의존하지 않고 별도의 스토리지 시스템을 연결해 캐시를 저장하는 구조를 도입할 계획이다. LLM의 중간 연산 결과인 KV 캐시(Key-Value Cache)를 재활용해 중복 연산을 줄이고 추론 효율을 높인다는 구상이다.
◆ 강남에 1MW급 데이터센터 인프라 구축...글로벌 500MW 확장 논의
망고부스트는 이를 위해 서울 강남구 도산공원 인근에 1MW 규모의 AI 데이터센터인 '에이전트 팩토리'를 구축하고 있다. 기존 데이터센터의 공간을 임차해 자체 장비를 설치하는 방식으로, 2027년 1분기까지 구축을 완료한다는 목표다.
현재 망고 인퍼런스는 자체 GPU 인프라와 해외 네오클라우드에서 임차한 GPU를 혼용해 운영하고 있다. 회사는 AMD의 최신 GPU 확보를 추진하는 중이며, 이 가운데 수십 개가 반입됐다고 설명했다.
향후에는 자체 인프라를 5MW 규모까지 확대하고, 장기적으로 해외 시장에서도 AI 인프라 구축 사업을 추진할 계획이다. 김 대표는 글로벌 파트너들과 최대 500MW 규모의 인프라 확장 방안을 논의하고 있다고 밝혔다.
회사는 국내 AI 인프라 구축을 통한 데이터 주권 확보도 주요 사업 목표로 제시했다. 해외 서버에서 AI 추론을 수행할 경우 국내 이용자의 데이터가 국외로 전송될 수 있는 만큼, 국내에서 데이터를 처리하고 관리할 수 있는 체계를 확대하겠다는 설명이다.
이와 함께 금융·국방 등 높은 보안 수준이 요구되는 기업을 대상으로 고객사 내부에 AI 인프라를 직접 설치하는 온프레미스 사업도 추진할 예정이다.
김 대표는 "지금까지는 서버나 소프트웨어 등 요소 기술을 공급했다면 앞으로는 고객에게 직접 서비스를 제공하는 회사로 성장할 것"이라며 하드웨어와 소프트웨어를 결합한 AI 인프라 사업을 확대하겠다는 뜻을 밝혔다.
flurry327@newspim.com
