전체기사 최신뉴스 GAM
KYD 디데이
산업 ICT

속보

더보기

AI 전환 속도내는 SKT, 통신 영역 특화된 '텔코 LLM' 6월 출시

기사입력 : 2024년04월30일 10:09

최종수정 : 2024년04월30일 10:09

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

A.X·GPT·클로드 등 각종 범용모델 기반 튜닝
통신업 특화 LLM 개발 중...AI 고객센터·유통망 등에 활용

[서울=뉴스핌] 정승원 기자 = 통신 서비스에 최적화된 거대언어모델(LLM) '텔코LLM'이 이르면 오는 6월 선보인다.

SK텔레콤은 5G 요금제, T멤버십, 공시지원금 등 국내 통신 전문 용어와 인공지능(AI) 윤리가치와 같은 통신사의 내부 지침을 학습한 '텔코LLM'을 개발하고 있다고 30일 밝혔다. 텔코 LLM은 오는 6월 중 개발을 완료할 예정이다.

에릭 데이비스 SKT AI Tech Collaboration담당이 30일 SKT의 텔코 LLM에 대해 설명하고 있다. [사진= 정승원 기자]

'텔코LLM'은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM을 뜻한다.

SKT는 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집해 정형·비정형 데이터를 선별해 이를 에이닷엑스, 'GPT', '클로드'에 학습시켜 통신에 특화된 LLM을 만들고 있다.

텔코LLM은 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝했다. 이는 SKT의 멀티 LLM 전략의 일환이다.

에릭 데이비스 SKT AI Tech Collaboration담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.

'멀티(다중) LLM' 전략은 통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하는 전략이다.

SKT는 협력을 통해 자사의 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발 중이다.

[사진= SK텔레콤]

다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용 절감 면에서 다변화를 꾀했다.

실제 오픈 AI는 지난 5일 공식 블로그를 통해 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개하며 "SKT와 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"고 밝힌 바 있다.

SKT는 범용LLM 대비 텔코LLM이 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높다고 설명했다.

SKT는 텔코LLM을 구축하기 위해 텔코 데이터를 수집하고 비정형·정형 데이터를 선별해 정제하는 작업을 거쳤다.

이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 사이클을 거친다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다.

통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF·Reinforcement Learning from Human Feedback) 과정을 거친다.

텔코LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하는 과정을 거친다. 고객의 문의에 대해 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등에 대해 채점하는 사람의 평가를 통한 강화학습이다.

마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다.

고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화 하는 방식이다. 이 모든 과정은 계속 주기적으로 반복하여 텔코LLM을 더 똑똑하게 만든다.

현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다.

텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 예상된다.

텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다.

인프라 운용자가 네트워크 모니터링 중 문제가 발생하면 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다.

텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다는 설명이다.

SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 설명했다.

SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축하고 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다.

멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG·Retrieval Augmented Generation) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.

SKT의 인텔리전스 플랫폼은 단일 LLM에 의존하지 않는다. 범용 LLM은 성능에 비례해 추론 비용이 높고 특정 영역에 대한 이해도는 낮을 수 있다.

이를 통신사의 서비스에 적용하면 비효율적인 만큼 상대적으로 통신업에 특화된 멀티 LLM을 이용해야 한다.

SKT 는 멀티LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 에이닷 등의 서비스 등에 적용 중이며 적용 사례를 지속 확대할 예정이다.

[사진= SK텔레콤]

 

origin@newspim.com

[뉴스핌 베스트 기사]

사진
메타, AI 데이터센터 구축 270억달러 조달 [서울=뉴스핌] 최원진 기자= 미국 메타플랫폼스(NASDAQ: META)가 루이지애나주 리치랜드 패리시에 건설 중인 초대형 데이터센터 '하이페리온(Hyperion)' 프로젝트를 위해 사모펀드 블루아울캐피털(Blue Owl Capital)과 손잡고 270억달러(약 38조 7000억 원) 규모의 자금 조달 계약을 체결했다고 로이터 통신이 21일(현지시간) 보도했다. 이번 거래는 민간 기업의 단일 자금조달 규모로는 역대 최대 규모다. 메타는 프로젝트의 약 20% 지분을 보유하고, 나머지 대다수 지분은 블루아울이 운용하는 펀드가 보유한다. 블루아울은 약 70억달러 현금을 투입했으며, 메타는 그 대가로 약 30억달러의 일회성 현금 배당을 받았다. 하이페리온 데이터센터는 2기가와트(GW) 이상의 연산 용량을 갖춰 대규모 언어모델(LLM) 학습 등 차세대 인공지능(AI) 연산 인프라를 지원할 예정이다. 메타는 현지에 500명 이상을 고용할 계획이며, 시설 임대계약은 4년 기한에 연장 옵션이 포함된 형태다. 월스트리트저널(WSJ)에 따르면 이번 프로젝트에는 블랙록과 핌코 등 글로벌 자산운용사들이 대규모로 참여했다. 블랙록은 전체적으로 약 30억달러 규모의 채권을 인수했으며, 일부는 액티브 하이일드 ETF 등에 편입됐다. 핌코는 약 180억달러어치를 사들이며 최대 투자자로 참여했다. 업계는 이번 메타의 270억달러 조달을 AI 연산력 확보 경쟁의 신호탄으로 보고 있다. 대형 기술기업들이 전 세계적으로 데이터센터와 전력망 확충에 수백억 달러를 쏟아붓는 가운데, 모건스탠리는 메타·구글·아마존·마이크로소프트 등이 올해만 약 4천억달러를 AI 인프라에 투입할 것으로 내다봤다. 오픈AI 역시 26GW 규모의 연산 능력 확보를 위해 1조달러 이상을 투입할 가능성이 제기된다. 메타의 기업 로고 [사진=블룸버그] wonjc6@newspim.com     2025-10-22 09:32
사진
北, 동북방향으로 단거리 탄도미사일 발사 [서울=뉴스핌] 오동룡 군사방산전문기자 = 북한이 22일 오전 8시10분 경 동북 방향으로 단거리 탄도미사일을 발사했다고 합동참모본부가 밝혔다. 북한의 탄도미사일 도발은 이재명 정부 출범 이후 처음이다. 합참에 따르면, 우리 군은 22일 오전 8시10분경 북한 황북 중화 일대에서 동북 방향으로 발사된 단거리 탄도미사일 수 발을 포착했다. 포착된 북한의 미사일은 약 350km 비행했고, 정확한 제원에 대해서는 한미 정보 당국이 정밀분석 중에 있다고 밝혔다. 북한이 22일 오전 8시10분 경 동북 방향으로 단거리 탄도미사일을 발사했다고 합동참모본부가 밝혔다. 사진은 북한의 단거리 탄도미사일 발사 장면, [사진=조선중앙통신] 2025.10.22 gomsi@newspim.com 합참 관계자는 "한미 정보당국은 북한의 미사일 발사 준비 동향을 사전에 포착해 감시해 왔으며, 발사 즉시 탐지 후 추적하였다"면서 "또한, 미·일 측과 관련 정보를 긴밀하게 공유했다"고 했다. 그러면서 "우리 군은 굳건한 한미 연합방위태세 하에 북한의 다양한 동향에 대해 예의주시하면서, 어떠한 도발에도 압도적으로 대응할 수 있는 능력과 태세를 유지하고 있다"고 밝혔다. 한편, 북한의 단거리 탄도미사일 발사와 관련, 국가안보실은 안보실 및 국방부·합참 관계자 등이 참석한 가운데 '긴급 안보 상황 점검회의'를 개최했다. 국가안보실 관계자는 "북한의 탄도미사일 발사 상황을 실시간으로 파악하고, 관련 상황을 대통령께 보고하면서 상황을 주시해 왔다"면서 "특히 '긴급 안보 상황 점검회의'를 통해 안보실과 국방부 및 군의 대응 상황을 점검하고 한반도 상황에 미칠 영향을 평가했다"고 했다. gomsi@newspim.com 2025-10-22 11:12
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동