통신 전문 서비스로 고객센터, 유통망, 네트워크 운용 등에 활용

SK텔레콤은 5G 요금제, T멤버십, 공시지원금 등 전문 용어와 인공지능(AI) 윤리가치 등을 학습한 통신업에 특화된 ‘텔코LLM’을 이르면 올해 6월 출시한다고 30일 밝혔다.

텔코LLM은 SK텔레콤 에이닷엑스(A.X), 오픈AI GPT, 앤트로픽 클로드 등 다양한 범용모델을 기반으로 탄생했다. SK텔레콤 멀티 LLM 전략의 일환이라고 한다.

SK텔레콤 에릭 데이비스 AI 테크 콜라보레이션(Tech Collaboration) 담당은 이날 관련 설명회에서 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고, 이를 골라 쓸 수 있도록 하는 것이 멀티LLM 전략”이라고 설명했다.

통신사가 하려는 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 활용할 수 있는 서비스 범위는 무궁무진하다고 SK텔레콤 측은 밝혔다.

국내를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것이란 기대다.

이를 위해 SK텔레콤은 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발 중이다.

오픈 AI는 이달 5일 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개하며 “특히 SKT와 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다”고 밝힌 바 있다.

통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있다는 설명이다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵지만, 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정, 파인튜닝을 거쳤다고 SK텔레콤은 전했다.

이렇게 파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF)도 진행한다. 텔코LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하고, 고객 문의에 대해 유용한 답변을 했는지 문맥을 제대로 이해했는지 등에 대해 채점하는 사람의 평가를 통한 강화학습이다.

마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다.

고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화 하는 방식이다. 이 모든 과정은 계속 주기적으로 반복된다.

당장 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요되는데, 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 보인다.

기존의 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색, 요약하여 답을 한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면, 텔코 LLM이 이 과정을 줄여주는 셈이다.

또한 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다고 SK텔레콤은 강조했다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다고 밝혔다. 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있다는 것이다.

SK텔레콤 정민영 AI플랫폼 담당은 “고객센터, 인프라 뿐만 아니라 마케팅/유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 말했다.

SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 일종의 ‘기업용 AI 개발·운용 패키지’다.

멀티LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이라고 밝혔다.

민지형 기자 oasis@busan.com