김인동 상무, 미국 AI인프라서밋 발표
“현재 초당 100토큰, zHBM으로 1000토큰으로”

삼성전자 미주총괄법인(DSA) 김인동 메모리 상품기획 담당 상무가 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’에서 발표하고 있다. 연합뉴스

삼성전자가 인공지능(AI) 가속기 위에 고대역폭 메모리(HBM)를 수직으로 쌓는 zHBM을 통해 AI 응답 속도를 현재보다 10배 개선시키겠다는 비전을 제시했다.

삼성전자 미주총괄법인(DSA) 김인동 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’ 발표에서 “앞으로 에이전트형 AI를 위해 이를 초당 1000토큰으로 10배 끌어올리는 양자 도약을 목표로 하고 있다”고 밝혔다.

토큰은 AI가 문장을 읽고 답변을 만들 때 처리하는 기본 단위다. 초당 처리하는 토큰이 많을수록 이용자가 답변을 받아보는 속도도 빨라진다.

김 상무는 “현재 대화형 AI 시스템의 응답속도는 이용자당 초당 100토큰 수준”이라며 “이를 개선하기 위해 AI 가속기 옆에 HBM을 나란히 배치하는 2.5D 방식에서 벗어나 가속기 상단에 HBM을 직접 얹는 수직 적층형 zHBM이 유일한 돌파구”라고 강조했다.

AI 가속기는 AI가 요구하는 대규모 연산을 빠르게 처리하는 반도체다. HBM은 이 가속기가 연산에 필요한 데이터를 빠르게 받아볼 수 있도록 공급하는 고성능 메모리다. 현재는 AI 가속기와 HBM을 연결판 위에 나란히 놓고 있지만 이를 위와 아래로 쌓아 물리적 거리를 줄이겠다는 계산이다. 삼성전자에 따르면 zHBM은 HBM5와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 구현할 수 있다.

그는 “호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것”이라며 “데이터 이동 거리와 지연 시간을 극단적으로 줄일 수 있다”고 덧붙였다.

다만 발열 문제는 숙제로 꼽힌다. AI 가속기는 대규모 연산을 처리하면서 많은 열을 뿜어내는데 그 위에 HBM을 올리면 발열이 직접 메모리로 전해질 수 있기 때문이다. 이에 대해 삼성전자는 AI 가속기 고객사들과 초기 설계 단계부터 맞춤형으로 협력하는 공동 설계 체계를 구축해 문제를 해결하겠다는 방침이다.

이날 삼성전자는 기기내장형 AI 시장을 겨냥해 내놓은 낸드플래시 기반 3D 저장장치 설루션인 ‘z낸드-O’의 로드맵도 함께 공개했다.

김 상무는 “2030년이 되면 (대규모 서버가 아닌) AI 워크스테이션 등의 환경에서도 매개변수 1조 개 수준의 거대 AI를 자체 구동하는 사례가 보편화할 것”이라며 “D램만으로 매개변수 1조 개에 맞는 메모리를 구성하려면 상당히 큰 비용이 들지만 z낸드O를 적용하면 6분의 1 비용으로 구현할 수 있다”고 했다.

그러면서 그는 “2028년 z낸드-O의 샘플 공급을 시작할 예정”이라며 “AI 반도체 경쟁의 핵심인 시장 출시 속도에서 고객사들에 독보적 가치를 제공할 것”이라고 말했다.

유승호 기자 peter90@busan.com