인공지능(AI) 데이터센터(AIDC) 시대에 고대역폭메모리(HBM)는 필수품이다. AI 모델 학습·추론을 위해 대용량 데이터를 초고속으로 처리해야 해서다. 이에 현대차증권은 HBM 시장이 올해 476억달러에서 내년 655억달러로 성장할 것으로 전망한다.

하지만 큰 단점이 있다. 바로 발열이다. AI 가속기인 엔비디아 H100은 초당 67조~1경번의 연산을 수행하면서, 순간 온도가 88도까지 치솟는다. 특히 AI 가속기에 부착된 HBM은 여러 메모리 칩을 적층해 만들었기 때문에 층간에 막대한 열을 축적한다. HBM3는 최고 동작 온도를 95도로 설정했는데 자칫 해당 온도를 초과하면 시스템에 먹통을 초래할 수 있다.

반도체 업계가 불을 켜고 제2의 HBM 찾기에 나선 이유다. 특히 삼성전자, SK하이닉스, 마이크론 등 메모리 3사는 발열은 낮지만 속도가 비교적 빠른 CXL(컴퓨트익스프레스링크)·SoCAMM(저전력 D램 기반 AI 서버 특화 메모리)·PIM(프로세싱인메모리) 개발에 박차를 가하고 있다.

먼저 CXL은 중앙처리장치(CPU), 그래픽처리장치(GPU), 신경망처리장치(NPU) 등 다양한 프로세서가 각자의 메모리를 하나의 시스템 내에서 유기적으로 공유하고 사용할 수 있도록 해주는 차세대 메모리 인터커넥트 기술이다. 서버에는 메모리를 장착하기 위한 슬롯이 필요하다. 하지만 D램은 'DIMM 슬롯'에, GPU나 솔리드스테이트드라이브(SSD)는 'PCIe 슬롯'에만 연결된다. 문제는 DIMM 슬롯 수가 통상 8~16개로 제한돼 있어 대용량 메모리의 추가 장착이 어렵다는 점이다. 이에 따라 데이터가 몰리면 병목현상이 발생한다. 하지만 CXL은 PCIe 슬롯에 D램 기반 메모리 모듈을 추가 장착할 수 있도록 지원한다. 이를 통해 테라바이트(TB) 단위의 메모리 확장은 물론이고 수백 TB까지 메모리 용량을 늘리는 것이 가능해진다. 메모리 확장의 '끝판왕'이라는 별명이 붙은 이유다.

권석준 성균관대 화학공학부 교수는 "CXL은 현재 DDR D램을 기반으로 한 서버 환경에서 중요한 기술로 부상하고 있다"며 "메모리를 빠르게 연결하는 기술을 뛰어넘어 속도 향상, 전력 효율, 데이터 안정성까지 모두 챙기는 방향으로 진화하고 있다"고 설명했다. 이어 그는 "반도체 기업들이 처음엔 CXL을 단순한 연결 기술로 여겼다"면서 "하지만 AI 시대를 맞아 데이터 처리에 최적화된 소프트웨어와 도구까지 개발하고 있다"고 덧붙였다.

현재 반도체 업계는 HP엔터프라이즈(HPE), 델테크놀로지스, 레노버와 같은 글로벌 서버 제조기업을 상대로 인증 절차를 밟고 있다. 삼성전자가 256GB(기가바이트) CXL에 대해, SK하이닉스가 CXL DDR5 128GB에 대해 각각 인증을 받고 있다.

SK하이닉스는 "새 제품을 서버에 쓰면 예전보다 50% 더 많은 데이터를 저장할 수 있다"고 설명했다.

SoCAMM은 저전력 칩인 LPDDR5X를 기반으로 고대역폭과 저전력 특성을 동시에 갖춘 것이 특징이다. 노트북이나 모바일 기기에서 주로 사용되는 LPDDR5X 메모리를 서버 환경에 맞게 변형한 것으로 보면 이해가 쉽다.

따라서 서버 메모리보다 크기가 훨씬 작다. 세로 14㎜, 가로 90㎜ 정도로 서버용 메모리 모듈(RDIMM)의 3분의 1 크기다. 하지만 최대 128GB 용량을 지원해 서버 공간을 줄여준다. 데이터 처리 속도는 최고 9.6GT/s(기가전송률)로, 종전 DDR5 RDIMM(등록형 메모리 모듈)보다 2.5배 빠르다. 그런데도 전력 소모는 오히려 3분의 1로 줄어든다. 다만 HBM3가 최대 819GB/s인 점을 고려할 때 성능 면에서는 크게 열세다.

또 다른 문제도 있다. 현존하는 서버 메모리는 대다수 LPDDR5X가 아닌 DDR5 RDIMM이기 때문에 호환성이 걸린다. 또 엔비디아가 차세대 AI 시스템인 '그레이스 CPU 기반 AI 서버'에 도입하려 하고 있지만, 개발 초기 단계라 고객사가 많지 않다. 하지만 메모리 3사 모두 적극적이다. 삼성전자, SK하이닉스, 마이크론 모두 엔비디아 서버용 공급을 준비하고 있다. 메모리 3사는 엔비디아용을 양산하면서 노하우를 익힐 것으로 보인다.

한 반도체 관계자는 "SoCAMM 자체가 패키지 형태일 뿐이라 특별한 로직이 필요한 것은 아니다"면서 "다만 아직은 표준이 마련돼 있지 않아 표준이 마련된 뒤에야 각 사가 시장에 본격 공급할 것으로 보인다"고 말했다.

반도체 업계가 주목하는 또 다른 기술은 PIM이다. 메모리 안에 연산 기능을 탑재했다고 보면 된다. 기존처럼 데이터를 CPU나 GPU로 옮겨 계산하는 방식은 속도와 전력 소모 측면에서 한계가 뚜렷하다. PIM은 데이터를 메모리 내부에서 직접 처리해 연산 속도를 끌어올리고, 전력 사용도 크게 줄여준다. 특히 AI 추론처럼 연산과 데이터 이동이 반복되는 작업에서 성능 개선 효과가 크다.

삼성전자는 2021년 세계 최초로 메모리 반도체와 AI 프로세서를 하나로 결합한 HBM-PIM을 개발한 데 이어 AI 반도체와 병렬 연산에 최적화된 차세대 기술을 개발하고 있다. 지난해 11월 삼성전자는 '삼성 AI 포럼 2024'에서 HBM을 뛰어넘을 핵심 제품으로 PIM 개발에 집중한다고 밝혔다.

손교민 삼성전자 마스터는 해당 포럼에서 "HBM은 AI 반도체의 핵심이지만 대역폭 확대나 적층 한계가 뚜렷하다"면서 "이를 보완할 차세대 메모리로 PIM이 주목받고 있다"고 말했다. 그는 이어 "HBM이 현재 1등 기술인 건 분명하지만 삼성은 미래를 대비해 PIM 등 새로운 솔루션을 집중 연구 중"이라고 밝혔다.

SK하이닉스 역시 2022년부터 자체 PIM 기술을 개발하고 있다. 이를 적용한 첫 제품으로 초당 16기가비트(Gbps) 속도의 'GDDR6-AiM(Accelerator in Memory)' 샘플을 선보였다. 2023년 9월 열린 'AI 하드웨어&에지 AI 서밋 2023'에서는 GDDR6-AiM을 기반으로 한 생성형 AI 가속기 카드 'AiMX' 시제품을 처음 공개해 시선을 끌었다. AI는 막대한 데이터를 필요로 하고, 반도체의 데이터 처리에는 발열이 부작용으로 나타나기 때문에 미래 칩 기술의 방향점은 성능을 유지하면서도 열을 낮추는 데 있다.

[이상덕 기자 / 박소라 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]