세계 인공지능(AI) 칩 산업을 엔비디아가 사실상 장악한 가운데, 국내 기업은 갈 길이 멀다는 지적이 쏟아진다. 리벨리온과 퓨리오사AI 같은 팹리스(Fabless·반도체 설계) 업체가 대만 TSMC 등 파운드리 업체를 통해 AI 반도체 신경망처리장치(NPU)를 제조 중이지만, 빅테크와는 비교 불가다. 특히, 국내 AI 산업은 생태계 전반을 포괄적으로 아우르지 못하고 고대역폭메모리(HBM) 같은 메모리 칩 위주로 분절된 형태를 이룬다는 점이 약점으로 지목된다. HBM 부문에서도 SK하이닉스만 존재감을 보일 뿐 삼성전자는 옛 위상을 되찾지 못하고 있는 점은 뼈아프다.

SK하이닉스 빼면 존재감 無

삼성, HBM 재고 충당금 쌓아

AI 산업 생태계는 크게 반도체 설계와 반도체 제조·패키징, 클라우드(가상 서버), AI 모델, AI 서비스 등 5가지로 나뉜다. GPU 같은 AI 칩 밸류체인도 크게 설계·IP, 부품, 제조, 네트워킹, 전력·열관리, 제조장비, 테스트·측정 등으로 그려진다. 미국은 반도체 칩과 AI 소프트웨어를 아우르는 완결된 산업 생태계를 구축했다는 데 이견이 없다. 중국도 미국을 충격에 빠뜨린 딥시크 같은 고성능·저비용 AI 모델을 만들 만큼 소프트웨어 경쟁력을 끌어올렸다. 대만은 세계 파운드리 시장을 장악한 TSMC가 고성능 AI 칩의 약 95%를 생산하고 폭스콘 등이 AI 데이터센터를 만든다.

문제는 AI 산업 어디를 둘러봐도 한국 기업 존재감이 미미하다는 데 있다. HBM 세계 1위 SK하이닉스를 제외하면 AI 산업 생태계 선두 기업은 사실상 전무하다. 세계 반도체 시장을 호령하던 삼성전자 위세가 꺾인 점은 아쉽다. 지난 2분기 ‘어닝 쇼크’ 원인으로 지목된 조 단위 재고자산 충당금도 대부분 HBM 관련 비용일 것으로 시장은 보고 있다. 삼성전자는 지난 2분기 반도체(DS) 사업 부문에서 메모리와 파운드리에 1조5000억원 이상 재고자산평가충당금을 쌓은 것으로 추정된다. 메모리에서 1조원, 파운드리에서 5000억원 수준이다. 충당금은 창고에 쌓인 재고 가치가 앞으로 떨어질 가능성이 높으므로, 미리 손실 비용을 계산해두는 것을 뜻한다. 시장에서는 메모리 충당금 상당 부분이 HBM3E 관련 재고와 중국 수출용 엔비디아 H20 탑재용 HBM3일 것으로 보고 있다.

HBM3E 관련 충당금은 엔비디아 공급을 목표로 제조됐지만, 품질 인증(퀄테스트)을 통과 못한 탓으로 시장은 바라본다. H20은 미국이 대중국 반도체 수출 제한을 강화한 뒤 엔비디아가 중국 시장을 노려 만든 제품으로, 합법적으로 중국 수출이 가능한 최고 사양 AI 칩이다. 지난 4월 미국 트럼프 행정부가 대중 견제 수위를 높여 H20 수출까지 막았다. 다만, 미국이 최근 H20 공급 재개를 허가해 삼성전자 입장에서는 다소 숨통이 트일 전망이다.

그나마 희망적인 대목은 리벨리온과 퓨리오사AI처럼 존재감을 키우는 반도체 팹리스 스타트업이 하나둘 나오기 시작했단 사실이다. 이들이 주력하는 AI 반도체는 NPU다. NPU는 AI 핵심이라 할 수 있는 딥러닝 알고리즘 연산에 최적화된 반도체다. NPU는 범용성은 다소 부족하지만 딥러닝 연산에 특화해 GPU보다 빠른 연산 작업이 가능하다. 전력 소모를 줄여 전성비도 개선할 수 있다.

한국은 뒤늦게 소버린 AI(Sovereign AI) 구축에도 뛰어들었다. 소버린 AI는 자국 기술력과 표준으로 AI 모델을 개발하고 관련 인프라를 확보해 ‘AI 주권’을 지키겠단 뜻이 담겼다. 네이버는 초거대 AI 모델 하이퍼클로바X 등을 앞세워 ‘소버린 AI’ 전략에 고삐를 죈다. 카카오는 자체 언어모델 ‘카나나’를 개발하고 있지만, AI 서비스에 집중하며 다소 결을 달리한다.

AI 산업 생태계 완결성 낮아

전후방 산업 유기적 결합 서둘러야

그럼에도 불구하고, 우리 AI 생태계는 각 산업 부문 간 유기적으로 통합되지 못하고 분절된 상태에 놓여 있다는 점이 취약점으로 지목된다.

미국을 예로 들면 이렇다. 마이크로소프트, 메타, 아마존, 구글 같은 빅테크는 자사 서비스에 특화한 맞춤형 NPU를 자체 설계한다. 그 뒤 이를 브로드컴이나 마벨 같은 디자인하우스에 맡기면 이들은 TSMC 같은 파운드리 업체를 통해 맞춤형 AI 칩을 제조한다. 파운드리·패키징 부문은 외주화가 불가피하지만, 하드웨어와 소프트웨어 부문에선 응집력이 뛰어난 산업 생태계를 구축했다는 데 이견이 없다. 엔비디아가 AI 산업 패권을 거머쥔 것도 하드웨어인 GPU 운용을 자체 소프트웨어 CUDA(Compute Unified Device Architecture)가 완벽히 지원하는 덕분이다. 엔비디아는 자사 GPU에서 실행하는 병렬처리 알고리즘을 C언어 등으로 작성할 수 있게 하는 플랫폼 CUDA를 2000년대 개발·보급했고 세계 AI 개발자들을 장악했다. 무엇보다 미국 빅테크는 AI 칩을 직접 개발해 자신들이 운영하는 AI 데이터센터에 바로 쓸 수 있다. 쉽게 말해, 고객을 이미 확보한 상태에서 칩을 만든다. 한국은 다르다.

리벨리온이나 퓨리오사AI 같은 팹리스 스타트업은 빅테크를 고객사로 확보하는 것부터 난제다. 이들은 직접 데이터센터를 운영하지 않아 엔비디아라는 ‘AI 공룡’을 제치고 빅테크 선택을 받아야 하는데 만만치 않다.

메모리 부문 국내 생태계도 점차 힘을 잃고 있다는 우려가 팽배하다. 특히, HBM의 경우 세대가 거듭될수록 파운드리·패키징 영향력이 커져 최종 수혜를 대부분 TSMC가 위치한 대만 기업이 누리고 있단 시각이 많다.

가령, 6세대 HBM4 패키지 최하단에는 ‘베이스 다이(Base Die)’가 배치된다. 베이스 다이는 GPU와 연결돼 HBM을 통제하는 역할을 한다. ‘버퍼 다이’ 혹은 ‘로직 다이’라고도 한다. 이전 세대보다 월등한 고속·고용량 성능을 구현하려면 베이스 다이가 기존 HBM처럼 단순히 D램 칩과 GPU를 연결하는 역할을 넘어 연산 등 시스템반도체 기능을 수행해야 한다. 이런 베이스 다이는 기존 D램 공정으로는 제작이 어렵다.

HBM 세대가 거듭될수록 파운드리·패키징 영향력이 커진단 의미다. SK하이닉스는 6세대 HBM4부터 대만 TSMC 초미세 선단 공정을 활용한다.

전문가들은 산업 정책 접근법부터 바꿔야 한다는 주장을 편다. 개별 기업 단위가 아니라 산업 생태계 단위로 접근해야 한다는 얘기다. 게리 피사노 하버드대 교수 등이 강조한 ‘산업 공동자산’은 산업 기반이 집적되지 않으면 혁신 역량이 상실된다는 경고를 담았다. 피사노 교수는 “생산 현장, 엔지니어링, 숙련 노동, 협력 업체, 대학·연구소 등이 지역, 국가 내에 함께 있어야 학습과 혁신의 선순환이 일어난다”고 주장한다. 국내 AI 산업 정책 역시 전후방 산업이 집적돼 클러스터를 이룰 수 있도록 정책 시각부터 바꿔야 한단 지적이다. 윤성로 서울대 전기정보공학부 교수는 “규제를 없애고 혁신 생태계 조성에 민관이 합심하고 산학이 똘똘 뭉쳐 협력해야 한다”고 말했다.

‘넥스트 엔비디아’ 기대감이 높은 분야로는 ▲주문형반도체(ASIC) 설계 ▲AI 네트워킹 ▲AI 데이터센터 전력·열관리 등이 꼽힌다.

IT 업계에 따르면, ‘반(反)엔비디아 연합’ 진영에서는 GPU 대체재를 목표로 ASIC 개발에 사활을 걸었다. ASIC는 ‘Application-Specific Integrated Circuit’ 약자로, 특정 용도에 맞게 설계된 반도체 칩을 말한다. 범용 컴퓨터가 여러 일을 할 수 있는 대신, ASIC는 딱 한 가지 기능을 매우 빠르고 효율적으로 수행하도록 만든 칩이다. 일반 CPU나 GPU보다 확장성은 떨어지지만, 전력 대비 성능이 매우 뛰어나다. AI 칩 주요 작업이 ‘추론’과 ‘연산’ 등 세분화하며 ASIC 수요가 급증할 것으로 IT 업계는 보고 있다. 시장에서는 내년 ASIC 출하량이 엔비디아 AI 칩 공급량을 넘어설 수 있단 장밋빛 전망도 나온다. JP모건은 올해 글로벌 ASIC 시장 규모가 약 300억달러(약 41조원)에 달할 것이며 연평균 30% 이상 성장할 것으로 봤다.

‘넥스트 엔비디아’ 선두 주자로는 미국 반도체 팹리스 기업 브로드컴과 마벨테크놀로지가 물망에 오른다. 빅테크 기업은 데이터 학습·추론 속도가 빠르면서 전력 소모는 덜한 ASIC 개발을 위해 브로드컴, 마벨과 잇따라 손을 잡고 있다. 값비싼 엔비디아 GPU 의존도를 낮추겠단 복안이다. 브로드컴은 구글 ASIC ‘TPU’ 7세대 제품 설계 계약을 따냈고 메타 ‘MITA’ 1·2·3세대에 이어 4세대 제품까지 설계를 맡았다.

빅테크 기업은 엔비디아 AI 가속기에 필적할 만한 신규 ASIC를 선보이거나 기존 제품 업그레이드로 ‘탈(脫)엔비디아’를 서두른다. 현재 양산 중인 구글 TPU와 아마존 트레이니움(Trainium)은 내년을 기점으로 각각 7세대, 3세대로 전환이 예상된다. 메타도 내년 4세대 MITA 양산을 목표로 한다. 마이크로소프트 ‘마이아(Maia)200’도 내년 양산 시작이 기대된다.

ASIC 성장은 국내 메모리 제조 업체에도 고객사 다변화 기회가 될 전망이다. 가령, 구글 6세대 TPU에 8단짜리 HBM3E 2개가 들어갔다면 TPU 7세대 제품에는 12단짜리 HBM4 6개가 탑재된다. 최근 마이크론은 실적 발표에서 HBM 주력 4개 고객사로 엔비디아, AMD 등과 함께 ‘ASIC 플랫폼’ 기업을 지목했다. 차용호 LS증권 애널리스트는 “2026년부터는 추론 시장 개화와 함께 ASIC 업체 점유율 증가로 HBM 고객사 다변화가 이뤄질 것”이라고 봤다.

브로드컴과 마벨테크놀로지는 ‘이더넷(Ethernet)’ 장비 수요도 꾸준하다. 이더넷은 컴퓨터나 서버 같은 여러 기기를 하나의 네트워크로 연결해주는 기술이다. 클라우드·AI 데이터센터는 수많은 서버끼리 막대한 양의 데이터를 빠르게 주고받아야 한다. 이때 서버 사이를 연결해주는 네트워크 핵심 부품이 이더넷 스위치 칩이다. 브로드컴은 이 시장에서 압도적인 기술력과 점유율을 확보했단 평가다. 마벨은 네트워크 스위치 칩뿐 아니라, AI·클라우드에 특화한 맞춤형 실리콘(Custom Silicon)과 DPUs(데이터처리장치), 스토리지 네트워크 칩 분야에서 두각을 보인다.

AI 데이터센터 설비 투자 확대로 서버용 CPU 시장이 커지자 팹리스 기업 ARM도 영역을 확장하기 시작했다. ARM은 모바일 시장 칩 설계 분야를 사실상 독점해왔다. 모바일 시장을 석권한 ARM은 AI 시대 PC와 서버용 시장까지 노린다. 특히 서버 시장 ARM CPU 점유율은 우상향 중이다.

AI 데이터센터 수요 증가로 전력 분야 관심도 식지 않는다. AI 데이터센터는 기존 데이터센터보다 더 빠르고, 더 많은 정보를 처리·보관하는 만큼 10배 이상 전력이 필요하다. 한국무역협회 국제무역통상연구원에 따르면, 2003~2021년 주요 글로벌 기업 데이터센터 투자는 연평균 21% 수준으로 상승했다. 글로벌 데이터센터 시장 규모 역시 2023년 3728억달러에서 2029년에는 67% 증가한 6241억달러로 성장할 전망이다.

미국에서는 전력기기 수혜 기대 기업으로 무정전전원장치(UPS)를 만드는 이튼과 버티브, 유틸리티사인 비스트라와 컨스텔레이션 등이 꼽힌다. 함형도 신한투자증권 애널리스트는 “지난 1분기 데이터센터발 전력기기 발주 증가가 확인됐고 하반기 수주 증가세가 이어질 것”이라 봤다.

국내 기업 중에서도 AI 데이터센터 전력기기 분야 수혜 기업이 있다. 데이터센터 건설로 초고압 변압기 수요 등이 늘면서 유례없는 호황을 구가 중이다. LS전선·대한전선 같은 회사가 AI 붐에 따른 전력망 수혜 기업(전선)이라면, 효성중공업과 LS일렉트릭·HD현대일렉트릭은 2차 수혜 기업(전력기기)으로 분류된다. 이들 기업은 이미 수년 치 주문이 쌓였다.

향후 AI가 적용될 ‘휴머노이드’까지 ‘넥스트 엔비디아’ 물망에 오른다. 휴머노이드는 피지컬(physical) AI의 한 종류다. 미국에서는 테슬라가 선두 주자로 평가된다. 2022년 첫 시제품 범블비를 발표한 뒤 2023년 옵티머스 젠1과 젠2를 내놨다. 지난 5월에는 옵티머스가 춤추는 영상에 이어 바닥을 쓸고 쓰레기를 버리는 등 집안일을 하는 모습을 공개했다.

[배준희 기자 bae.junhee@mk.co.kr]

[본 기사는 매경이코노미 제2319호 (2025.07.23~07.29일자) 기사입니다]

[Copyright ⓒ 매경이코노미. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지.]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]