지난달 28일(현지시간) 미국 텍사스주 오스틴. 시내 중심가에서 차에 몸을 맡긴 지 25분 정도 지나자 아마존웹서비스(AWS) 반도체 연구소 품질보장(QA) 센터가 눈앞에 펼쳐졌다. 실제 운영 중인 데이터센터 공간 일부를 빌려 아마존이 자체 설계한 인공지능(AI) 반도체 '트레이니움2'가 탑재된 서버를 구동하는 곳이다. 일종의 미니 데이터센터인 셈이다. AWS는 전 세계 7개국 미디어를 이번 투어에 초청했는데, 한국 매체 중에서는 매일경제가 유일하게 참석했다.

기자가 방문한 QA센터는 현재 서버 2대만 작동되고 있었음에도 불구하고 냉각기(팬) 소음이 커 옆 사람과 대화를 이어가기 어려울 정도였다. 열이 빠져나가는 서버 뒤쪽에 서자 뜨거운 바람이 얼굴에 확 느껴졌다. 이 공간을 실제 서버로 가득 채우고 AI 학습이 이뤄질 경우 이곳은 오븐에 비교할 수 있을 만큼 뜨거워진다고 AWS 관계자는 설명했다. 이 때문에 열을 효과적으로 외부로 빼내는 것과 서버에 탑재된 AI 반도체의 저전력 성능이 핵심 기술로 통한다.

챗GPT 같은 생성형 AI 모델은 이 같은 서버 수백 대로 구성된 데이터센터에서 길게는 몇 달간 학습 과정을 거쳐서 만들어진다. 한 대의 AWS 서버는 1초에 약 8경번(83.2페타플롭스)의 연산을 하는데, 이 과정에서 엄청난 열이 발생하고 막대한 전력이 소모된다. 이에 대한 해법으로 AWS는 저전력·고효율 AI 반도체를 직접 개발하게 됐다는 설명이다. 라미 신노 AWS 엔지니어링 디렉터는 "우리가 설계한 AI 반도체는 대규모 연산을 저전력으로 빠르게 처리할 수 있어 학습 시간, 발열 정도, 전력 소모 측면에서 효율성을 크게 높여 나가고 있다"고 말했다.

이곳에서 구동되고 있는 AWS의 '트레이니움2'는 현재 AI를 학습하기 위해 가장 많이 쓰고 있는



그래픽처리장치(GPU)인 엔비디아 'H100'의 강력한 경쟁자로 떠오르고 있다. 미국 반도체 연구·컨설팅 회사인 세미애널리시스에 따르면 엔비디아 H100의 전력 소모량은 최대 700와트(W) 정도이지만, AWS의 '트레이니움2'는 최대 500와트(W)로 H100의 70% 수준이다. 전력 소모량이 적으면 그만큼 발열량도 적어져 AI 학습 효율이 높아지고, 비용은 낮아진다. 비교 실험 결과, AI 학습에 투입되는 비용은 AWS '트레이니움2'가 엔비디아 H100의 4분의 1 수준인 것으로 나타났다.

투어에 참여한 미디어들은 이날 안나푸르나랩스도 방문했다. 아마존은 2015년 이스라엘 반도체 기업 안나푸르나랩스를 인수해 자체 설계 반도체 연구를 시작했다. 그 결과, 2018년 처음으로 AWS의 저전력 중앙처리장치(CPU) 칩인 '그라비톤'을 선보였다. AWS에 따르면 최근 2년간 AWS 데이터센터에 들어간 CPU의 50% 이상이 그라비톤인데, 200만개 이상이 탑재된 것으로 집계됐다.

AWS는 올해 말 차세대 AI 반도체인 '트레이니움3'의 자세한 스펙을 공개할 예정인데, 연산 측면에서 트레이니움2 대비 4배의 성능 향상을 예고했다. AWS는 반도체부터 소프트웨어, 데이터센터까지 아우르는 수직계열화 체계를 강점으로 꼽았다.

AWS는 한국 기업들과의 협력도 기대했다. 트레이니움2에는 현재 삼성전자와 SK하이닉스의 고대역폭메모리(HBM)가 탑재돼 있다. 제조는 대만 TSMC 파운드리에서 만들어지고 있다. 다만 AWS는 향후 미국 내 파운드리에서 생산할지에 대해서는 말을 아꼈다.

시장조사 기관 가트너에 따르면 AI 반도체 시장 규모는 올해 919억5500만달러(약 127조2500억원)에서 2028년 1965억달러(약 272조원)로 성장할 전망이다.

[오스틴 이덕주 특파원]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]