HBM의 역사와 HBM3E가 가져올 변화

HBM(High Bandwidth Memory)

HBM은 전통적인 GDDR (Graphics Double Data Rate) 메모리가 직면한 대역폭 제한을 해결하기 위해 개발되었습니다. HBM의 기원은 AMD와 하이닉스의 노력으로 거슬러 올라갑니다. AMD는 그래픽 및 컴퓨팅 제품에 더 효율적인 메모리 시스템이 필요함에 따라 HBM의 개념 개발에 중요한 역할을 했습니다. 하이닉스는 이 기술 개발에 AMD와 긴밀하게 협력했습니다.

첫 번째 HBM, HBM1은 2013-2014년경에 도입되었습니다. 그것의 개발은 고성능 컴퓨팅 응용 분야에서 더 높은 대역폭 메모리에 대한 수요 증가에 대한 반응이었습니다. AMD의 Fiji GPU는 HBM1을 사용한 최초의 상용 제품 중 하나였습니다.

후속 버전인 HBM2는 속도와 밀도 측면에서 개선을 제공하여 AI 및 딥 러닝과 같은 고급 애플리케이션에 더 적합하게 만들었습니다. 2024년 상반기에는 HBM3E가 출고되어 엔비디아의 5세대 AI칩인 H200칩에 탑재됩니다.

HBM2E

HBM2에서의 발전: HBM2E는 HBM2의 고급 버전입니다. 이는 더 높은 용량과 속도를 포함한 향상된 성능을 제공합니다.

도입 및 개발:

HBM2E는 2018-2019년경 처음 발표되었습니다.

이는 AI, 고성능 컴퓨팅(HPC), 그래픽과 같은 애플리케이션에서 더 높은 대역폭에 대한 수요 증가에 대응하기 위함이었습니다.

기술적 개선사항:

HBM2E는 스택당 용량(스택당 최대 16GB)을 HBM2에 비해 크게 증가시켰습니다.

대역폭도 개선되어 스택당 460GB/s를 넘어섰습니다.

채택: HBM2E는 다양한 고급 GPU 및 가속기에서 사용되며, 특히 높은 대역폭과 에너지 효율이 필요한 영역에서 사용됩니다.

HBM3

HBM3는 HBM2E의 후속 제품입니다.HBM3의 기계 학습과 대규모 시뮬레이션과 같은 데이터 집약적인 애플리케이션의 지속적으로 증가하는 요구에 의해 영향을 받았습니다.

주요 특징:

HBM3는 HBM2E보다 훨씬 높은 대역폭을 제공하며, 초기 보고에 따르면 스택당 최대 819GB/s에 이릅니다.

스택당 용량도 증가하여 최대 64GB에 이를 수 있습니다.

출시:

HBM3에 대한 세부 정보는 2020-2021년경에 시작되었습니다.

이는 데이터 전송 속도가 점점 더 병목 현상이 되고 있는 현대 컴퓨팅 하드웨어의 미래에 있어 중요한 구성 요소로 보입니다.

HBM3E

데이터 전송 속도: SK 하이닉스의 HBM3E 메모리는 데이터 전송 속도를 기존 6.40 GT/s에서 최대 9 GT/s로 상승시켜 성능을 향상시킵니다.

대역폭: 이에 따라 스택당 대역폭이 819.2 GB/s에서 최대 1.15 TB/s로 증가하게 됩니다. 삼성과 마이크론은 1.2TB/s의 속도가 가능하고 주장합니다.

HBM4

메모리 인터페이스: HBM4는 2048비트의 더 넓은 메모리 인터페이스를 도입할 계획이며, 이는 HBM3의 1024비트보다 두 배 더 넓습니다.

DRAM 스택킹 및 연결: HBM4의 2048비트 메모리 인터페이스 구현을 위해 실리콘을 통한 비아와 마이크로 범프의 수가 대폭 증가해야 합니다. HBM3의 약 3982개 범프에 비해 상당한 증가가 예상됩니다.

스택킹 기술: HBM4에서는 최대 16개의 메모리 다이를 하나의 모듈로 적층하는 ’16-Hi 스택킹’ 방식을 계획 중입니다. 이는 용량을 크게 늘리면서도 스택 높이를 일관되게 유지하는 복잡한 기술적 도전을 안고 있습니다.

용량 및 대역폭: HBM4는 스택당 36GB에서 64GB 사이의 용량을 제공할 것으로 기대되며, 스택당 최대 2TB/s 이상의 대역폭을 지원할 것으로 예상됩니다.

AI시스템에 HBM이 필수적인 이유

딥 러닝 및 신경망 처리에 관여하는 AI 시스템은 대규모 데이터 세트를 효율적으로 처리하고 학습하기 위해 엄청난 데이터 대역폭이 필요합니다. 이러한 측면에서 HBM은 몇 가지 주요 장점을 제공합니다

높은 대역폭:

이름에서 알 수 있듯이, HBM은 전통적인 메모리 솔루션에 비해 훨씬 높은 대역폭을 제공합니다. 이는 복잡한 AI 모델을 훈련시키는 데 필수적인 빠른 데이터 전송 속도를 가능하게 합니다.

에너지 효율성:

HBM은 전통적인 GDDR 메모리보다 에너지 효율이 더 높습니다. 이 효율성은 대량의 데이터를 처리하는 AI 애플리케이션에서 운영 비용을 줄이고 열 발생을 감소시키는 데 중요합니다. HBM3E의 경우 전성비(performance/watt)가 전세대 대비 2.5배 향상된다고 합니다.

작은 사이즈:

HBM은 훨씬 작은 폼팩터를 가지고 있습니다. 이는 3D 적층 방식을 사용하여 여러 층의 메모리를 서로 위에 쌓는 방식으로, 공간을 절약하고 데이터가 이동해야 하는 거리를 줄입니다. HBM3E는 이전 모델보다 동일공간에서 50% 더 많은 용량의 메모리 공간을 장착할 수 있다고 합니다.

지연 시간 감소:

HBM은 시스템 내 GPU 또는 CPU에 가까이 배치됨으로써 데이터 전송에서 지연 시간을 줄입니다. 이는 속도가 핵심인 AI 및 머신 러닝 애플리케이션에서 매우 중요합니다. HBM3E는 LLM의 하루당 쿼리 트레이닝 숫자를 30% 이상 증가시킨다고 마이크론은 주장합니다.

HBM의 주요 제조업체 및 경쟁상황

< HBM 시장점유율 전망, 출처: 트랜드포스>

SK Hynix:

HBM의 공동 개발자 중 하나인 SK Hynix는 HBM 기술의 제조 및 발전에서 선두 주자로 남아 있습니다. SK 하이닉스는 글로벌 HBM(고대역폭 메모리) 시장에서 중요한 역할을 하고 있습니다. 특히, 엔비디아의 최신 H100 GPU 칩셋과 같은 고성능 칩을 위한 HBM3을 독점 납품하면서, 시장에서 큰 주목을 받았습니다.

SK하이닉스가 HBM(고대역폭 메모리) 시장에서 두각을 나타내는 원동력은 ‘MR-MUF’라는 혁신적인 기술 덕분입니다. MR-MUF는 반도체 칩을 회로 위에 부착하고, 여러 칩을 쌓아 올리는 과정에서 칩 사이의 공간을 EMC(전자기 호환 물질)로 채우는 고급 패키징 공정입니다.

이전까지는 칩을 쌓을 때 NCF(Non-Conductive Film, 비전도성 필름) 기술을 주로 사용했습니다. 삼성전자, SK하이닉스, 마이크론 같은 주요 D램 제조업체들도 이 방식을 채택해 왔죠. 특히 SK하이닉스는 3세대 HBM인 HBM2E부터 NCF 기술을 도입했습니다.

경쟁사들은 SK하이닉스가 MR-MUF 기술을 적용하는 것이 불가능할 거라 예상했습니다. 그러나 SK하이닉스의 PKG개발팀은 일본의 나믹스(NAMICS)로부터 필요한 소재를 공급받아 이 기술을 성공적으로 개발했습니다. 이러한 소식에 삼성전자를 비롯한 주요 D램 업체들은 크게 놀랐으며, 삼성전자 역시 MR-MUF 방식을 연구 중인 것으로 알려졌습니다.

MR-MUF는 NCF 대비 열전도율이 약 2배 높고, 공정 속도와 수율에도 긍정적인 영향을 미친다고 합니다.¹

삼성전자:

삼성전자는 HBM 시장의 또 다른 주요 플레이어입니다. 반도체 기술 혁신에 대한 삼성의 명성은 메모리 밀도와 효율성을 증가시키는 방면에서 HBM 기술을 발전시키는 데 기여했습니다. 반면 삼성은 HBM과 같은 처리 칩과 메모리 칩을 고급 2.5D 또는 3D 패키징 기술과 통합할 계획입니다.

삼성은 메모리 칩부터 파운드리 칩 제조 및 패키징에 이르기까지 포괄적인 칩 사업 포트폴리오를 아우르는 독특한 이점을 가지고 있습니다. 삼성의 “Shinebolt” HBM3e 메모리는 경쟁사보다 빠른 속도를 약속하며, HBM3 기술의 성능을 향상시키기 위한 그들의 헌신을 나타냅니다.

2023년 12월 삼성전자 역시 엔비디아와 HBM3, HBM3E 제품에 대한 적합성 테스트를 마치고 공급 계약을 체결했습니다². 하지만 SK하이닉스와 달리 삼성전자는 다른 공정을 사용하여 HBM3E를 생산하고 있어, 성능 향상을 위한 추가 공정이 비용 증가 요소로 작용할 수 있다는 분석이 나오고 있습니다.

Micron:

SK Hynix 및 삼성에 비해 HBM 시장에 늦게 진입한 Micron은 상당한 발전을 이루었습니다. AI 및 HPC 애플리케이션에 적합한 기술에 중점을 둠으로써 그들은 HBM 분야에서 주요 경쟁자로 자리 잡았습니다. SK하이닉스와 마이크론은 엔비디아로부터 각각 7000억~1조원의 선수금을 받아 첨단 메모리 제품을 공급한다고 합니다.

이는 HBM 수요 증가와 공급 부족 상황에서 엔비디아의 선제적 투자와 메모리 기업의 재정적 부담 경감을 반영합니다. HBM 생산은 고비용, 발열 문제, 생산 리스크 등 다양한 도전에 직면해 있으며, 이번 대규모 선수금은 특히 TSV 설비 투자에 중요한 영향을 미칠 것으로 보입니다.

HBM 기술경쟁 및 전망

HBM3E 주도권 싸움

2023년 8월, SK 하이닉스 HBM 5세대 제품은 HBM3E의 개발완료를 알리며 성능 검증 절차를 위해 고객사에게 샘플을 공급하기 시작하였습니다. 시장에서는 HBM3E에서도 SK하이닉스가 엔비디아에 독점공급을 하는 것이 아니냐는 관측이 제기되었습니다.

그런데 2023년 10월 삼성전자는 HBM3E의 개발완료를 알리며, 자사제품의 속도가 1.2TB/s으로 SK하이닉스의 1.15TB/s보다 빠르다는 점을 강조하였습니다. 마이크론 역시 HBM3E의 개발을 알리며, 메모리 대역폭이 1.2TB/s라는 점을 알렸습니다.

2024년에는 삼성전자도 엔비디아에 HBM3/3e 칩을 공급하는 것으로 알려졌습니다. 물량이 어느정도 수준인지 현재시점에서 알 수는 없지만, 하이닉스가 독점한 시장에 삼성전자가 진입함으로써 HBM3/3e의 가격이 낮아 졌을 것으로 예상됩니다.

2024년에는 HBM3e 기술이 도입되어 AI 가속기 칩의 성능을 한층 강화시킬 것으로 예상됩니다. 이는 HBM 수익이 연간 150% 이상 증가하는 데 크게 기여할 것입니다. 또한 AI 애플리케이션의 증가로 고급 패키징에 대한 수요가 높아지고 있으며, 특히 3D IC 기술에 대한 관심이 급증하고 있습니다.”

AI와 서버 출하량의 상승세:

트랜드포스에 따르면, 마이크로소프트, 구글, AWS 등 주요 CSP들이 AI 분야에 대한 투자를 확대하고 있습니다. 이러한 움직임은 2024년 AI 서버 출하량을 38% 증가시킬 전망입니다. 특히 사용자 맞춤형 ASIC 칩의 도입이 GPU의 성장 가능성을 제한하고 있습니다. 한편, Edge AI 서버 시장도 성장세를 보이고 있으며, 이 중에서도 중저가 GPU에 대한 관심이 높아지고 있습니다.

전망

최근 보도에 따르면 내년 HBM의 생산물량이 이미 모두 매진되었다는 소식이 연이어 전해지고 있습니다. 이는 기업들이 전통적인 서버 투자보다 AI에 더 많은 집중을 기울이면서 발생하는 현상입니다.

특히 챗GPT의 예상보다 빠른 유료화 진행과 가입자 수 증가는 인터넷 업체들로 하여금 AI 서버 및 시스템 개발에 급박함을 더하고 있습니다. 이런 상황에서 HBM의 물량 성장에 대한 기대는 높아만 가고 있습니다.

그러나 시장의 관심은 가격 변동에도 쏠리고 있습니다. 하이닉스가 주도하던 시장에 삼성과 마이크론의 진입으로, 가격이 얼마나 하락할지는 아직 불투명한 상태입니다.

더욱이 레거시 DRAM과 메모리의 가격이 낮은 수준에서 안정되어 있기 때문에, 만약 경기 침체가 현실화된다면 메모리 업체들의 수익성에 미칠 부정적 영향도 예측하기 어렵습니다.

이처럼 HBM 시장은 높은 수요와 함께 불확실한 가격 및 경제 상황이라는 새로운 도전에 직면하고 있습니다. 기업들의 전략적 선택과 시장의 미래 방향성이 이 분야의 주요 관심사로 남아 있습니다.

1. 삼성전자 놀라게 한 SK하이닉스 HBM3…비결은 MR-MUF 기술,더일렉, 2022년 09월 23일 ↩︎
2. SK하이닉스·마이크론, 엔비디아서 HBM 공급용 ‘선수금’ 받아… 삼성전자도 계약 맺어, 조선비즈, 2012년 12월 26일 ↩︎