CXL 메모리란
“Compute Express Link (CXL) 메모리는 컴퓨팅 구조상의 ‘메모리 벽’ 문제를 해결하는 핵심 요소로 자리 잡았습니다. 이는 프로세서, 가속기, 메모리, 저장 장치 및 기타 IO 장치 간의 원활한 통신을 가능하게 하는 업계 표준 인터페이스로, 구성 가능성과 확장성, 유연성을 바탕으로 효율성을 높여줍니다. 데이터 집약적 애플리케이션을 위해 높은 대역폭과 낮은 지연 시간을 제공하며, 컴퓨트 노드의 메모리 확장을 지원합니다. CXL은 서버 내에서 대역폭과 용량 문제를 해결하며, CPU 코어 수가 증가함에 따라 지속적인 효율성을 유지합니다. 머신 러닝과 인-메모리 데이터베이스와 같은 고성능 애플리케이션을 원활하게 지원합니다.
또한 CXL은 IT 인프라 내에서 컴퓨트와 메모리 자원의 균형을 맞추는 데 중요한 역할을 합니다. 다양한 워크로드 요구에 맞게 조정되는 CXL 아키텍처는 보다 경제적인 메모리 솔루션을 가능하게 하며, 컴퓨트 및 메모리 자원의 활용을 극대화합니다. 이는 CPU 코어와 독립적으로 메모리를 스케일링할 수 있게 하여 DRAM 비트의 성장에도 긍정적인 영향을 미칩니다.
<CXL 메모리 구조, 출처: 삼성전자>
CXL 3.0 메모리가 AI와 LLMs(거대언어모델)에 유용한 이유
CXL은 기존 인터페이스로는 불가능하거나 매우 어려웠던 새로운 사용 사례들을 가능하게 하는 것으로 설계되었습니다. CXL을 지원하는 생태계에는 CPU 제조업체, 특수 반도체를 개발하는 ASIC 제조업체, 소프트웨어 벤더 및 고객들이 포함됩니다. 이러한 광범위한 지원은 CXL을 효과적으로 통합하는 데 중요합니다.
메모리 대역폭 및 용량 확장: CXL은 메모리 대역폭과 용량을 확장하는 데 중요한 역할을 합니다. 예를 들어, 하나의 CXL by 8 채널은 DDR5 채널과 대략 같은 메모리 대역폭을 제공합니다. 이러한 확장은 대형 인메모리 데이터베이스와 같은 애플리케이션에 특히 가치가 있습니다.
CXL 3.0의 주요 특징들:
PCI-Express Gen 6을 통한 더 높은 속도:
CXL 3.0의 가장 주목할 만한 개선점 중 하나는 PCI-Express 세대 6과의 호환성으로, 데이터 전송 속도를 크게 증가시킵니다. 이 개선은 고급 AI 모델과 기타 데이터 집약적 애플리케이션의 높은 대역폭 요구 사항을 처리하는 데 필수적입니다.
패브릭 연결 서버 토폴로지 ( 네트워크 구성요소가 서로 데이터를 전달하는 방식):
CXL 3.0은 패브릭 연결 유형을 포함한 더 복잡한 서버 토폴로지를 지원합니다. 이 기능은 서버 네트워크의 더 나은 통합과 효율성을 가능하게 하여 더 정교하고 확장 가능한 시스템 디자인을 지원합니다.
CXL 3.0의 중요성:
고급 AI 응용 프로그램 지원: CXL 3.0이 제공하는 증가된 속도와 개선된 서버 아키텍처 지원은 고급 AI 응용 프로그램에 필수적입니다. AI와 빅데이터 분야는 점점 더 복잡하고 자원 집약적이 되고 있습니다. CXL 3.0은 이러한 요구를 효율적으로 처리할 수 있는 더욱 강력하고 능력 있는 인프라를 제공함으로써 이러한 도전을 해결합니다. 그 기능들은 데이터 센터의 미래 요구 사항, 즉 속도, 효율성, 확장성에 맞춰져 있습니다. 개선된 기능을 통해 CXL 3.0은 CXL 기술에서 혜택을 받을 수 있는 응용 프로그램 범위를 넓힙니다. 이는 AI에만 국한되지 않고 데이터 및 컴퓨팅 집약적인 작업에 이르기까지 다양하게 확장되어 미래 기술 요구에 대한 다재다능한 해결책이 됩니다.
AI 애플리케이션에 대한 CXL의 영향:
대규모 언어 모델 지원: CXL은 수십억 개의 파라미터를 가진 점점 더 복잡해지는 대규모 언어 모델을 지원하는 데 개선된 확장성을 제공합니다. 전통적인 서버 메모리 구조로는 이러한 모델을 지원하기에 부족하여 CXL의 확장 기능이 필수적입니다.
효율성 및 유연성: CXL은 데이터 흐름과 컴퓨팅 요소의 연결을 효율적으로 처리하기 위해 더 분산되고 전력 효율적인 접근 방식을 제공합니다. 이는 자연어 처리 및 생성적 AI와 같은 AI 애플리케이션에 특히 유리합니다.
AI의 민주화: CXL은 복잡한 AI 모델과 애플리케이션을 지원하는 필요한 인프라를 제공함으로써 AI의 새로운 가능성을 열어주는 핵심 기술로 여겨집니다.
CXL이 메모리 용량 성장 (bit growth)에 도움이 되는 이유
현대 병렬 컴퓨터 아키텍처는 응용 프로그램 처리 성능을 제한할 수 있는 병목 현상에 취약합니다. 역사적으로, 이 현상은 “메모리 벽”으로 알려져 있으며, 이는 마이크로프로세서 성능의 개선 속도가 DRAM 메모리 속도의 개선 속도를 크게 초과하기 때문에 발생하였습니다. 지난 10년 동안 CPU 코어 수의 성장 속도는 CPU와 메모리 성능 사이의 간격을 점점 확대시켰으며, 이로 인해 CPU가 복잡한 과제를 수행하는데 있어 충분한 성능을 내지 못하고 있습니다.
프로세서 코어를 추가하는 것은 컴퓨팅 성능을 향상시키는데 있어 하나의 부분일 따름입니다. 대부분의 경우, 이러한 프로세서 코어에 데이터를 제공하기 위한 메모리 대역폭이 중요합니다. CPU 업체들은 더 많은 메모리 채널을 추가하고 새로운 세대의 CPU에서 이러한 채널의 데이터 속도를 증가시킴으로써 스케일링 간격 문제를 완화하려고 노력해왔습니다.
아래표는 지난 10년 동안 CPU 코어 수와 DDR DRAM 데이터 속도 증가, 그리고 2011년, 2017년, 2021년 및 2023년에 더 많은 메모리 채널을 추가한 진행 상황을 보여줍니다. 그러나 이론적인 메모리 데이터 속도와 더 많은 메모리 채널이 있더라도 메모리 대역폭이 시간이 지남에 따라 CPU 코어 수의 증가와 4 GB/s 당 코어를 유지하는 것은 어려운 과제입니다.
<CPU와 메모리의 코어당 대역폭 변천, 출처 마이크론>
위의 표에서 보듯이, 프로세서 코어 수는 상당히 빠르게 확장되었지만 코어 당 시스템 메모리 용량 증가는 꾸준히 감소하고 있습니다. 메모리 컨트롤러를 CPU에 통합하는 것은 일반적으로 더 직접적이고 제한된 프로세서에서 메모리 용량 비율로 이어지고 있습니다. 용량은 채널 당 더 많은 DIMM을 추가함으로써 증가시킬 수 있습니다. 그러나 채널 부하가 증가하면 더 많은 DIMM을 추가하는 것이 종종 메모리 클럭 속도를 감소시켜 메모리 대역폭을 줄이며, 메모리 벽 문제를 악화시킬 수 있습니다.
CXL은 DIMM 슬롯을 넘어서는 메모리 확장을 가능하게 합니다.
<데이터 센터의 진화: 전통적인 서버랙 에서 구성가능서버(full composability)형태로, 출처: 마벨>
컴퓨터 업계는 현재 CXL 장치와 메모리 액세스에 주목하고 있습니다. CXL은 메모리 장치에 연결되어 고용량 메모리를 제공하며 높은 대역폭, 낮은 지연 시간, 그리고 메모리 일관성을 제공하여 다양한 컴퓨팅 작업에 활용됩니다. 이러한 메모리 연결은 메모리 인프라를 계층화하고 새로운 기능을 추가할 수 있는 기회를 제공합니다.
데이터 센터는 더 많은 메모리 중심으로 진화하고 있으며 고용량 테라바이트(TB) 이상의 메모리를 풀로 구성하여 서버를 동적으로 활용할 수 있게 됩니다. 이로써 스토리지 클래스 메모리가 주요 데이터의 저장 공간 역할을 하고, NAND 및 디스크 드라이브는 비활성 데이터를 저장하는 데 사용됩니다.
데이터 센터는 계산, 메모리, 네트워크, 스토리지 등 모든 서버 구성 요소를 완전히 분리하고, 컨테이너와 마이크로서비스를 활용하여 리소스를 동적으로 구성합니다. CXL을 통해 하드웨어 배치를 더욱 효율적으로 관리하고 as-a-service 모델의 효율성을 높일 수 있습니다
이러한 형태의 변화는, CXL이 지원하는 서버에서 DRAM 수요를 늘려 데이터 작업을 처리하는 데 도움이 됩니다. CXL은 IT 시스템에서 CPU와 메모리 자원을 균형있게 조절하는 데 사용되며, 이는 다양한 작업 부하를 다루는 데 효율적으로 작용할 것입니다. 쉽게 말해, CPU의 컴퓨팅 파워가 더 필요한 경우, 메모리를 추가적으로 확장함으로서 이를 보조할 수 있는데, 미래형 서버 구조에서는 디램 메모리는 Pool을 통해 따로 관리되기 때문에 Dimm 슬롯의 제한 영향을 받지 않고 메모리를 유연하게 확장할 수 있습니다. 이로써 DRAM에 대한 수요가 증가할 것으로 전망됩니다.
CXL 메모리 컨트롤러
몬타지테크놀로지가 최근 삼성전자와 SK하이닉스에 컴퓨트익스프레스링크(CXL) 메모리용 컨트롤러를 공급하였습니다. CXL 메모리 컨트롤러는 D램을 제어하는 시스템반도체로, 데이터 처리의 새로운 길을 열기 위한 PCIe 기반의 차세대 인터페이스 표준입니다. 몬타지테크놀로지는 D램 구동에 필요한 시스템 반도체 설계에 특화되어 있으며, CXL 컨트롤러 외에도 메모리 인터페이스와 전력관리반도체(PMIC) 등을 설계하여 메모리반도체 기업에 제공하고 있습니다. CXL 메모리 컨트롤러는 CPU 등으로부터 명령을 받아 D램을 제어하고 데이터를 처리하는 시스템반도체로, 이를 통해 메모리 확장과 공유를 최적화할 수 있습니다. 몬타지테크놀로지는 CXL 메모리 컨트롤러를 상용화하고 있으며, 삼성전자와 SK하이닉스의 CXL 2.0 메모리에도 해당 컨트롤러가 사용되었습니다.
삼성전자도 몬타지 테크놀로지에 대한 의존에서 벗어나기 위해 CXL 컨트롤러 자체 개발에 주력한다고 합니다. 욜디벨롭먼트에 따르면, CXL 컨트롤러 시장은 2022년 9천600만 달러에서 2029년 8억달러 시장으로 성장한다고 합니다.
Microchip은 새로운 Compute eXpress Link (CXL) 사양 및 PCI Express 5.0을 위한 고성능 시리얼 어테치드 메모리 컨트롤러 시리즈를 2022년 8월에 출시했습니다. SMC 2000 패밀리의 장치는 다음 세대 인공 지능 (AI) 및 머신 러닝 (ML) 칩을 위한 신뢰성과 유연성을 갖춘 DDR 메모리 대역폭 및 용량을 향상시킵니다. 이칩은 마이크론이 2023년 8월에 출시한 CXL에 탑재되었습니다.
< 마이크론이 출시한 CXL, 중간에 위치한 큰 칩이 컨트롤러 입니다>
CXL 메모리가 디램 Bit 성장에 미칠 영향.
욜인텔리전트에 따르면 2026년까지 CXL은 디램 시장에 큰 영향을 미치지 않을 것으로 예상됩니다. 하지만 2028년에는 서버용 디램 시장의 31%를 CXL이 점유할 것으로 전망됩니다. 카네기멜론과 마이크로소프트에 따르면 CXL은 풀링을 통해 메모리 자원 관리를 효율적으로 시행하고, 메모리 비트 성장률을 약 2-3% 감소시킬 것으로 예상됩니다. 물론, 아직은 어느 쪽의 예상이 사실일지는 알 수 없지만, CXL은 디램의 한계를 극복하는 기술임은 분명하지만, 디램 풀링을 통한 효율화로 시스템 내 디램 구성의 효율성을 높이는 역할임을 부정할 수는 없습니다.