인공지능을 하나의 학교라고 상상해 보겠습니다. 트랜스포머는 교실 구조를 다시 설계해 모든 학생이 다른 학생이 말하는 내용을 즉시 살펴볼 수 있게 했습니다. Mixture of Experts는 그 교실을 여러 전문 학과가 있는 대학으로 확장하되, 각 질문을 가장 관련 있는 전문가에게만 보냈습니다. 마지막으로 reasoning model은 학생에게 추가 시험 시간, 연습장, 계산기, 제출 전 답안을 검토할 기회를 준 것과 같습니다.

이 세 가지 발전은 현대 AI의 많은 부분을 설명합니다. 또한 개별 알고리즘이 더 효율적으로 변하고 있는데도 산업 전체가 왜 계속 더 많은 컴퓨팅 파워를 요구하는지 보여줍니다. 트랜스포머는 AI를 확장 가능하게 만들었습니다. 보통 MoE라고 부르는 Mixture of Experts는 초대형 모델을 더 경제적으로 실행하게 했습니다. Reasoning model은 질문이 들어온 순간 지능을 어느 정도 더 확장할 수 있게 만들었습니다. 각각의 돌파구는 큰 병목을 해결했지만, 동시에 압력을 하드웨어 시스템의 다른 부분으로 옮겼습니다.

1. 트랜스포머 이전: 좁은 터널을 통과하며 읽던 AI

2017년 이전의 주요 언어 시스템은 recurrent neural network, 즉 RNN과 그 개선형인 long short-term memory network, LSTM에 많이 의존했습니다. 이 모델들은 텍스트를 순서대로 처리했습니다. 첫 단어를 읽고 내부 상태를 업데이트한 뒤, 두 번째 단어를 읽고 다시 상태를 업데이트하고, 문장이 끝날 때까지 계속 진행했습니다.

이는 인간도 문장을 왼쪽에서 오른쪽으로 읽기 때문에 자연스럽게 들립니다. 그러나 컴퓨터에게는 두 가지 문제가 있었습니다. 첫째, 학습을 병렬화하기 어려웠습니다. 100번째 단계가 99번째 단계에 의존한다면 컴퓨터는 모든 단계를 동시에 계산하기 어렵습니다. 둘째, 문단 훨씬 앞부분의 정보가 많은 순차 업데이트를 지나며 희미해질 수 있었습니다.

2. 트랜스포머: AI를 바꾼 아키텍처

2017년 Google 연구자들은 Attention Is All You Need라는 매우 자신감 있는 제목의 논문을 발표했습니다. 이 논문은 recurrence나 convolution보다 attention mechanism을 중심으로 설계된 트랜스포머 아키텍처를 제안했습니다. 처음의 과제는 범용 챗봇이 아니라 기계번역이었습니다. 그러나 이 설계는 오늘날 주요 언어 모델 대부분의 기초가 되었습니다. 핵심 공헌은 attention 자체가 처음이었다는 점이 아니라, 모델을 attention 중심으로 구성하고 병렬로 매우 효율적으로 학습할 수 있다는 점이었습니다.

Attention이란 무엇인가?

예를 들어 “The robot placed the glass on the table because it was stable.”이라는 문장을 보겠습니다. 여기서 “it”은 glass를 가리킬까요, table을 가리킬까요? 모델은 여러 단어 사이의 관계를 살펴봐야 합니다. Self-attention은 각 token이 sequence 안의 다른 token에 서로 다른 중요도를 부여하게 합니다. Token은 텍스트의 작은 단위로, 단어, 단어의 일부, 문장부호일 수 있습니다.

모델은 각 token을 숫자 표현으로 바꾸고, 그것을 이해하는 데 어떤 다른 token이 중요한지 계산합니다. 서로 다른 attention head는 문법, 위치, 지시 관계, 문체, 의미 등 서로 다른 관계에 집중할 수 있습니다. 이 head들은 작은 인간 정신이 아니라, 유용한 패턴을 학습하는 수학적 채널입니다.

원래 트랜스포머는 입력 이해를 만드는 encoder와 출력을 생성하는 decoder로 구성됐습니다. 이후 모델군은 이 설계의 서로 다른 부분을 채택했습니다. 2018년에 나온 BERT는 양방향 문맥을 살펴보며 학습한 대표적 encoder 중심 모델이었습니다. GPT 모델은 다음 token을 예측하는 decoder-style Transformer를 사용했습니다. T5는 encoder-decoder 구조를 유지하면서 여러 언어 과제를 text-to-text 형식으로 바꿨습니다.

예측 기계에서 범용 모델로

트랜스포머만으로 현대 챗봇이 탄생한 것은 아닙니다. 대규모 pretraining, 더 좋은 데이터셋, 더 많은 컴퓨팅 파워, 개선된 최적화, instruction tuning, human feedback 기법이 함께 발전해야 했습니다. 그래도 트랜스포머 아키텍처가 이러한 발전을 실용적으로 만들었습니다.

2020년에 소개된 GPT-3는 decoder-only Transformer를 1,750억 파라미터 규모로 확장했을 때 어떤 일이 일어나는지 보여준 중요한 사례였습니다. Parameter는 모델 안에서 학습된 숫자값입니다. 파라미터가 사실을 깔끔한 백과사전처럼 저장하는 것은 아닙니다. 대신 전체적으로 입력을 예측으로 바꾸는 방식을 형성합니다. GPT-3는 강한 few-shot behavior를 보여줬습니다. 즉, 각 과제마다 별도 학습 절차를 거치지 않고도 프롬프트 안에 몇 가지 예시를 넣으면 과제를 추론해 수행할 수 있었습니다.

이 결과는 강력한 믿음을 만들었습니다. 모델, 데이터, 학습 컴퓨트가 계속 커지면 능력도 대체로 예측 가능한 방식으로 개선된다는 믿음입니다. Scaling law 연구는 성능, 모델 크기, 데이터, 컴퓨트 사이의 넓은 관계를 발견했습니다. 그 결과 산업은 더 큰 학습 클러스터를 만들고 더 많은 고품질 token을 공급하는 경쟁에 들어갔습니다.

트랜스포머가 하드웨어를 바꾼 이유

트랜스포머는 matrix multiplication, 즉 큰 숫자 격자를 곱하고 더하는 연산에 크게 의존합니다. GPU는 많은 유사 계산을 병렬로 수행하도록 설계되었기 때문에 트랜스포머 학습의 자연스러운 엔진이 됐습니다. Google은 자체 Tensor Processing Unit을 개발했고, 다른 기업들도 맞춤형 AI accelerator를 만들었습니다. 그러나 순수한 산술 연산만이 전부는 아니었습니다.

학습 중에는 model weight, activation, gradient, optimizer state가 모두 메모리를 차지합니다. 추론 단계, 즉 학습된 모델이 사용자에게 답할 때도 시스템은 model weight와 저장된 context를 accelerator 안팎으로 계속 이동시켜야 합니다. 이 때문에 high-bandwidth memory, 즉 HBM이 매우 중요해졌습니다. HBM은 여러 DRAM die를 processor 가까이에 쌓아 일반 메모리 채널보다 훨씬 높은 대역폭을 제공합니다.

하드웨어 영향은 GPU를 넘어 퍼졌습니다. 대형 모델은 accelerator 사이의 빠른 interconnect, processor와 HBM을 가깝게 배치하는 advanced packaging, 서버 간 강력한 networking, 데이터셋과 checkpoint를 저장할 대규모 storage, 더 많은 전력과 냉각을 요구했습니다. 트랜스포머는 새로운 소프트웨어만 만든 것이 아닙니다. 데이터센터의 경제 구조를 재편했습니다.

3. Mixture of Experts: 전문가들의 대학

Dense Transformer를 확장하자 단순하지만 고통스러운 문제가 나타났습니다. Dense model은 일반적으로 모든 token에 대해 거의 모든 layer와 parameter를 사용합니다. 모델이 10배 커지면 token당 필요한 연산도 크게 늘어날 수 있습니다. 그래서 연구자들은 Mixture of Experts라는 오래된 아이디어를 다시 살펴봤습니다.

MoE의 뿌리는 수십 년 전으로 거슬러 올라갑니다. 1991년 “adaptive mixtures of local experts” 논문은 서로 다른 network가 전문화되고 gating mechanism이 각 example을 어떤 expert가 처리할지 결정하는 시스템을 설명했습니다. 현대적 돌파구는 sparse expert selection을 거대한 Transformer 모델 안에 적용하고, 그 expert들을 여러 accelerator에 분산한 것이었습니다.

MoE는 어떻게 작동하는가

심장내과, 신경과, 영상의학과, 외과 등 여러 전문가가 있는 병원을 상상해 보겠습니다. 눈 문제를 가진 환자가 도착했을 때 병원 안의 모든 의사가 환자를 검사할 필요는 없습니다. 접수 담당자가 가장 관련 있는 전문가에게 환자를 보냅니다.

MoE 모델에서 specialist neural network는 expert라고 불립니다. Router 또는 gating network라고 부르는 작은 routing system이 각 token을 살펴보고 제한된 수의 expert를 선택합니다. 예를 들어 top-two routing 설계에서는 모델 안에 expert가 8개, 수십 개, 수백 개 있어도 각 token은 두 expert만 거칠 수 있습니다.

이를 sparse activation이라고 합니다. 모델은 매우 큰 총 파라미터 수를 가질 수 있지만, 각 token에 실제로 활성화되는 것은 일부에 불과합니다. 중요한 점은 expert가 항상 “생물학 expert”나 “한국어 expert”처럼 인간이 이해하기 쉬운 주제와 깔끔히 대응하지는 않는다는 것입니다. 어떤 expert는 이름 붙이기 어렵지만 통계적으로 유용한 패턴을 배울 수 있습니다.

어떤 모델들이 MoE를 중요하게 만들었나

Google 연구자들과 다른 연구진은 MoE가 일반 소비자에게 유명해지기 훨씬 전부터 대형 sparse model을 연구했습니다. 2020년에 발표된 GShard는 대형 computing system 전반에 자동 sharding을 통해 MoE를 확장할 수 있음을 보여줬습니다. 2021년에 발표된 Switch Transformer는 각 token을 하나의 expert로 보내 routing을 단순화했습니다. 저자들은 안정성과 communication cost 문제를 다루면서 최대 1조 파라미터 모델을 보고했습니다. Switch Transformer가 MoE를 발명한 것은 아니지만, sparse Transformer가 엄청난 규모에 도달할 수 있음을 보여준 landmark였습니다.

MoE는 2023년 말 Mistral AI가 Mixtral 8x7B를 공개하면서 더 넓은 대중 논의에 들어왔습니다. Mistral은 이를 sparse decoder-only MoE로 설명했고, 각 layer가 token마다 8개 expert group 중 2개를 선택한다고 밝혔습니다. Mixtral은 사용한 연산량 대비 강한 성능을 보여줬고, 공개적으로 사용할 수 있었기 때문에 개발자들이 직접 architecture를 실험할 수 있었습니다.

이후 DeepSeek는 routed expert, shared expert, 정교한 load-balancing 기법을 결합해 MoE 효율성을 더 밀어붙였습니다. 2024년 말 발표된 DeepSeek-V3는 총 6,710억 파라미터를 공개했지만 각 token에 활성화되는 것은 약 370억 파라미터라고 밝혔습니다. 총 파라미터와 활성 파라미터의 이 차이가 MoE의 핵심 매력을 보여줍니다. 즉, 모든 step에서 거대한 dense model의 전체 compute cost를 내지 않고도 큰 capacity를 얻는 것입니다.

MoE가 만든 돌파구

MoE는 model size의 의미를 바꿨습니다. Dense model에서는 total parameter와 active parameter가 비슷합니다. MoE model에서는 둘이 크게 다를 수 있습니다. 이 덕분에 개발자는 token당 필요한 산술 연산은 더 작은 모델에 가깝게 유지하면서 모델의 표현 capacity를 늘릴 수 있었습니다.

따라서 MoE는 scaling의 경제성을 개선했습니다. 오픈웨이트 모델이 더 큰 폐쇄형 시스템에 도전하도록 도왔고, 더 많은 경쟁을 만들었으며, 같은 크기의 dense model이 요구했을 추론 비용보다 낮은 비용으로 강한 성능을 제공할 수 있게 했습니다.

하지만 MoE가 공짜 지능을 제공한 것은 아닙니다. Router는 인기 expert를 과부하시킬 수 있습니다. 시스템은 token이 효율적으로 분산되도록 load balancing이 필요합니다. Expert가 서로 다른 GPU에 있으면 데이터는 device 사이를 빠르게 이동해야 합니다. 이를 expert parallelism이라고 하며, 상당한 communication complexity를 만듭니다.

MoE는 compute를 아끼지만 여전히 memory가 필요하다

이것이 MoE의 핵심 모순입니다. 모델은 token당 몇 개 expert만 활성화하므로 산술 연산은 줄어들 수 있습니다. 그러나 모든 expert의 weight는 어딘가에 저장되어야 합니다. 6,000억 파라미터 sparse model은 그 순간 300억 파라미터만 활성화한다고 해서 300억 파라미터 모델의 memory footprint로 마법처럼 줄어들지 않습니다.

하드웨어 관점에서 이는 MoE가 HBM capacity, memory bandwidth, interconnect의 중요성을 강화한다는 뜻입니다. 더 큰 capacity는 각 accelerator가 더 많은 expert weight를 보유하게 합니다. 더 큰 bandwidth는 그 weight를 빠르게 이동시킵니다. 더 빠른 link는 token이 다른 GPU에 있는 expert로 이동할 수 있게 합니다. Advanced packaging, NVLink급 연결, Ethernet 또는 InfiniBand network, optical component, system software가 모두 모델 성능의 일부가 됩니다.

MoE는 병목의 일부를 순수 compute에서 memory placement와 communication으로 옮깁니다. Token당 계산 수를 줄일 수 있지만, 전체 시스템의 정교함과 때로는 비용을 높일 수 있습니다.

4. Reasoning Models: AI에게 문제를 풀 시간을 더 주다

다음 큰 발전은 모델 architecture뿐 아니라 computation이 언제 쓰이는지도 바꿨습니다. 전통적 scaling은 학습에 크게 집중했습니다. 더 큰 모델을 만들고, 더 많은 데이터에 노출하고, 배포 전에 더 많은 compute를 투자하는 방식입니다. Reasoning model은 또 하나의 lever를 추가합니다. 사용자가 어려운 질문을 한 뒤에 더 많은 computation을 쓰는 것입니다.

이를 inference-time compute 또는 test-time compute라고 합니다. Inference는 학습된 모델을 사용하는 과정입니다. 간단한 요청은 짧은 답으로 충분할 수 있습니다. 어려운 수학 증명, 프로그래밍 과제, 리서치 문제는 중간 단계 생성, 대안 시도, 결과 확인, 오류 수정에서 이익을 얻을 수 있습니다.

Reasoning model로 이어진 연구 흐름

Reasoning은 한순간에 등장하지 않았습니다. 2022년 연구자들은 chain-of-thought prompting이 대형 언어 모델에게 중간 추론 단계를 생성하게 하여 성능을 높일 수 있음을 보여줬습니다. 또 다른 기법인 self-consistency는 여러 reasoning path를 sampling하고 가장 일관되게 지지되는 답을 선택했습니다. Tool-using model은 calculator, code interpreter, search system을 호출하는 법을 배웠습니다. Process-supervision 연구는 최종 답만 평가하는 대신 올바른 중간 단계를 보상하는 방식을 탐구했습니다.

상업용 reasoning model은 이러한 아이디어를 특화된 post-training 및 reinforcement learning과 결합했습니다. 2024년에 소개된 OpenAI o1은 어려운 질문에 답하기 전 추가 내부 computation을 할당하는 모델이라는 아이디어를 대중화했습니다. 모델 개발자들이 모든 architecture와 training detail을 공개하지 않기 때문에 o1은 reasoning 자체의 발명이라기보다 inference-time reasoning의 중요한 상업화로 보는 것이 더 정확합니다.

2025년에 공개된 DeepSeek-R1도 landmark였습니다. 기술 보고서가 대규모 reinforcement learning이 정교한 reasoning behavior를 만들 수 있음을 설명했기 때문입니다. DeepSeek-R1-Zero는 supervised fine-tuning을 선행 단계로 쓰지 않고 reinforcement learning으로 학습됐지만, readability와 language mixing 문제가 있었습니다. DeepSeek-R1은 cold-start data와 reinforcement learning을 결합한 multi-stage process를 사용했습니다. 이 프로젝트는 distilled smaller model도 공개해 reasoning 방법이 open-model community로 확산되도록 했습니다.

Reasoning이 만든 돌파구

Reasoning model은 능력을 학습 중에만 결정되는 것에서 사용 중에도 일부 조절 가능한 것으로 바꿨습니다. 같은 지식을 가진 두 학생을 생각해 보겠습니다. 한 명은 5초 안에 답해야 합니다. 다른 한 명은 30분, 연습장, 계산기, 답안 검토 기회를 받습니다. 두 번째 학생의 뇌가 물리적으로 더 커진 것은 아니지만 성과는 크게 좋아질 수 있습니다.

이 접근은 수학, 코딩, 답을 검증할 수 있는 과제에서 특히 강력했습니다. Verifiable reward를 이용한 reinforcement learning은 code가 test를 통과하는지, 숫자 답이 맞는지 확인할 수 있습니다. 모델은 여러 해법을 생성하고, verifier로 순위를 매기고, code를 실행하고, 실패를 수정할 수 있습니다.

긴 reasoning이 항상 좋은 것은 아닙니다. 모델은 같은 아이디어 주변을 맴돌거나, 잘못된 길을 자신 있게 따라가거나, computation을 낭비할 수 있습니다. 일부 연구는 추가 thought가 오히려 성능을 해칠 수 있는 sweet spot을 발견했습니다. Reasoning은 latency도 늘립니다. 사용자는 더 오래 기다릴 수 있고, service provider는 더 많은 generated token이나 model pass 비용을 지불할 수 있습니다.

Reasoning과 KV cache

하드웨어 영향을 이해하려면 한 가지 용어가 더 필요합니다. KV cache입니다. Transformer에서 attention은 이전 token에서 만들어진 key와 value representation을 사용합니다. Generation 중 모델은 이 representation을 저장해 매번 전체 history를 다시 계산하지 않도록 합니다.

Inference에는 보통 두 단계가 있습니다. Prefill은 prompt를 처리하며 병렬 computing을 효율적으로 사용할 수 있습니다. Decode는 새 token을 하나씩 생성합니다. Decode는 각 token을 만들 때 model weight와 KV cache를 반복적으로 읽기 때문에 memory bandwidth에 크게 의존하는 경우가 많습니다.

Reasoning model은 요청당 훨씬 더 많은 token을 생성하고, 더 긴 context를 유지하며, 여러 candidate solution을 평가하고, external tool을 호출할 수 있습니다. 이는 accelerator가 점유되는 시간을 늘립니다. 또한 HBM capacity의 가치를 높입니다. 더 큰 memory는 더 많은 model weight와 KV-cache data를 담을 수 있고, HBM bandwidth의 가치도 높입니다. 그 데이터가 빠르게 이동해야 하기 때문입니다.

Hardware designer들은 더 많은 memory와 더 빠른 link로 대응하고 있습니다. 예를 들어 NVIDIA H200은 141GB HBM3e와 초당 4.8TB memory bandwidth를 제공합니다. Blackwell Ultra system은 더 큰 HBM capacity와 bandwidth로 이동했으며, 대형 모델, 긴 context, 높은 concurrency inference를 명확히 목표로 합니다. 이러한 제품 변화는 AI hardware가 training arithmetic 중심에서 reasoning system을 효율적으로 serving하는 방향으로 진화하고 있음을 보여줍니다.

5. 세 가지 돌파구는 어떻게 연결되는가

세 발전은 서로 경쟁하는 대안이 아닙니다. 대부분의 MoE language model은 여전히 Transformer입니다. Reasoning model도 MoE model일 수 있습니다. 따라서 이 흐름은 누적적입니다.

트랜스포머는 관계를 학습하는 scalable engine을 만들었습니다. MoE는 그 engine을 conditional computation으로 확장했습니다. Reasoning model은 문제가 추가 노력을 정당화할 때 그 engine을 더 오래, 때로는 여러 경로로 실행했습니다.

AI 발전은 종종 풍선을 누르는 것과 비슷합니다. 한쪽 압력을 줄이면 다른 쪽이 부풀어 오릅니다. 병렬 학습은 순차 computation의 한계를 줄였지만 거대한 accelerator cluster 수요를 만들었습니다. MoE는 active token당 산술 연산을 줄였지만 memory placement와 communication의 중요성을 키웠습니다. Reasoning은 어려운 과제의 성능을 높였지만 inference duration, KV-cache use, latency를 늘렸습니다.

6. GPU, HBM, 메모리 반도체에 주는 의미

GPU와 AI accelerator

트랜스포머는 병렬 matrix multiplication을 핵심 workload로 만들었습니다. MoE는 expert 사이의 routing과 communication을 추가했습니다. Reasoning은 inference step의 수와 지속 시간을 늘렸습니다. 이 세 흐름은 더 빠른 chip뿐 아니라 compute, memory, networking을 결합한 complete system 수요를 뒷받침합니다.

Training은 여전히 매우 demanding하지만, inference는 훨씬 더 큰 전략 시장이 되고 있습니다. Training run은 언젠가 끝나는 거대한 project입니다. Inference는 고객이 질문할 때마다, 직원이 coding agent를 사용할 때마다, 회사가 automated workflow를 실행할 때마다 계속됩니다.

HBM: processor 옆의 빠른 작업 메모리

HBM은 accelerator가 엄청난 양의 데이터를 빠르게 공급받아야 하기 때문에 특히 중요합니다. Transformer training은 weight, activation, optimization state를 위한 bandwidth가 필요합니다. MoE는 expert weight를 위한 capacity와 선택된 expert에 접근할 bandwidth가 필요합니다. Reasoning은 긴 context와 KV cache를 위한 capacity, 그리고 sequential token generation 중 bandwidth를 필요로 합니다.

더 많은 HBM이 자동으로 더 좋은 AI를 만든다는 뜻은 아닙니다. Software efficiency, model design, networking, processor utilization은 여전히 중요합니다. 그러나 HBM capacity가 부족하면 모델을 효율적으로 올릴 수 없고, bandwidth가 부족하면 비싼 compute unit이 데이터를 기다리게 됩니다.

Conventional DRAM과 NAND

일반 server DRAM도 중요합니다. 이는 CPU, database, retrieval system, user session, accelerator 밖의 data staging을 지원합니다. Agentic AI는 기업 문서를 검색하고, database를 query하고, 여러 application을 조율할 수 있기 때문에 GPU package 내부뿐 아니라 전체 server에 memory demand를 만듭니다.

NAND flash는 DRAM보다 느리지만 bit당 훨씬 저렴합니다. Training dataset, model checkpoint, vector database, image, video, log, agent history를 저장합니다. Multimodal AI는 video와 audio가 text보다 훨씬 큰 공간을 차지하기 때문에 storage requirement를 확대합니다. 다만 NAND의 수혜는 간접적이며 workload에 따라 크게 달라질 수 있습니다.

Networking과 packaging

하나의 model이 여러 accelerator에 걸쳐 있을 때 networking은 computer의 일부가 됩니다. MoE는 token이 다른 device에 있는 expert로 routing될 수 있기 때문에 이 의존성을 강화할 수 있습니다. Reasoning과 agentic system도 여러 model과 tool을 조율할 수 있습니다. High-speed copper link, optical interconnect, switch, network software가 필수 요소가 됩니다.

Advanced packaging도 똑같이 중요합니다. HBM stack은 복잡한 packaging technology를 통해 accelerator 가까이에 배치되어야 합니다. Compute die와 memory stack이 커질수록 manufacturing yield, heat removal, package design이 제한 요인이 될 수 있습니다.

Rebound effect

효율성은 총 hardware demand 감소를 보장하지 않습니다. MoE나 quantization이 AI query 비용을 절반으로 낮춘다고 가정해 보겠습니다. 기업은 그 AI를 열 배 더 많은 과제에 배포할 수 있습니다. 더 빠르고 저렴한 모델은 coding agent, customer-service system, scientific assistant, personalized education을 가능하게 합니다. 이는 Jevons-style rebound effect와 비슷합니다. 단위 비용이 낮아지면 사용량이 크게 늘어 총소비가 오히려 증가할 수 있습니다.

7. 데이터센터 안의 학생 과학 프로젝트

고등학생이 AI system에 이렇게 묻는다고 상상해 보겠습니다. “빛의 색깔이 식물 성장에 어떤 영향을 주는지 실험을 설계해줘. 내 spreadsheet를 분석하고, 실수를 찾아주고, 5분 발표 자료도 만들어줘.”

트랜스포머는 먼저 요청의 여러 부분을 연결합니다. “내 spreadsheet”가 제공된 data를 뜻한다는 것, 실험이 변수를 통제해야 한다는 것, 최종 출력이 5분에 맞아야 한다는 것을 인식합니다. 식물 사진이 포함되어 있다면 multimodal Transformer는 visual token을 text와 함께 처리할 수 있습니다.

시스템이 MoE를 사용한다면 router는 서로 다른 token에 대해 expert network를 선택합니다. Data-analysis pattern은 한 expert 집합을, scientific writing은 다른 expert를, presentation structure는 또 다른 expert를 활성화할 수 있습니다. Expert가 실제로 그렇게 깔끔하게 이름 붙어 있는 것은 아니지만, sparse routing은 모든 파라미터를 활성화하지 않고도 큰 parameter pool을 활용하게 합니다.

Reasoning system은 그 다음 작업을 계획합니다. 표본 크기가 충분한지 확인하고, spreadsheet의 missing value를 검사하고, 평균을 계산하고, 물 주는 양이 일정하지 않았다는 점을 발견하고, 결론을 수정하고, slide outline을 만듭니다. 통계를 검증하기 위해 calculator나 code tool을 호출할 수도 있습니다.

데이터센터 안에서는 prompt가 prefill phase로 들어갑니다. Model weight와 input representation이 HBM을 통과합니다. 각 Transformer layer에서 MoE router는 token을 선택된 expert로 보낼 수 있습니다. Expert가 다른 GPU에 있으면 high-speed link가 token representation을 그쪽으로 운반합니다. 모델이 plan과 analysis를 생성할수록 KV cache는 커집니다. 추가 reasoning step마다 accelerator time, memory capacity, bandwidth가 사용됩니다.

최종 답변은 단순한 학교 발표처럼 보일 수 있습니다. 하지만 그 뒤에는 algorithm, memory chip, packaging, networking, storage, power supply, cooling equipment가 조율된 시스템이 있습니다. 현대 AI는 하나의 거대한 뇌가 아닙니다. 정보를 이동하고 변환하는 산업적 기계입니다.

8. 다음에는 무엇이 올까?

트랜스포머는 앞으로도 몇 년 동안 foundational architecture로 남을 수 있지만, 정지해 있지는 않을 것입니다. 연구자들은 attention과 state-space model을 결합한 hybrid system을 시험하고 있습니다. State-space model은 긴 sequence를 다른 방식으로 처리할 수 있습니다. Diffusion language model은 항상 왼쪽에서 오른쪽으로 한 token씩 진행하기보다 여러 token을 병렬로 생성하거나 수정하려고 합니다. 더 나은 memory system은 agent가 과거 모든 세부 사항을 prompt에 넣지 않고도 유용한 정보를 보존하게 할 수 있습니다.

MoE system은 어떤 expert를 쓸지뿐 아니라 그 expert의 어느 정도를 활성화할지도 선택하는 더 유연한 구조가 될 수 있습니다. Reasoning system은 불필요한 token generation을 피하기 위해 언제 멈출지 더 잘 배울 수 있습니다. 작은 specialized model은 routine task를 처리하고 frontier model은 어려운 case를 감독할 수 있습니다. On-device AI는 더 많은 personal data를 사용자 가까이에 두고, 데이터센터 모델은 demanding work를 수행할 수 있습니다.

Hardware도 memory 중심으로 더 변할 수 있습니다. Processing-in-memory concept는 일부 computation을 stored data 가까이로 옮기려 합니다. Optical connection은 communication의 energy와 latency를 낮출 수 있습니다. Custom inference chip은 prompt processing과 token generation을 분리해 각 phase에 가장 적합한 architecture를 맞출 수 있습니다.

어떤 하나의 발전이 트랜스포머, MoE, reasoning을 완전히 대체한다고 보기는 어렵습니다. 더 가능성 높은 미래는 retrieval, tool, multimodality, specialized hardware와 함께 이들을 조합한 layered system입니다.

Conclusion: 지능은 데이터 이동 문제이기도 하다

상상 속의 학교로 돌아가 보겠습니다. 트랜스포머는 교실을 다시 만들어 학생들이 방 안의 관련 정보를 살펴볼 수 있게 했습니다. MoE는 그 학교를 전문가 대학으로 확장하고, 각 질문에 어떤 학과가 답할지 고르는 routing system을 만들었습니다. Reasoning model은 학생에게 추가 시간, 연습장, 검증 도구, 답안 수정 권한을 줬습니다.

각 발전은 AI를 더 강하게 만들었지만, 물리적 제약을 없애지는 않았습니다. 트랜스포머는 거대한 병렬 computer를 요구했습니다. MoE는 산술 연산을 아끼는 대신 memory capacity와 communication의 중요성을 키웠습니다. Reasoning은 복잡한 문제 해결 능력을 높였지만 더 많은 inference time, KV-cache space, memory bandwidth를 소비했습니다.

그래서 AI 이야기는 software만으로 이해할 수 없습니다. 모델의 품질과 경제성은 GPU와 custom accelerator에 달려 있지만, HBM, conventional DRAM, storage, advanced packaging, switch, optical link, electricity, cooling에도 달려 있습니다. 데이터를 효율적으로 움직이지 못하는 뛰어난 알고리즘은 비싼 processor를 기다리게 만들 뿐입니다.

따라서 AI의 미래는 chip이 얼마나 많은 계산을 수행할 수 있는지뿐 아니라, system이 정보를 얼마나 빠르게 이동하고 저장하고 검색하고 재사용할 수 있는지에 의해 결정될 것입니다.

Selected Sources

1. Vaswani et al., “Attention Is All You Need”, 2017.
2. Brown et al., “Language Models are Few-Shot Learners”, 2020.
3. Kaplan et al., “Scaling Laws for Neural Language Models”, 2020.
4. Fedus, Zoph and Shazeer, “Switch Transformers”, 2021.
5. Mistral AI, “Mixtral of Experts”, 2023.
6. DeepSeek-AI, “DeepSeek-V3 Technical Report”, 2024.
7. Wei et al., “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”, 2022.
8. DeepSeek-AI, “DeepSeek-R1”, 2025.
9. NVIDIA, H200 GPU specifications.
10. NVIDIA Developer, Blackwell Ultra architecture and memory, 2025.

Editorial note: AI에서 “최초”라는 표현은 자주 논쟁적입니다. 이 글은 초기 학술 개념, 대규모 시연, 기술을 대중화한 모델을 구분합니다. 하드웨어 효과는 방향성 분석이며 architecture, deployment design, workload에 따라 달라질 수 있습니다.