업데이트: 2026년 11월 2일
GitHub 프로젝트 Memdoor(멤도어)가 같은 Qwen3.8-27B(큐원3.8-27B) 모델에 계획·아이디어·풀이·검토·수정 역할을 나눠 맡긴 결과, LiveCodeBench Hard(라이브코드벤치 하드)의 첫 10문제에서 평균 9.8개를 풀었다고 공개했습니다. 비교 자료에 실린 Claude Fable 5(클로드 페이블 5)의 점수는 8.0개였습니다. 겉으로는 작은 모델 다섯 개가 최상위 모델을 이긴 것처럼 보이지만, 정확한 해석은 다릅니다. 다섯 대의 컴퓨터가 동시에 천재처럼 토론한 실험이 아니라, 같은 모델을 여러 번 새로 호출하고 공유 파일을 작업 일지로 사용해 실수를 줄인 워크플로 실험입니다.
승부가 확정된 것은 아닙니다. 표본은 10문제이고 Fable 5는 같은 환경에서 재실행하지 않았으며, 학습자료 오염 가능성도 남습니다. 그럼에도 AI 경쟁이 모델 크기에서 추론을 조직하는 방법으로 넓어지고 있음을 보여줍니다.
Finconsult Summary
- Memdoor(멤도어)의 핵심은 서로 다른 AI 다섯 개가 아니라, 같은 Qwen3.8-27B를 새 문맥으로 반복 호출해 역할을 나누고 파일로 결과를 이어받게 한 것입니다.
- 첫 10문제에서 멤도어는 9.8/10, 원 연구 하네스는 9.6/10, 기존 Fable 5 자료는 8.0/10을 기록했지만 표본과 실행환경이 달라 “확실한 승리”로 볼 수 없습니다.
- 실제 도입에서는 모델 수보다 총 추론량, 응답시간, 메모리, 전력과 운영 복잡성을 봐야 합니다. 외부 API가 가장 쉬우며, 로컬에서는 128GB급 통합 메모리 장비 한 대가 현실적인 출발점입니다.
Introduction: 천재 한 명보다 역할이 분명한 모둠이 나을 수 있습니다
이 구조는 초등학교 모둠 과제와 비슷합니다. 한 학생에게 계획·조사·작성·검토·수정을 한꺼번에 시키는 대신 역할을 나누는 것입니다. 멤도어는 같은 AI 모델을 매번 새로 부르고 plan.md, notes.md, solution.py 같은 파일만 읽게 합니다. 파일은 책상 위의 공유 공책입니다. 새 작업자는 앞선 대화의 혼란 대신 정리된 계획과 답안만 보고 자기 역할에 집중합니다.
모델 자체가 더 똑똑해진 것은 아닙니다. 미세조정(fine-tuning·특정 업무에 맞춘 재학습)이나 가중치 변경 없이, 여러 호출과 역할·파일·자동 시험으로 같은 지능을 더 잘 사용한 것입니다.
Memdoor(멤도어) 메커니즘: 공유 공책을 따라 움직이는 여섯 단계
멤도어의 고정 워크플로는 다음과 같이 작동합니다.
- 계획자가 풀이 순서를
plan.md에 씁니다. - 아이디어 제안자 A와 B가 서로 다른 풀이를 제안합니다.
- 풀이 작성자가
solution.py를 만듭니다. - 자동 시험이 공개 예제 결과를 기록합니다.
- 검토자가 고칠 내용을
notes.md에 씁니다. - 수정자가 코드를 고치고 최종 시험을 실행합니다.
문제 → 계획자 ─┬→ 아이디어 A ─┐
└→ 아이디어 B ─┴→ 풀이 → 자동시험 → 검토 → 수정 → 최종시험
모든 단계가 같은 공유 파일을 읽고 씁니다“다섯 모델”은 서로 다른 모델 다섯 종이 아닙니다. 같은 Qwen3.8-27B의 **새 인스턴스(instance·독립된 호출)**가 역할을 바꿉니다. 대부분 순차적이고 두 아이디어 단계만 병렬이므로, 모델이나 컴퓨터 다섯 대가 필수는 아닙니다.
계획과 실행을 분리하면 처음 떠오른 답에 매달릴 위험이 줄고, 두 아이디어를 받으면 다른 길을 비교할 수 있습니다. 자동시험은 말이 아니라 작동 여부를 확인합니다. 다만 공개 예제 통과가 숨겨진 최종 시험의 정답을 보장하지는 않습니다.
결과: 9.8 대 8.0이지만 같은 경기장에서 뛴 것은 아닙니다
멤도어 공개 자료는 LiveCodeBench Hard 목록의 첫 10문제를 다섯 번씩 실행한 50개 결과를 제공합니다. 멤도어 워크플로는 다섯 차례에 10, 10, 10, 10, 9문제를 풀어 평균 9.8개를 기록했습니다. 원 GVS5H 하네스의 같은 10문제 자료는 평균 9.6개, 논문 파일에서 가져온 Fable 5 자료는 평균 8.0개였습니다.
| 비교 항목 | 점수 | 조건 | 해석 |
|---|---|---|---|
| 멤도어 Qwen3.8-27B | 9.8/10 | 10문제×5회, OpenRouter(오픈라우터) | 이번 재현의 직접 측정값입니다 |
| 원 GVS5H 하네스 | 9.6/10 | 같은 10문제의 기존 5회 자료 | 0.2문제 차이는 표본 잡음 범위일 수 있습니다 |
| Claude Fable 5 | 8.0/10 | 원 연구 파일의 기존 결과 | 멤도어 환경에서 재실행하지 않았습니다 |
가장 안전한 결론은 “멤도어가 원 연구의 다중 호출 효과를 작은 표본에서 재현했다”입니다. 10문제에서는 한 문제만 달라도 10%포인트가 움직이며, Fable 5는 동일한 호스트·프롬프트·출력 한도에서 다시 측정되지 않았습니다.
GVS5H 논문은 100문제를 다섯 번 평가했습니다. 교정 후 공식 보고값은 Qwen3.8-27B 92.4%, Fable 5 90.4%입니다. 그러나 설정에 따라 성능이 나빠진 사례도 있어 역할 분담은 만능 장치가 아닙니다.
사용한 문제는 2025년 봄 대회 문제입니다. Qwen3.8-27B가 학습 중 같은 문제나 해설을 보지 않았다고 확인할 공개 정보가 충분하지 않습니다. 숨겨진 시험은 답안 복사를 어렵게 하지만, 문제를 과거에 본 가능성까지 없애지는 못합니다.
비용과 속도: 싼 모델도 여러 번 부르면 계산량이 커집니다
멤도어의 50회 공개 실행은 총 35.79달러가 들었고, 한 문제의 비용 중앙값은 0.39달러, 시간 중앙값은 40분이었습니다. 원 논문도 오케스트레이션이 단일 호출보다 평균 약 세 배 많은 출력 토큰을 썼다고 설명합니다.
널리 인용된 “Fable 5 비용의 9%”는 27B가 아니라 별도의 Qwen3.8 Flash Next 설정입니다. API 가격도 공급자와 토큰 종류에 따라 달라집니다. 기업은 정확도보다 한 건의 총비용과 총시간을 함께 봐야 합니다. 5초 안에 답해야 하는 서비스에는 40분 워크플로가 맞지 않지만, 야간 코드 검토에는 가치가 있을 수 있습니다.
실제 장비: DGX Spark(DGX 스파크) 다섯 대도, Mac mini(맥 미니) 다섯 대도 필수는 아닙니다
멤도어는 OpenRouter API(application programming interface·외부 모델 호출 창구)를 썼습니다. 일반 PC에서 워크플로만 실행하고 계산은 외부 서버에 맡기면 로컬 고성능 GPU가 필요하지 않습니다.
직접 호스팅할 때는 가중치와 함께 KV 캐시, 실행 프레임워크, 운영체제 메모리가 필요합니다. 27B 가중치는 대략 FP8 27GB, 4비트 13.5GB지만 실제 요구량은 더 큽니다. 논문의 128K 출력 한도는 작은 데스크톱에서 그대로 재현하기 어렵습니다.
| 구성 | 가능한가 | 현실적 평가 |
|---|---|---|
| 일반 PC 1대+외부 API | 가능 | 공개 멤도어 방식과 가장 가깝고 시작이 쉽습니다 |
| DGX Spark 128GB 1대 | 조건부 가능 | 27B 가중치와 런타임 여유가 있어 로컬 실험의 합리적 출발점입니다. 실제 속도는 별도 측정이 필요합니다 |
| DGX Spark 5대 | 가능하지만 과도 | 역할 수와 장비 수를 맞출 필요가 없습니다. 높은 동시 처리량이 필요한 서비스가 아니면 낭비일 수 있습니다 |
| Mac mini 32GB 1대 | 축소 실험 가능성 | 4비트 가중치는 들어갈 수 있지만 긴 문맥·속도 여유가 작습니다 |
| Mac mini 32GB 5대 | 분산 가능 | 160GB가 자동으로 합쳐지지 않고 운영이 복잡해집니다 |
DGX Spark 128GB는 통합 메모리 128GB, 대역폭 273GB/s, 240W 전원공급장치와 140W GB10 열설계전력을 갖습니다. 현행 Mac mini는 구성에 따라 32GB 또는 64GB 통합 메모리를 제공합니다. 실제 전력 비교는 같은 모델·양자화·문맥으로 벽면 전력을 재야 합니다.
에이전트 다섯 명=모델 복사본 다섯 개=컴퓨터 다섯 대가 아닙니다. 서버 한 대가 요청을 차례로 처리해도 역할은 유지됩니다. 연구 재현에는 DGX Spark 한 대나 클라우드 GPU가 합리적이며, 서비스라면 장비 대수보다 초당 토큰, 동시 사용자, 작업당 전력과 재시도율을 측정해야 합니다.
투자 시사점: 모델 훈련에서 추론 운영으로 가치가 이동합니다
이 실험은 대형 모델 개발사의 가치가 사라진다는 뜻이 아닙니다. 모델, 오케스트레이션 소프트웨어, 서버와 메모리가 하나의 시스템으로 경쟁하게 된다는 뜻에 가깝습니다. 모델이 엔진이라면 공유 공책과 시험 규칙은 생산성을 만드는 변속기입니다.
국내 AI 기업은 총 토큰, 중앙값과 상위 95% 응답시간, 가중치와 KV 캐시를 합친 최대 메모리, 성공 작업당 전력과 재시도 비용을 공개해야 합니다. 이 수치가 없으면 “작은 모델로 대형 모델을 대체했다”는 주장은 투자 판단에 부족합니다.
여러 번 호출하면 클라우드 추론 수요가 늘고, 반도체에서는 메모리 용량·대역폭·전력 효율이 중요해집니다. 반면 긴 지연은 실시간 서비스 채택을 막을 수 있습니다. 멤도어에서도 검토자가 잘못된 반례로 정답을 바꿨다가 복구한 사례가 있었습니다.
Conclusion: Memdoor(멤도어)가 보여준 새로운 설계 원칙
Memdoor(멤도어) 실험의 가장 중요한 메시지는 “소형 AI 다섯 개가 Fable 5를 꺾었다”가 아닙니다. 같은 모델도 계획, 독립 아이디어, 공유 파일, 자동시험과 수정 절차를 주면 더 안정적으로 일할 수 있다는 점입니다. 작은 모델을 여러 번 부르는 것이 큰 모델 한 번보다 싸고 정확할 가능성은 있지만, 그 이득은 모델과 업무, 토큰 가격, 허용 지연시간에 따라 달라집니다.
다음 단계는 100문제를 동일한 하네스와 출력 한도로 재실행하고, 새 문제로 오염 가능성을 낮추며, API와 로컬 장비의 비용·시간·전력을 함께 공개하는 것입니다. 그전까지 이번 결과는 승리 선언이 아니라 유망한 설계 가설입니다. 그래도 모델 크기뿐 아니라 추론 소프트웨어와 메모리·전력 인프라가 새 경쟁 변수라는 점은 분명합니다.
Sources
- Memdoor(멤도어) team-solve 워크플로와 결과
- Memdoor(멤도어) 50회 원자료
- Memdoor(멤도어) 재현 조건 및 변경사항
- GVS5H 코드와 결과
- GVS5H arXiv 논문
- Qwen3.8-27B 공식 모델 카드
- LiveCodeBench 저장소
- Hacker News 토론
- NVIDIA DGX Spark 공식 사양
- Apple Mac mini 공식 사양
Related Topics
- 2026 오픈소스 AI 모델 비교: 벤치마크, 가격, 컨텍스트 윈도우, 투자 시사점
- AI 문명 실험, 50개 에이전트가 만든 것은 도시가 아니라 배급표였다
- OpenAI ‘AI가 과학 난제 3개 풀었다’…학계는 검증에 나섰다