엔비디아 블랙웰 GB200 서버에 대해서 자세히 알아보겠습니다. 이 글은 엔지니어 관점에서 쓴 기술적인 글이 아니라 경제성에 초점을 맞춰 작성했습니다. 2024년 3월, 엔비디아의 황 사장은 블랙웰이라는 새로운 GPU를 소개했습니다. 그는 이 GPU가 LLM 모델을 구현하는 것뿐만 아니라 영상을 학습하고 흉내 내기 위해 디자인된 것이라고 말했습니다. 한마디로, 텍스트와 이미지에서 영상으로 넘어가기 위해 엄청난 컴퓨팅 파워가 필요하며, 이를 … 더 읽기
파리 올림픽으로 세계의 관심이 유럽에 집중된 이때, 유럽 연합은 AI 규제법을 조용히 발효시켰습니다. EU AI 규제법은 세계최초의 AI 관련 법안이자, EU라는 거대 경제권에서 시행하는 것이기 때문에 향후 AI 시장의 향배를 가늘 수도 있는 중요한 법안입니다. 특히, EU AI 규제법은 다른 국가들의 AI 관련 법규에 기반이 될 가능성이 높기 때문에 관련된 내용을 알아보는 것도 의미가 있다고 … 더 읽기
한국에서는 AI 관련 회사로 SK하이닉스가 자주 언급되며, 특히 HBM 기술이 크게 강조됩니다. 올해 젠슨 황은 엔비디아 B100의 출시를 발표하는 자리에서 한국 업체들의 뛰어난 HBM 기술력을 칭찬하였습니다. 그러나, 엔비디아 서버에서 HBM이 차지하는 비중은 5% 미만에 불과합니다. 또한, HBM의 채택 여부는 엔비디아의 요구사항이 절대적인 역할을 합니다. 이번 글에서는 엔비디아의 향후 GPU 로드맵을 알아보고, 삼성의 HBM3E 12단 메모리가 … 더 읽기
마이크론의 HBM에 대한 전망 최근 마이크론은 고대역폭 메모리(HBM) 시장에서 강력한 성장을 예고하고 있습니다. 이는, AI와 가속 컴퓨팅 플랫폼의 폭발적인 증가로 마이크론의 HBM 수요가 급증하고 있기 때문입니다. NVIDIA H200, AMD MI300X, Google의 차세대 TPU 등 다양한 새로운 AI 컴퓨팅 플랫폼이 연이어 출시되면서 HBM의 수요는 계속해서 증가할 전망입니다. 작년 마이크론의 HBM 비트 점유율이 1-2%였으나, 올해는 4%로 증가했습니다. … 더 읽기
삼성전자가 24년 1분기 컨퍼런스 콜에서 밝힌 내용 삼성전자는 2024년 4월 컨퍼런스 콜에서 회사가 작년 대비 HBM 공급을 세 배 늘릴 것이며, 이미 고객들과 합의가 완료되었다고 밝혔습니다. 또한, 2025년에는 2024년 대비 HBM 공급이 두 배로 증가할 것이라고 예측하였습니다. HBM관련 주요 내용은 아래와 같습니다. 1. 8단 HBM3E의 초기 양산을 개시하였고, 빠르면 2분기 말부터 수익을 창출할 것으로 전망다. … 더 읽기
라마3 (Llama 3)은 이전 버전인 라마 2 (Llama 2)에 비해 상당한 개선을 이루었습니다. 가장 눈에 띄는 변화 중 하나는 라마3 의 가장 큰 모델(400B 파라미터)이 주요 기준에서 세계 최고 수준의 비공개 모델들(예: Gemini, GPT-4, Claude 3)과 비슷한 성능을 보인다는 것입니다. 라마3 8B와 라마3 70B, 이 두 모델은 각각 80억 개와 700억 개의 파라미터를 사용합니다. 파라미터의 … 더 읽기
삼성전자는 삼성 AI칩 ‘마하1’의 양산을 2024년말 시작할 예정이라고 밝혔습니다. 이로 인해 AI 반도체 시장에 큰 변화가 예상됩니다. 2024년 3월 주주종회에서 삼성 AI칩 마하1칩의 개발소식을 공개 최근 경기 수원컨벤션센터에서 열린 제55기 삼성전자 정기 주주총회에서 경계현 사장은 ‘마하1’ 칩의 개발 소식을 처음으로 공개했습니다. 이 칩은 AI 추론 작업에 특화되어 있으며, 컴퓨터의 중앙처리장치(CPU)와 같은 역할을 하면서 AI 추론 … 더 읽기
챗GPT 출력 품질을 극대화하고 싶으신가요? 최신 인공지능 기술을 활용하는 데 있어서 챗GPT의 효과적인 사용은 필수적입니다. 여기서는 챗GPT의 응답과 결과물의 질을 한 단계 끌어올릴 수 있는 여섯 가지 전략을 소개합니다. 이러한 전략들은 AI 기술을 활용하여 업무 효율성을 향상시키고, 더 정확하고 심층적인 답변을 얻을 수 있게 해줄 것입니다. ‘챗GPT 출력 품질’에 집중하여, AI의 잠재력을 최대한 활용해보세요.
마이크로소프트가 자체 AI칩인 ‘Maia 100’과 ‘Cobalt 100’을 선보이며, AI 및 클라우드 컴퓨팅 분야에서 Nvidia의 지배적 위치에 도전하고 기술적 독립성을 강화하는 새로운 전략을 제시했습니다. 이 칩들은 AI 모델의 훈련과 추론 단계에서 탁월한 성능을 발휘할 것으로 기대되며, 마이크로소프트의 클라우드 서비스에 큰 변화를 가져올 것으로 전망됩니다
“생성형 AI는 사람들에게 유용한 결과물을 잘 만들어내는 장점이 있습니다. 하지만, 그 생성 과정을 설명하는 데에는 한계가 있죠. 이런 약점을 극복하기 위한 방법에는 어떤 것들이 있을까요?”
