라마3 (Llama 3)은 이전 버전인 라마 2 (Llama 2)에 비해 상당한 개선을 이루었습니다. 가장 눈에 띄는 변화 중 하나는 라마3 의 가장 큰 모델(400B 파라미터)이 주요 기준에서 세계 최고 수준의 비공개 모델들(예: Gemini, GPT-4, Claude 3)과 비슷한 성능을 보인다는 것입니다.
라마3 8B와 라마3 70B, 이 두 모델은 각각 80억 개와 700억 개의 파라미터를 사용합니다. 파라미터의 수가 많아질수록 모델의 성능은 강화되지만, 반드시 모든 AI 작업에 많은 데이터가 필요한 것은 아닙니다.
이 모델들은 24,000개의 GPU 클러스터에서 훈련되었으며, 메타가 설정한 벤치마크에서 뛰어난 성능을 보이며 시장에 나와 있는 일부 경쟁 모델들을 앞질렀습니다. 대부분의 기업이나 개발자들이 가장 크고 강력한 AI를 만들기 위해 경쟁하는 것은 아니지만, 중요한 것은 이러한 모델들이 지속적으로 발전하고 있다는 점입니다.
라마3의 성능비교 (출처: 아티피셜어낼러시스)
위의 표에서 보듯이 라마3 (70B) 모델의 성능은 챗GPT4 모델과 유사한 수준입니다. 라마3는 시간당 처리할 수 있는 토큰의 숫자는 GPT4에 비해 4배 수준으로 많고 반응시간도 GPT4에 절반 수준입니다. 더욱이, 라마3는 오픈소스 이기 때문에, 가격이 GPT에 비해 엄청 저렴(2.5% 수준) 합니다.
메타는 자사의 SNS와 메신저에서 벌어들이는 광고수익을 활용하여, AI를 개발하고 있기 때문에 오픈AI보다 재정적인 여유가 많아 보입니다. 오픈AI가 GPT5를 통해서 월등한 성능을 보여주지 못한다면, 현재의 유료화 요금체계를 합리화하기 힘들어 보입니다.
라마3를 활용해 온디바스 AI를 구현하려는 퀄컴
# 퀄컴과 메타의 협력, 온디바이스 AI의 새 지평을 열다
퀄컴과 메타가 협력하여 우리 일상 속 기기들을 더 똑똑하게 만드는 혁신적인 작업을 시작했습니다. 이들이 진행하는 프로젝트는 인공지능 기술을 한층 더 발전시키는 것으로, 특히 메타의 라마3b 모델을 활용해 온디바이스 AI의 성능을 개선하는 것이 목표입니다. 이 협력으로 스마트폰, PC, VR/AR 헤드셋, 자동차 등 다양한 플랫폼에서 AI 기능이 크게 강화될 것으로 예상됩니다.
라마3b 모델은 기존 대형 언어 모델들과 비교하여 적은 파라미터를 사용함에도 불구하고 강력한 성능을 자랑합니다. 이 점이 온디바이스 AI에 크게 기여하는데, 적은 파라미터로도 우수한 성능을 발휘한다는 것은 기기 내 메모리와 처리 능력의 부담을 줄여줍니다. 따라서, 더 많은 기능을 더 빠르고 효율적으로 처리할 수 있게 되어 사용자 경험이 향상됩니다.
퀄컴의 최신 Snapdragon® 플랫폼을 사용하는 기기들에서 이러한 라마3b 모델을 효과적으로 실행할 수 있게 되면서, 다음과 같은 몇 가지 주요 이점을 제공합니다:
1. 즉각적인 반응성 :
기기 내에서 직접 AI 처리를 함으로써, 서버에 데이터를 보내고 결과를 기다리는 불필요한 지연 없이 즉시 응답할 수 있습니다.
2. 신뢰성 향상:
인터넷 연결 상태와 관계없이 AI 기능이 계속 작동하므로, 어떠한 환경에서도 안정적인 사용이 가능합니다.
3. 개인정보 보호 강화 :
처리되는 데이터가 기기를 벗어나지 않으므로, 외부로의 데이터 유출이 없어 개인 정보가 더욱 안전하게 보호됩니다.
4. 맞춤형 서비스 :
사용자의 사용 패턴을 분석하여 그에 맞는 서비스를 제공하므로, 더욱 개인화된 경험을 할 수 있습니다.
이러한 기술적 진보는 개인용 통역기능에서 탁월한 성능을 발휘할 수 있을 것으로 보입니다. 특히 라마3b라는 모델을 얼마나 더 효율적으로 작동시킬수 있을 지를 놓고 모바일 프로세서 경쟁이 가열될 것입니다. 이는 반도체 산업의 혁신을 더욱 가속화 할 것으로 보이며, 파운드리의 초미세화 경쟁을 더 심화시킬 것입니다.
리마3: 첫 오픈소스 AI 모델
메타는 AI 개발에 있어 오픈소스 접근 방식을 택하고 있습니다. 이는 경쟁사들이 종종 선호하는 폐쇄적인 소스 방식과 대비됩니다. 오픈AI는 이름에 걸맞게 일부 접근성을 제공하지만, 실제로는 소스 코드를 공개하지 않고 있습니다. 이에 대해 AI 분야에서는 어느 방식이 개발 속도와 안전성 면에서 우월한지에 대한 논쟁이 활발히 이루어지고 있습니다.
이는 라마3가 첫 번째로 오프소스 AI 모델이라는데 큰 의미가 있습니다. 이미지 생성 분야에서도 META는 정확성, 범위, 속도 면에서 기술적 진보를 계속하고 있으며, 이 기술은 특히 광고주와 창작자들이 새로운 콘텐츠를 만드는 데 크게 기여할 것입니다. 광고 산업에서는 이미 창의적 광고 제작에 확산 모델을 활용하고 있으며, 이를 통해 초기 테스트에서는 중간에서 높은 한 자릿수의 광고 수익(ROAS) 증가를 보고 있습니다. 이런 도구를 통한 광고 성능의 지속적인 개선은 META의 광고 수익 성장을 더욱 견고하게 만들 것입니다.
또한, 메타는 최근 라마3 (Llama 3)를 이용해 개발된 Meta AI를 Instagram과 Facebook의 검색 바, WhatsApp, 그리고 Messenger에 통합했습니다. 특히, WhatsApp에는 실시간 AI 이미지 생성 기능도 추가되었습니다. 이러한 기능들은 사용자가 정보를 검색하거나 취미, 관심사에 따라 이미지를 생성하고 공유하는 등 더 많은 참여를 유도합니다.
가령, 예를들면, 메타 AI의 이미지 생성 기능은 사용자가 타이핑을 할 때, 이미지 생성기능을 통해서 메시지의 내용과 가장 관련이 높은 아이콘을 추천해주거나, 이미지를 생성해서 보여줄수도 있습니다. 이 기능이 더 발전할 경우, 간단한 짤과 같은 동영상도 생성해 줄 수 있을 것입니다.
결론: 온디바이용 오프소스 LLM 모델로서의 의미
메타가 라마3를 출시하며 챗GPT4 수준의 모델을 성공적으로 선보였다는 사실은 매우 의미 있는 일입니다. 이로 인해 오픈AI와의 기술 격차가 약 1년 정도로 줄어들었습니다. 특히, 8억 파라메타를 활용한 리마3(8B) 모델이 챗GPT3-5와 비슷한 성능을 보인다는 점은 인상적입니다. 이 모델은 온디바이스 AI로서 널리 사용될 잠재력을 가지고 있습니다.
라마3의 주요 사용자로는 퀄컴이 있습니다만, 삼성과 미디어텍도 리마3를 이용한 온디바이스 개발에 참여할 것으로 보입니다. 만약 구글이 온디바이스를 위한 전용 AI 모델을 출시하지 못한다면, 메타의 리마3가 온디바이스용 AI 모델로서 주목받을 가능성이 높습니다. 구글과 메타 중 어느 쪽이 온디바이스 AI 모델 개발에 성공할지는 곧 결정될 것입니다.
온디바이스 AI가 널리 사용되면, AI를 통한 서비스가 대중화될 것입니다. 개인 정보 유출 걱정 없이 AI 기술을 활용할 수 있게 되므로, 사용을 주저할 이유가 사라지게 됩니다. 이런 맥락에서 라마3는 온디바이스용 LLM 오픈소스 모델의 개척자로서 주목할 필요가 있습니다.