막대한 비용 없이 거대 모델을 압도하는 경량 AI 모델이 등장했습니다. 스케일링 법칙의 한계와 혁신적 훈련 방식, MoE, 오픈소스 전략으로 AI 시장의 미래를 바꿀 '작은 거인'들의 성공 비결을 분석합니다.
오픈AI의 직원 수는 2년 만에 12배 급증해 6,000명을 넘어섰고, 올해 상반기에만 약 11조 원이 넘는 비용을 지출했습니다. 앤트로픽 역시 비슷한 길을 걷고 있습니다. AI 기술 경쟁이 더 많은 데이터와 컴퓨팅 파워를 투입하는 ‘규모의 전쟁’으로 굳어지는 듯 보였습니다. 하지만 최근 시장의 흐름에서 흥미로운 균열이 감지됩니다. 천문학적인 비용 없이도 특정 영역에서는 거대 모델을 압도하는 ‘작은 거인’들이 등장하기 시작한 것입니다.
거대 모델의 시대, 왜 한계에 부딪혔나?
첨단 AI 모델 개발은 한동안 스케일링 법칙(Scaling Law)이 지배하는 영역이었습니다. 더 많은 데이터를 학습시키고, 더 많은 매개변수를 투입하면 성능이 비례하여 향상된다는 믿음입니다. 이 공식에 따라 오픈AI, 구글 등 소수의 빅테크는 자체 데이터센터 구축까지 감행하며 ‘군비 경쟁’에 가까운 투자를 이어왔습니다.
하지만 이런 접근 방식은 막대한 자본 없이는 누구도 따라 할 수 없는 진입장벽을 만들었으며, 이는 스타트업의 GPU 부족 사태와 같은 컴퓨팅 절벽 문제로 이어졌습니다. 코히어(Cohere) 같은 스타트업이 일찌감치 프론티어 모델 경쟁을 포기하고 기업용 서비스로 방향을 튼 것도 현실을 방증합니다. 기존의 성공 공식을 따라가는 방식으로는 선두 주자를 따라잡기는커녕 생존조차 어렵다는 인식이 확산된 것입니다. 이러한 현실은 우리에게 역설적인 질문을 던집니다.
과연 ‘크기’만이 유일한 해답일까.
작지만 강하다, 경량 AI 모델의 3가지 성공 방정식
최근 중국의 웨이보와 바이두가 공개한 새로운 AI 모델들은 ‘크기’가 아닌 ‘효율’에서 해답을 찾고 있습니다. 이들은 매개변수 규모로는 비교할 수 없을 정도로 작습니다. 하지만 수학이나 코딩 같은 특정 추론 영역에서는 100배 이상 큰 모델을 뛰어넘는 놀라운 결과를 보여줍니다. 이러한 성과 뒤에는 기존의 성공 공식을 뒤엎는 세 가지 핵심 방정식이 숨어있습니다.
1. 혁신적 훈련 방식: 비용은 낮추고 추론 능력은 극대화
웨이보가 공개한 ‘바이브싱커-1.5B(VibeThinker-1.5B)’는 매개변수가 15억 개에 불과한 경량 모델입니다. 이 모델의 핵심은 ‘스펙트럼-투-시그널 원칙(SSP)’이라 불리는 새로운 훈련 프레임워크입니다.
이것은 모델의 사후 훈련 과정을 두 단계로 나눠 효율을 극대화하는 방식입니다. 먼저 지도 미세조정(SFT) 단계에서는 가능한 정답의 다양성을 최대한 확보하는 데 집중합니다. 이후 강화 학습(RL) 단계에서 여러 답변 중 가장 정확하고 논리적인 추론 과정을 찾아내 강화하는 것입니다. 이는 마치 넓게 아이디어를 펼쳐놓고(발산적 사고), 그중 최선의 것을 골라 다듬는(수렴적 사고) 과정과 유사합니다.
이러한 접근을 통해 바이브싱커는 7,800달러(약 1,100만 원)라는 매우 적은 비용으로 훈련을 마쳤습니다. 이는 수십만 달러가 투입되는 다른 모델들과 비교하면 30분의 1에도 미치지 못하는 수준입니다.
그럼에도 AI 벤치마크 기관 ‘아티피셜 애널리시스’의 지능 점수 평가에서 중국의 또 다른 경량 모델인 ‘키미-K2-싱킹’은 GPT-5를 불과 1점 차로 추격했으며, 앤트로픽의 최신 모델 ‘클로드 소네트 4.5’는 코딩 부문에서 세계 최고 수준의 성능을 보여주는 등 경량 모델의 약진이 두드러지고 있습니다.
2. 전문가 혼합(MoE) 구조: 필요할 때만 깨어나는 전문가들
바이두가 오픈소스로 출시한 ‘어니-4.5-VL-28B-A3B-싱킹(ERNIE-4.5-VL-28B-A3B-Thinking)’은 또 다른 효율화의 가능성을 보여줍니다. 이 모델은 총 280억 개의 매개변수를 가졌지만, 실제 연산을 수행할 때는 30억 개의 매개변수만 활성화하는 ‘전문가 혼합(MoE, Mixture of Experts)’ 구조를 채택했습니다.
MoE 구조는 거대한 단일 신경망 대신, 여러 개의 작은 전문 신경망을 두고 특정 과제가 주어졌을 때 가장 적합한 전문가 네트워크만 활성화하는 방식입니다. 모든 팀원이 모든 업무를 처리하는 비효율적인 방식 대신, 각 분야의 전문가가 필요할 때만 나서서 해결하는 ‘프로젝트 팀’과 같은 구조인 셈이죠. 이를 통해 바이두는 모델의 전체적인 성능은 유지하면서도, 연산에 필요한 자원과 메모리 사용량을 획기적으로 줄이는 데 성공했습니다. 이는 모든 매개변수를 한 번에 계산하는 기존의 ‘덴스(Dense)’ 모델과 비교할 때, 추론 속도와 비용 효율성 면에서 큰 이점을 가집니다. 사용자의 질문에 더 빠르고 저렴하게 답할 수 있는 길이 열린 것입니다.
3. 개방형 생태계: 오픈소스가 가속하는 변화
두 모델의 접근 방식에서 발견되는 또 다른 공통점은 바로 ‘오픈소스’ 전략입니다. 웨이보와 바이두 모두 자신들의 모델을 허깅페이스, 깃허브 등을 통해 상업적으로도 활용할 수 있도록 완전히 공개했으며, 이는 최근 메타가 선보인 라마 3.1(Llama 3.1)과 같은 강력한 오픈소스 모델의 등장과 맞물려 AI 생태계의 개방성을 더욱 가속화하고 있습니다.
이는 단순히 기술을 과시하는 것을 넘어, AI 생태계 전체의 변화를 가속하는 중요한 전략입니다. 대규모 컴퓨팅 인프라가 없는 중소기업이나 스타트업도 이 모델을 기반으로 자체 서비스를 쉽게 개발할 수 있습니다. 특정 산업에 맞게 미세조정하여 새로운 가치를 창출하는 것도 가능해집니다. 이는 결국 거대 모델 중심의 중앙집중적 생태계에서 벗어나, 다양한 아이디어가 경쟁하는 분산형 생태계로의 전환을 촉진하는 역할을 합니다.
경량 모델이 열어갈 AI 시장의 미래
경량 모델의 등장은 AI 시장의 미래에 몇 가지 중요한 변화를 제시합니다.
- AI 민주화 가속: 고성능 GPU 한 장으로도 구동 가능한 모델이 등장하면서 더 많은 플레이어가 AI 개발 경쟁에 참여할 수 있게 됩니다.
- 클라우드에서 엣지(Edge)로의 전환: 모델 크기가 작아져 모바일 기기나 차량 시스템에서 직접 구동하는 온디바이스 AI가 확산될 것입니다. 이는 네트워크 연결 없이 빠르고 안전한 AI 기능 제공을 가능하게 합니다.
- 버티컬 AI(Vertical AI) 시장의 성장: 범용 인공지능(AGI) 경쟁에서 벗어나, 의료, 법률 등 특정 산업 문제 해결에 고도로 특화된 AI가 시장의 주류로 부상할 것입니다.
물론 이러한 경량 모델이 모든 면에서 거대 모델을 대체할 수 있는 것은 아닙니다. 웨이보의 바이브싱커 역시 일반 지식 평가(GPQA)에서는 GPT-4.1이나 클로드보다 낮은 점수를 기록했습니다. 이는 특정 작업에 고도로 최적화된 경량 모델의 명확한 한계와 트레이드오프를 보여주는 대목입니다. 하지만 모든 문제에 거대한 만능 도구가 필요한 것은 아닙니다. 때로는 작고 날카로운 특수 공구가 더 나은 해답이 되기도 합니다. AI 시장의 무게중심이 ‘규모’에서 ‘효율’로 서서히 옮겨가고 있습니다.
함께 읽으면 좋은 글
AI 모델의 효율성과 미래에 대해 더 깊이 알아보고 싶다면 다음 글들을 확인해 보세요.
- 27M AI가 7B LLM을 압도..HRM AI, AI 추론 모델의 새 지평
- AI 비용 혁신? 트랜스포머 대안 ‘브럼비’가 바꿀 AI 미래
- 오픈소스 LLM 양자화 뜻과 중요성, 모델 경량화 핵심 기술
자주 묻는 질문 (FAQ)
경량 AI 모델이란 무엇인가요?
경량 AI 모델은 적은 매개변수와 컴퓨팅 자원으로도 특정 영역에서 거대 AI 모델에 필적하거나 능가하는 성능을 보이는 효율적인 인공지능 모델입니다. 이는 막대한 비용 없이도 고성능 AI 개발을 가능하게 합니다.
AI 모델의 ‘거거익선’ 공식이 한계에 부딪힌 이유는 무엇인가요?
‘거거익선’ 공식은 막대한 데이터와 컴퓨팅 파워 투입을 요구하여 천문학적인 개발 비용과 높은 진입 장벽을 만들었습니다. 이는 소수의 빅테크 기업만 경쟁할 수 있는 환경을 조성하며 지속 가능성에 대한 의문을 제기합니다.
경량 AI 모델이 거대 모델을 능가하는 3가지 성공 방정식은 무엇인가요?
첫째, ‘스펙트럼-투-시그널 원칙(SSP)’ 같은 혁신적 훈련 방식으로 비용은 낮추고 추론 능력을 극대화합니다. 둘째, ‘전문가 혼합(MoE)’ 구조를 통해 필요할 때만 특정 매개변수를 활성화하여 효율성을 높입니다. 셋째, 오픈소스 전략으로 생태계 확장을 가속화합니다.
경량 AI 모델의 등장이 AI 시장의 미래에 어떤 변화를 가져올까요?
경량 AI 모델은 AI의 민주화를 가속하고, 서비스 중심을 클라우드에서 모바일 기기 같은 ‘엣지’로 이동시킬 것입니다. 또한, 모든 것을 잘하는 범용 AI 대신 특정 산업에 특화된 ‘버티컬 AI’ 시장의 성장을 촉진할 것으로 전망됩니다.
전문가 혼합(MoE) 구조는 기존 AI 모델과 어떻게 다른가요?
전문가 혼합(MoE) 구조는 거대한 단일 신경망 대신 여러 개의 작은 전문 신경망을 두고, 특정 과제가 주어졌을 때 가장 적합한 전문가 네트워크만 활성화하는 방식입니다. 이는 모든 매개변수를 한 번에 계산하는 기존 ‘덴스(Dense)’ 모델보다 연산 자원과 메모리 사용량을 획기적으로 줄여 효율성을 높입니다.
