Underdog Saluki 27B 분석: 8GB로 줄인 270억 매개변수 모델의 실측 성능
54GB짜리 27B 거대 언어 모델을 8GB 이하로 깎아냈을 때, 도구 호출 정확도는 올라가고 수학 점수만 17점 추락한 이유는 무엇일까요?
이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.
✦ KR 주제: Saluki 27B의 2비트 압축과 성능 불균형 분석
✦ KR 핵심 요약: Underdog의 Saluki 27B는 54GB 크기의 Qwen3.8-27B를 7.89GB로 압축해 16GB 메모리 기기에서 단일 도구 호출 88점을 기록했습니다. 반면 고난도 수학 추론(AIME)은 79.2점으로 17.5점 떨어져 가중치 손실의 한계를 명확히 드러냅니다.
🌐 Global Takeaway: Underdog Saluki 27B compresses Qwen3.8-27B from 54GB down to 7.89GB using IQ2-mix quantization under Apache 2.0. While tool-calling accuracy rises to 88/120, complex mathematical reasoning drops from 96.7 to 79.2, defining clear task boundaries for local edge agents.
아래 비교표와 단계도는 원본 Qwen 모델 대비 Saluki 27B의 압축 방식과 양자화 가중치 처리 흐름을 보여줍니다.
- 가중치 크기 약 54GB
- 고성능 다중 GPU 환경 필수
- AIME 2025 96.7점 기록
- 도구 호출 120문항 중 84점
- 가중치 크기 7.89GB
- 16GB~24GB 노트북 로컬 구동
- AIME 2025 79.2점 기록
- 도구 호출 120문항 중 88점
1. 54GB 모델이 7.89GB로 줄어든 사건의 전말
2026년 10월 8일, 로컬 AI 애플리케이션 개발사인 Underdog이 자사의 허깅페이스(Hugging Face) 저장소를 통해 신규 오픈소스 언어 모델인 «Saluki 27B»를 공개했습니다. 베이스 모델은 알리바바의 플래그십 오픈 가중치 모델인 Qwen3.8-27B입니다. 통상 16비트 부동소수점(FP16)이나 BF16으로 저장되는 27B급 파라미터 모델은 가중치 파일 용량만 약 54GB에 달합니다. 엔터프라이즈 환경이 아닌 일반 소비자용 단일 GPU나 노트북 환경에서는 메모리에 올리는 것조차 불가능했던 수치입니다. 그러나 Underdog이 배포한 GGUF 포맷의 Saluki 27B 파일 용량은 7.89GB에 불과합니다.
이 릴리스는 공개 직후 X(구 트위터) 공지가 북마크 2,000건을 넘어서는 등 로컬 거대 언어 모델(LLM) 커뮤니티의 뜨거운 관심을 받았습니다. 라이선스 역시 상업적 사용과 수정, 재배포에 제한이 없는 Apache 2.0을 채택했습니다. 제조사는 모델 이름을 가리켜 '날씬한 체구로 빠르게 달리는 사냥개'인 사루키(Saluki)에서 따왔다고 밝혔습니다. Underdog은 개인용 컴퓨터 환경 내부에서만 안전하게 동작하는 생산성 인공지능 에이전트를 목표로 제품을 설계해 왔으며, 경량 초고속 모델인 Woof 4B, 균형 잡힌 Saluki 27B, 고성능 모델인 Underdog 27B로 라인업을 세분화했습니다.
주목할 지점은 7.89GB라는 파격적인 다이어트 수치만이 아닙니다. 제작사가 공개한 벤치마크 결과에 따르면, 모델 용량을 7분의 1 수준으로 줄였음에도 불구하고 외부 함수를 식별해 호출하는 단일 도구 호출(Tool Calling) 성공률은 원본 54GB 모델보다 오히려 높게 측정되었습니다. 일반적인 상식선에서는 매개변수 표현 정밀도를 극단적으로 낮출수록 신경망 전반의 인지 성능이 무너져야 정상입니다. 하지만 Saluki 27B는 특정 영역에서 정반대의 결과를 내놓으며 로컬 온디바이스 에이전트의 가능성과 양자화 설계의 현실적 타협점을 동시에 드러냈습니다.
1-1. 공개된 주요 스펙과 라이선스 명세
Underdog 측이 공식 기술 문서와 저장소를 통해 명시한 기본 배포 사양은 다음과 같은 특징을 지닙니다. 특수 하드웨어나 독점 컴파일러 프레임워크가 필요하지 않다는 점이 로컬 개발자들의 진입 장벽을 대폭 낮췄습니다.
- 기반 베이스 모델: Alibaba Qwen3.8-27B (사전 학습 및 정렬 모델 기반)
- 최종 배포 파일 크기: 단일 텍스트 GGUF 기준 7.89GB (원본 FP16 약 54GB 대비 약 85.4% 감량)
- 적용 양자화 기법: 오스트리아 과학기술원(ISTA) 산하 ISTA-DASLab 연구를 계승한 2비트 IQ2-mix 가변 양자화
- 소프트웨어 라이선스: Apache License 2.0 (상업적 이용, 복제, 수정 및 제3자 서빙 허용)
- 실행 환경 표준: llama.cpp 최신 메인라인 빌드 및 Ollama 0.34.3 이상에서 네이티브 로딩 지원
2. IQ2-mix 기술과 2비트 극단적 압축의 공학적 배경
신경망 모델의 매개변수를 본래의 FP16(16비트 부동소수점)에서 8비트, 4비트로 낮추는 포스트 트레이닝 양자화(PTQ)는 이미 표준 개발 파이프라인으로 자리 잡았습니다. 그러나 3비트 미만, 특히 2비트 영역은 오랜 시간 동안 '금기의 영역'으로 불렸습니다. 2비트는 가중치 하나를 표현하는 데 오직 4가지 상태값(00, 01, 10, 11)만을 부여한다는 뜻입니다. 이 단계에 도달하면 신경망의 가중치 행렬 사이에서 미세한 활성화 차이를 보존하기 어려워 문맥을 잃고 횡설수설하는 퍼플렉시티(Perplexity) 폭발과 언어 붕괴 현상이 필연적으로 발생합니다.
Saluki 27B는 이 한계를 극복하기 위해 ISTA-DASLab이 제안한 비균일 가변 정밀도 체계인 'IQ2-mix' 방식을 적용했습니다. 모든 가중치 텐서를 무차별적으로 2비트 그리드에 밀어 넣는 단순 정량화 대신, 신경망 계층(Layer)의 중요도와 어텐션 헤드의 민감도를 수학적으로 계산하여 차등적인 비트 깊이를 분배하는 방식입니다. 문장 구조를 잡고 문맥적 지시를 해석하는 어텐션 프로젝션 및 핵심 임베딩 레이어에는 상대적으로 정밀한 비트 할당을 유지하고, 용량의 대부분을 차지하는 피드포워드 신경망(FFN) 블록은 2비트 이하 수준으로 과감하게 깎아냈습니다.
# Ollama 환경에서 Hugging Face 저장소 모델을 직접 가져와 실행하는 명령 예시
ollama pull hf.co/underdog/saluki-27b
ollama run hf.co/underdog/saluki-27b
이러한 구조적 분배 덕분에 Saluki 27B는 독자적인 가속 라이브러리나 전용 커스텀 커널 없이도 범용 llama.cpp 코어 위에서 완벽하게 구동됩니다. 애플 실리콘 M 시리즈 칩셋이 탑재된 Mac뿐 아니라 16GB RAM을 갖춘 일반 윈도우 PC에서도 가상 메모리(스왑) 병목 없이 가중치 전체를 통합 메모리에 올려놓을 수 있게 되었습니다.
3. 실측 벤치마크 결과: 얻은 것과 잃은 것
Underdog 연구팀과 외부 테스터들이 공개한 실측 벤치마크 결과는 매우 선명한 대조를 이룹니다. 종합 9개 벤치마크 점수의 산술 평균은 원본 Qwen3.8-27B 성능 대비 약 96% 수준을 유지한 것으로 집계되었습니다. 그러나 개별 항목을 뜯어보면 단순한 4% 균등 감쇠가 아니라, 기능별 편차가 극단적으로 갈라졌음을 알 수 있습니다.
3-1. 벤치마크 상세 비교 분석
다음 표는 Underdog 사가 측정한 공식 벤치마크 수치 및 오픈소스 커뮤니티 검증 데이터를 종합 비교한 결과입니다.
| 평가 항목 (벤치마크) | 원본 Qwen3.8-27B (FP16 기준) | Saluki 27B (IQ2-mix) | 변동 폭 및 특이사항 |
|---|---|---|---|
| 도구 호출 (Underdog Bench 120문항) | 84 / 120 (70.0%) | 88 / 120 (73.3%) | +4문항 (+3.3%p 향상) |
| 병렬 도구 호출 (100문항) | 35 / 100 (35.0%) | 42 / 100 (42.0%) | +7문항 (+7.0%p 향상) |
| 지시 준수 능력 (IFEval) | 91.5점 | 93.5점 | +2.0점 향상 |
| 코딩 에이전트 (SWE-bench Verified 50건) | 33 / 50 (66.0%) | 30 / 50 (60.0%) | -3건 (-6.0%p 소폭 하락) |
| 경기 수학 추론 (AIME 2025) | 96.7점 | 79.2점 | -17.5점 급락 (추론 손실 집중) |
지시 준수 능력을 측정하는 IFEval 지표에서 Saluki 27B는 93.5점을 기록하여 원본의 공개 측정치인 91.5점을 오히려 2점 웃돌았습니다. 단일 도구 호출 평가에서도 120개 문항 중 88개를 올바르게 호출하며 원본(84개)보다 높은 정확도를 기록했습니다. 반면 상위권 학생들의 올림피아드 수준 수학 능력을 검증하는 AIME 2025 테스트에서는 원본의 96.7점에서 79.2점으로 무려 17.5점이 급락했습니다. 겉보기 96% 유지라는 수치가 고난도 논리 연산의 성능 파괴를 통계 뒤편에 숨기고 있었던 셈입니다.
"평균 96% 유지라는 지표는 평균의 함정입니다. 단순 정형 데이터 매핑과 도구 호출은 살아남았지만, 복잡한 사유가 필요한 수학적 다단계 추론 손실은 정확히 2비트 양자화의 대가를 치르고 있습니다."
4. 왜 도구 호출은 원본보다 강하고 수학은 무너졌는가
많은 엔지니어들이 의문을 제기한 대목은 '어떻게 가중치를 7분의 1로 깎았는데 도구 호출 성공률이 더 높아질 수 있는가'입니다. 이 역전 현상의 원인은 신경망의 연산 패턴 차이에서 기인합니다. 도구 호출은 본질적으로 엄격한 문법적 스키마 준수, 명확한 키워드 인식, 그리고 JSON 형식의 정형 텍스트 생성 작업입니다. 사용자의 요청에서 특정 인자(Argument)를 추출하여 사전에 정의된 함수 인터페이스로 정확히 매핑하는 작업은 모델의 깊은 논리적 통찰을 요구하기보다는 패턴 일치성과 문법적 제약 순응도가 핵심으로 작용합니다.
IQ2-mix 양자화 과정에서 어텐션 층이 보존된 Saluki 27B는 오히려 모델 내부의 과도한 자유도를 억제하는 효과를 낳았습니다. 모델이 프롬프트를 창의적으로 재해석하거나 불필요한 장황한 설명을 덧붙이는 '환각적 과잉 생성'이 압축 과정에서 줄어들면서, 시스템 프롬프트가 강제하는 출력 템플릿에 더욱 기계적으로 수렴하게 된 것입니다. 실제로 단일 함수 선택 문제 48개 항목 중에서는 47개를 정답으로 처리하는 경이로운 정확도를 보여주었습니다.
반대로 AIME 2025와 같은 기호 논리학 및 수학적 추론은 각 연산 계층 간의 미세한 활성화 가중치 조합이 누적되어야 정답에 도달할 수 있는 극단적 심층 연산입니다. FFN 계층을 2비트로 낮추면 수식의 조건 변화를 끝까지 추적하는 연쇄적 생각의 사슬(Chain-of-Thought)에서 미세한 오차가 발생하고, 단계가 거듭될수록 오차가 복리처럼 불어나 최종 정답을 빗겨 나가게 됩니다. Underdog 팀 역시 회문(Palindrome) 판별이나 모음 개수 세기처럼 글자 단위의 극도로 미세한 토큰 조작을 요구하는 태스크는 Saluki 27B가 가장 취약한 영역이라고 공식 시인했습니다.
5. 로컬 하드웨어 구동 조건과 런타임 메모리 실측
모델의 디스크 파일 용량이 7.89GB라는 사실이 곧 8GB VRAM 그래픽카드에서 아무런 제약 없이 실시간 구동된다는 것을 의미하지는 않습니다. 모델을 메모리에 로드한 뒤 실제 사용자 프롬프트를 처리하고 출력 토큰을 생성할 때는 Key-Value 캐시(KV Cache)를 위한 추가 메모리 할당이 반드시 뒤따르기 때문입니다.
- JSON 포맷팅
- API 파라미터 추출
- 단일 함수 디스패치
- SWE-bench 단순 패치
- 지시문 제약 준수
- 사전 정의된 워크플로
- 일반 대화
- 요약 및 이메일 정리
- 회의 메모 변환
- AIME급 고난도 수학
- 문자 단위 규칙(회문)
- 심층 다단계 기호 논리
5-1. 하드웨어별 실제 구동 메모리 요구량
애플 실리콘 M5 프로세서와 24GB 통합 메모리를 갖춘 MacBook Air 환경에서 Ollama 0.34.3을 이용해 테스트한 결과, Saluki 27B는 완전히 메모리에 안착하며 초당 약 18~22토큰 수준의 안정적인 출력 속도를 보여주었습니다. 16GB 통합 메모리를 갖춘 M-시리즈 Mac이나 윈도우 PC에서도 단일 애플리케이션으로 실행할 경우 충분히 실무에서 활용 가능한 반응 속도를 제공합니다.
- 순수 가중치 점유량: 7.89GB (메모리 로드 즉시 상주)
- 4K 컨텍스트 윈도우 KV 캐시: 기본 정밀도에서 약 1.2GB~1.8GB 추가 소요
- 16K 이상 확장 컨텍스트 구동 시: KV 캐시가 4GB 이상으로 증가하여 12GB 이상의 유휴 메모리 필요
- 멀티모달 비전 인코더 추가 시: 텍스트 전용 외에 Q8_0 포맷(629MB) 또는 F16 포맷(928MB)의 비전 프로젝터 가중치가 별도로 요구됨
따라서 8GB VRAM을 장착한 단일 데스크톱 GPU의 경우, 윈도우 OS 디스플레이 출력 메모리를 제외하면 가중치 7.89GB를 올리는 순간 VRAM이 포화 상태에 이릅니다. 짧은 2K 수준의 프롬프트는 아슬아슬하게 통과할 수 있지만, 문맥이 길어지면 시스템 램으로 데이터가 전송되는 PCIe 대역폭 병목이 발생해 추론 속도가 초당 1~2토큰으로 급락하게 됩니다. 8GB GPU 단일 환경보다는 최소 12GB VRAM을 갖춘 외장 그래픽카드나, 16GB 이상의 통합 메모리를 탑재한 시스템이 실질적인 마지노선입니다.
6. 경쟁 2비트 모델과의 비교 및 에이전트 시스템 적용 전략
Underdog 측은 발표 자료에서 흥미로운 비교 대상을 솔직하게 언급했습니다. 바로 또 다른 2비트 경량화 모델인 «Mia»와의 병렬 도구 호출 대결입니다. 100문항의 복수 도구 병렬 호출 테스트에서 Saluki 27B는 42문항을 성공시켰으나, 용량이 9.1GB로 약 1.2GB 더 큰 경쟁 모델 Mia에게 근소하게 뒤처졌습니다. Underdog은 자사 모델의 한계를 투명하게 공개하며, 단일 경량화 모델이 모든 영역을 지배할 수는 없다는 점을 분명히 했습니다.
이러한 특성은 로컬 AI 에이전트 아키텍처를 설계하는 시스템 엔지니어들에게 매우 유의미한 설계 가이드를 제공합니다. Saluki 27B를 범용 챗봇이나 과학 논문 분석용 수리 연산 엔진으로 배치하는 것은 잘못된 접근입니다. 반면 사용자의 로컬 컴퓨터에서 이메일을 검색하고, 캘린더 일정을 추출하며, 회의 메모를 구조화된 데이터베이스에 등록하는 등의 '작업 오케스트레이터'로는 최적의 가성비를 발휘합니다.
- 권장 배치 영역: 로컬 파일 시스템 자동화 에이전트, 개인 일정 및 이메일 파싱 인터페이스, 사전 정의된 OpenAPI 스키마 기반 함수 디스패처
- 비권장 영역: 수학 올림피아드 및 통계 수식 검증, 긴 코드베이스의 다단계 알고리즘 리팩토링, 엄격한 운율이나 글자 수 제약을 따르는 시 창작
7. 로컬 경량화 AI의 방향성과 과제
Underdog Saluki 27B의 등장은 오픈소스 인공지능 생태계가 '단순히 파라미터 크기만 늘리는 무차별 경쟁'에서 벗어나, '특정 실무 목적에 맞춰 가중치 공간을 재구성하는 기능 특화 압축'의 시대로 접어들었음을 입증합니다. 270억 개의 거대한 매개변수를 가진 상위 모델의 문맥 해석력과 지시 이해 능력은 흡수하되, 일상 에이전트 작업에 필요하지 않은 과도한 수리 기호 연산의 정밀도를 덜어냄으로써 경량화와 실용성을 양립시켰습니다.
그러나 기술적 주의점도 명확합니다. Underdog Bench는 자체 선별된 120개 문항에 기반한 결과이므로 실제 현업의 복잡다단한 비정형 파라미터 환경에서는 오차율이 커질 수 있습니다. 또한 2비트 특유의 양자화 편향으로 인해 예상치 못한 엣지 케이스에서 문법 오류를 일으킬 가능성이 존재합니다. 결국 성공적인 온디바이스 에이전트를 구축하기 위해서는 모델의 마케팅 수치인 '96% 유지'라는 환상에서 벗어나, 도구 호출의 견고함과 수학적 논리의 붕괴 지점을 명확히 인지하고 적재적소에 모델을 배치하는 냉철한 엔지니어링 감각이 요구됩니다.
자주 묻는 질문
Q. Saluki 27B를 구동하기 위한 최소 시스템 사양은 어떻게 되나요?
A. GGUF 파일 크기 자체가 7.89GB이므로, 최소 16GB 이상의 통합 메모리를 갖춘 Mac(애플 실리콘)이나 12GB 이상의 VRAM을 갖춘 외장 GPU 환경이 권장됩니다. 8GB VRAM GPU는 모델 가중치 로드는 가능하나 KV 캐시 메모리 부족으로 긴 문맥 처리 시 급격한 속도 저하가 발생합니다.
Q. 왜 가중치를 7분의 1로 압축했는데 도구 호출 점수가 원본보다 높게 나왔나요?
A. 도구 호출은 심오한 수학적 사고보다는 시스템 프롬프트의 지시와 스키마 템플릿을 엄격하게 지키는 능력이 중요합니다. IQ2-mix 가변 양자화로 문법 관련 어텐션 층을 보존하면서 불필요한 과잉 생성과 환각이 억제되어 지정된 JSON 함수 형식에 더욱 기계적으로 순응하게 되었기 때문입니다.
Q. Saluki 27B를 상업적 제품이나 서비스 개발에 무료로 활용할 수 있나요?
A. 네, Saluki 27B는 Apache 2.0 라이선스로 배포되었습니다. 저작권 표시 조건을 준수한다면 상업적 목적의 소프트웨어 통합, 수정, 사내 로컬 서빙 등에 제약 없이 활용할 수 있습니다.
원본
https://www.threads.com/@ai_entrepreneur_/post/DeYtwLOGJmf



댓글 0개