스프쌤
AI 모델

Saluki 27B 공개: 8GB 미만 메모리 AI 에이전트

✍ 야금야금⏱ 12분 소요2026-11-12👁
← 목록으로 돌아가기

27B급 모델을 8GB 미만 메모리에 돌린다? 개인 PC의 AI 에이전트 시장이 다시 계산된다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: 8GB 미만으로 돌아가는 27B AI 에이전트 모델

✦ KR 핵심 요약: Underdog AI가 Qwen 3.8 27B를 바탕으로 Saluki 27B를 만들었다고 전해진다. 발표 내용은 크기를 약 7분의 1로 줄이면서 벤치마크 성능의 96%를 유지하고, 도구 호출 평가에서 원본 Qwen의 84점보다 높은 88점을 기록했다고 말한다. 다만 출처가 단일 Threads 게시물이고 근거 자료가 비어 있어, 가중치·하드웨어 조건·벤치마크 재현은 공식 문서 확인 전까지 주의해서 읽어야 한다.

🌐 Global Takeaway: Saluki 27B is reported as a compact Apache-2.0 model built on Qwen 3.8 27B, claimed to run below 8GB memory while retaining about 96% benchmark performance. Its higher tool-calling score, if verified, would matter more for agents than raw chat quality. Treat the numbers as a single-source claim until official model cards or reproducible benchmarks appear.

아래 비교는 현재 확인된 주장만 놓고 원본과 Saluki 27B의 차이를 쉽게 보여줍니다.

원본 대비 Saluki 27B
기준 모델
  • Qwen 3.8 27B 기반
  • 크기가 큰 원본
  • 도구 호출 84점
VS
Saluki 27B
  • 8GB 미만 메모리 주장
  • 원본 대비 약 7분의 1
  • 도구 호출 88점 주장
검증되지 않은 세부는 제외하고, 발표 내용에 나온 실행 메모리·크기·점수만 비교합니다.

🚨 1. 8GB 미만을 내건 Saluki 27B의 등장

27B급 대형 언어 모델이 8GB 미만의 메모리로 실행될 수 있다면, 로컬 AI는 서버 카탈로그의 문제가 아니라 개인 기기에서 바로 계산하는 문제로 바뀐다. Underdog AI가 공개했다는 Saluki 27B는 이 전제를 무겁게 가져오는 모델로 소개됐다. Threads 원문에 따르면 이 모델은 Qwen 3.8 27B를 기반으로 만들었고, 개인 기기에서 AI 에이전트를 실행하도록 최적화됐다고 한다.

관심은 두 갈래로 갈린다. 하나는 실제로 얼마나 줄였느냐는 크기 문제이고, 다른 하나는 줄인 뒤에도 에이전트가 필요한 도구 호출을 얼마나 유지하느냐는 품질 문제다. 후자가 더 중요하다. 대화가 매끄러워도 외부 API 호출, 코드 실행, 파일 탐색 같은 작업에서 엉뚱한 도구를 고르면 실사용 에이전트로는 약해지기 때문이다.

1-1. 현재 확인된 주장

항목 발표 내용
모델명 Saluki 27B
제작 주체 Underdog AI
기반 Qwen 3.8 27B
메모리 8GB 미만으로 실행 가능하다고 주장
크기 원본보다 약 7분의 1
성능 벤치마크 성능의 96% 유지라고 주장
도구 호출 원본 Qwen 84점, Saluki 88점
라이선스 Apache 2.0
목표 개인 기기 AI 에이전트 실행 최적화

이 표는 단일 Threads 게시물을 옮긴 것이다. 같은 수치가 공식 모델 카드, Hugging Face 모델 페이지, GitHub 저장소, 실행 로그 등에서 같은 조건으로 재현되는지가 다음 확인 단계다.

1-2. 아직 확인되지 않은 것

8GB 미만이라는 표현은 실측 피크 메모리인지, 양자화 기준인지, 운영체제와 런타임 제외 조건인지에 따라 완전히 다른 이야기가 된다.

확인되지 않은 부분이 적지 않다. 어떤 양자화 포맷을 썼는지, GPU가 필요한지 CPU만으로 도는지, 컨텍스트 길이는 얼마인지, 도구 호출 88점이 어떤 평가셋과 몇 개의 사례에서 나온 숫자인지 공개 자료가 없다. 따라서 이 글에서는 발표 주장을 전제로 읽되, 결론을 내리기보다 재현 가능성을 요구하는 쪽으로 서술한다.

📉 2. 숫자를 다시 읽기: 크기 1/7, 성능 96%

약 7분의 1이라는 표현은 원본 대비 14~15% 수준의 상대 크기라는 뜻으로 읽을 수 있다. 다만 실제 파라미터 수는 그대로 27B라고 부르는지, 병합·가지치기·구조 변경이 들어갔는지, 소비자 GPU에서 말하는 메모리가 VRAM인지 시스템 RAM인지가 핵심이다. 같은 8GB라 해도 VRAM 8GB와 RAM 8GB는 난이도가 다르다.

성능 유지 96%도 평균 하나로 보면 위험하다. 일반 벤치마크 점수가 유지돼도 코드 생성, 긴 문맥 추론, 도구 선택, 다중 턴 교정에서 한쪽으로 치우칠 수 있다. 특히 에이전트는 정답을 맞히는 것보다 실패를 인식하고 다음 행동을 바꾸는지가 중요해서, 도구 호출 점수 하나만으로 충분하지 않다.

발표 수치 한눈에
벤치마크 유지
96%
도구 호출 Saluki
88점
도구 호출 원본
84점
원본 대비 크기
14.3%
성능 유지는 높게, 크기는 크게 줄였다고 발표된 값을 퍼센트로 나란히 놓았습니다.

2-1. 해석할 때 필요한 질문

  • 96% 유지의 분모가 무엇인지: 전체 벤치마크 평균인지, 공개한 일부 항목인지, 원본 대비 절대 점수인지 확인해야 한다.
  • 8GB 미만 실행이 최소 요구인지, 권장 설정인지, 정상 응답 품질이 유지되는 상태인지 구분해야 한다.
  • 도구 호출 88점과 원본 84점이 같은 프롬프트·같은 도구 세트·같은 채점 규칙에서 나왔는지 비교해야 한다.
  • Apache 2.0이라도 가중치 사용이 별도 조건을 요구하는지, 상업적 재배포 시 출처 표기와 수정 사항 공개 방식은 무엇인지 봐야 한다.

🧠 3. 왜 도구 호출 점수가 중요한가

AI 에이전트의 가치는 문장을 잘 쓰는 데서 끝나지 않는다. 사용자가 검색을 시키고, 파일을 읽고, 코드 패치를 만들고, 실패하면 로그를 보고 다시 호출해야 한다. 이 흐름에서는 모델이 수학 문제를 푸는 점수보다 호출할 도구를 고르는 정확도, 인자를 채우는 정확도, 근거 없는 도구를 쓰지 않는 절제력이 작업 성공률을 좌우한다.

원본 Qwen이 84점이고 Saluki가 88점이라고 발표됐다면, 이 부분은 단순히 따라잡은 것이 아니라 원본을 넘었다는 뜻으로 읽힌다. 하지만 점수의 의미는 평가셋이 무엇인가에 달려 있다. 몇십 개의 고정 시나리오에서 나온 값이라면 현장에서 발견되는 경계 사례와 다를 수 있고, 반대로 실제 브라우저·터미널·IDE를 연결한 복잡한 태스크라면 훨씬 신뢰도가 올라간다.

3-1. 에이전트 평가에서 봐야 할 순서

  1. 도구 선택 정확도: 맞는 도구를 골랐는지, 여러 도구가 비슷할 때 혼동하지 않는지.
  2. 인자 완성도: 경로·명령·필터·제약을 빠뜨리지 않는지.
  3. 실패 복구: 권한 거부, 빈 결과, 타임아웃 뒤에 다른 계획으로 바꾸는지.
  4. 근거 고정: 없는 파일이나 존재하지 않는 옵션을 지어내지 않는지.
  5. 비용·시간: 작은 모델이 반복 호출까지 포함해 총 소요 시간과 토큰 사용량에서 이기는지.

Saluki 27B의 진짜 경쟁력은 모델 카드 숫자가 아니라 이 다섯 가지를 개인 기기 예산 안에서 반복할 수 있는지에서 갈릴 것이다.

🏗️ 4. 로컬 AI 스택에 미치는 변화

만약 주장이 그대로 검증된다면 바뀌는 지점은 분명하다. 고사양 GPU를 전제로 하던 오픈 모델 실험이, 가정용 또는 개인용 장비에서도 실험 가능해진다. 특히 기업이 아니라 개발자·소규모 팀·교육용 환경에서 민감한 코드를 외부 API로 보내기 어려운 경우, 로컬 추론의 매력이 커진다.

로컬 실행이 쉬워지면 스택 선택도 달라진다. 이미 Ollama·LM Studio·llama.cpp 같은 로컬 런타임과 RAG·에이전트 프레임워크를 쓰는 사람이라면, 추가로 필요한 것은 새 모델 하나보다 운영 규칙이다. 모델을 다운로드하고, 메모리 한계를 확인하고, 컨텍스트 창을 제한하고, 도구 호출을 검증하는 절차가 정리돼야 한다.

4-1. 개인 기기에서 검증해야 할 순서

  • 장치 분류부터 시작한다. CPU만 가능한지, CUDA·Metal·ROCm 중 무엇이 필요한지, 최소 메모리가 실제로 8GB인지 확인한다.
  • 같은 프롬프트로 원본 Qwen과 Saluki의 응답을 나란히 비교한다. 정답뿐 아니라 이유 설명과 오류 시 멈춤도 본다.
  • 도구 호출은 샌드박스에서만 시험한다. 파일 삭제, 네트워크 요청, 패키지 설치 같은 부작용이 있는 도구는 격리 환경에서 실행한다.
  • 메모리 여유를 보면서 컨텍스트를 늘려간다. 메모리가 맞는 것과 긴 문맥에서 속도가 유지되는 것은 별개 문제다.
  • Apache 2.0 활용 계획을 명시한다. 연구·사내 PoC·상용 서비스·재배포가 서로 다른 요구사항을 만든다.

⚖️ 5. 라이선스와 오픈 모델의 조건

Apache 2.0은 개발자가 확인해야 할 조건으로는 꽤 관대한 편이다. 모델 가중치나 코드가 이 라이선스 아래 공개됐다면, 상업적 사용·수정·재배포의 문이 넓어지고, 특허 허여 조항도 포함된다. 다만 라이선스가 자유롭다고 해서 원본 모델의 저작권 표기, 제3자 컴포넌트 조건, 데이터 사용 제한, 상표 사용 제한까지 사라지는 것은 아니다.

Saluki처럼 기반 모델을 재압축하거나 재학습한 파생 모델이라면, 원본 라이선스와 새 라이선스의 관계를 확인해야 한다. Qwen 계열 모델의 이용 조건과 Underdog AI가 붙인 조건이 충돌하지 않는지, README가 이를 명확히 말하는지가 중요하다. 근거 자료가 없으므로 지금 단계에서는 Apache 2.0이라는 점만 사실로 두고, 세부는 공식 페이지에서 확인하는 편이 안전하다.

5-1. 라이선스를 볼 때의 체크리스트

  • 가중치 파일에 라이선스 텍스트가 함께 있는지.
  • 상업적 서비스에 넣을 때 별도 승인이 필요한지.
  • 파생 모델을 다시 공개할 때 Apache 2.0 조건을 유지해야 하는지.
  • 모델 카드에 데이터 출처, 안전 정책, 제한사항이 적혀 있는지.
  • Qwen 기반이라는 사실이 상표·저작권·이용 조건에 미치는 영향을 확인했는지.

⚠️ 6. 한계와 검증 절차

이 모델에 대한 정보는 지금 Threads 게시물 하나에 집중돼 있다. 보강 조사 자료도 근거가 비어 있음을 명시하고, 모든 수치를 검증할 수 없다고 정리한다. 이 점은 부정적 평가가 아니라 이 글의 출발 조건이다. 숫자를 지우지 않되, 신뢰 단계를 낮춰 읽어야 한다.

검증은 세 단계로 나눌 수 있다. 첫째, 공식 존재 확인이다. 모델 페이지, 저장소, 가중치 다운로드 경로가 실제로 있는지 본다. 둘째, 조건 재현이다. 같은 양자화와 같은 런타임에서 8GB 미만 주장이 성립하는지 측정한다. 셋째, 작업 재현이다. 도구 호출 점수가 실제 에이전트 루프에서 얼마나 유지되는지 확인한다.

6-1. 지금 당장 할 수 있는 일

  • 공식 링크가 나오기 전에는 설치 실험보다 주장 목록을 정리한다.
  • 27B급 경량 모델과 일반적으로 알려진 압축·양자화 기법을 비교해, 약 7분의 1이 구조적 변화인지 배포 포맷 변화인지 가설을 세운다.
  • 개인 기기에서 돌릴 에이전트 작업을 10개 정하고, 그중 도구 호출이 필요한 비율을 먼저 계산한다.
  • 메모리 8GB 미만이라는 문구를 그대로 믿지 말고, 피크 메모리·지속 메모리·스왑 사용 여부를 따로 기록한다.

🧭 7. 결론과 후속 확인

Saluki 27B가 사실이라면 시사점은 크다. 27B급 능력을 개인 기기 메모리 안으로 끌어오는 작업은, 고성능 GPU 보유자만의 실험실을 일반 개발자 데스크톱과 홈랩으로 넓힌다. 도구 호출에서 원본을 넘었다는 점까지 맞다면, 에이전트 실험의 진입 비용은 한 단계 낮아진다.

다만 지금은 발표 소식에 가깝다. 8GB 미만 실행, 크기 약 7분의 1, 성능 96% 유지, 도구 호출 88점은 모두 확인이 필요한 주장으로 다뤄야 한다. 다음에 볼 것은 숫자가 아니라 재현이다. 공식 문서가 나오고, 같은 장치에서 같은 조건으로 다시 재면 그때 비로소 Saluki 27B는 뉴스가 아니라 도구가 된다.

  • 확인 포인트: 공식 모델 페이지와 가중치 공개 여부
  • 확인 포인트: 메모리 측정 방식과 필수 하드웨어
  • 확인 포인트: 도구 호출 평가셋의 규모와 재현 방법
  • 확인 포인트: Apache 2.0 적용 범위와 파생 모델 조건
  • 확인 포인트: 개인 기기 에이전트에서의 실제 작업 성공률

자주 묻는 질문

Q. Saluki 27B는 공식적으로 공개됐나요?
A. Threads 게시물에서는 공개됐다고 전해지지만, 현재 수집된 근거 자료만으로는 공식 모델 페이지나 저장소를 확인할 수 없습니다. 공식 링크가 나오기 전까지는 발표 소식 수준으로 읽는 것이 안전합니다.

Q. 8GB 미만 실행이 정말 가능한가요?
A. 8GB 미만 실행 가능하다는 주장이 있으나, 피크 메모리인지 최소 메모리인지, 양자화 방식과 런타임 조건이 무엇인지 확인되지 않았습니다. 실기기 측정 없이는 확정할 수 없습니다.

Q. 왜 도구 호출 점수가 중요한가요?
A. AI 에이전트는 대화보다 외부 도구 선택과 호출 정확도가 작업 성공률을 좌우합니다. Saluki가 원본보다 높은 도구 호출 점수를 기록했다면, 개인 기기 에이전트의 실용성이 높아질 수 있다는 의미입니다.

Q. Apache 2.0이면 상업적으로 써도 되나요?
A. Apache 2.0은 상업적 사용과 수정, 재배포를 비교적 넓게 허용하지만, 출처 표기와 라이선스 조건 준수가 필요합니다. 기반 모델과 파생 모델의 조건 충돌은 공식 문서에서 확인해야 합니다.

원본

https://www.threads.com/@choi.openai/post/DeRrI5HDXht

함께 보면 좋은 글

댓글 0개