스프쌤
온디바이스AI

스마트폰에서 구동되는 PrismML Bonsai 2: 삼진 양자화와 로컬 AI의 한계 돌파

✍ 야금야금⏱ 14분 소요2026-11-02👁
← 목록으로 돌아가기

파라미터 270억 개의 언어 모델을 스마트폰 메모리에 통째로 올리면서도 원본 성능의 98.2%를 유지하는 것이 과연 수학적으로 가능할까요?

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: PrismML Bonsai 2 초경량 AI 모델 생태계

✦ KR 핵심 요약: PrismML이 삼진 양자화 기술을 적용해 2B부터 27B까지 아우르는 Bonsai 2 제품군을 선보였습니다. 27B 모델조차 5.9GB로 축소해 스마트폰과 WebGPU 환경에서 오프라인 실행이 가능하며, 벤치마크 성능을 98.2% 유지하면서 모바일 환경의 지능 밀도를 한 단계 끌어올렸습니다.

🌐 Global Takeaway: PrismML introduced the Bonsai 2 model family, achieving extreme intelligence density via ternary weights and group-wise scaling. By compressing a 27B parameter multimodal model into a 5.9GB footprint while retaining 98.2% of benchmark capabilities, it establishes local, zero-latency inference on consumer hardware under Apache 2.0.

아래 그래픽은 Bonsai 2 제품군 모델별 메모리 풋프린트와 극단적 압축 파이프라인 흐름을 보여줍니다.

Bonsai 2 모델 파라미터별 메모리 풋프린트 비교
Bonsai 2 2B
0.43GB
Bonsai 2 4B
0.95GB
Bonsai 2 9B
2GB
Bonsai 2 27B
5.9GB
기가바이트(GB) 단위 모델 용량으로 모바일 실리콘 탑재 가능 여부를 가릅니다
Bonsai 2 극단 양자화 추론 파이프라인
기반 모델 학습Qwen 계열 고밀도 파운데이션 모델 확보
→
삼진 양자화{-1, 0, +1} 표현 및 FP16 그룹 스케일링
→
런타임 매핑온디바이스 NPU 및 WebGPU 맞춤 커널 로드
→
로컬 단독 추론외부 통신 없는 제로 레이턴시 오프라인 출력
고정밀 가중치를 3진 신호로 변환해 메모리 대역폭 한계를 돌파하는 단계

📱 1. 온디바이스 AI의 용량 장벽과 PrismML Bonsai 2의 등장

모바일 기기 내부에서 고성능 대형 언어 모델(LLM)을 독자적으로 구동하려는 시도는 언제나 물리적인 하드웨어 장벽에 가로막혀 왔습니다. 16비트 부동소수점(FP16) 표준 규격으로 인코딩된 270억 개(27B) 매개변수 모델은 가중치를 메모리에 적재하는 데만 54GB 이상의 RAM을 소모합니다. 16GB를 상회하는 고성능 플래그십 스마트폰조차 시스템 운영체제와 백그라운드 프로세스가 사용하는 메모리를 제하면 6GB에서 8GB 안팎의 여유 공간만을 애플리케이션에 할당할 수 있습니다. 그 결과 복잡한 다단계 추론(Multi-step Reasoning)과 시각-언어 멀티모달 처리는 오직 막대한 전력을 소모하는 원격 데이터센터 서버에 의존해야 했습니다.

2026년 하반기 인공지능 연구 기업 PrismML은 캘리포니아 공과대학교(Caltech)의 지능 밀도(Intelligence Density) 연구 성과를 집약한 소형 AI 모델 제품군 Bonsai 2를 공개했습니다. Bonsai 2는 오픈소스 파운데이션 모델인 Qwen3.5 및 Qwen3.8 아키텍처를 기반으로 설계되었으며, 극단적인 비트 축소 양자화를 통해 모델 용량을 원본 대비 최대 9분의 1 수준으로 압축했습니다. 가장 큰 27B 모델은 5.9GB, 가장 작은 2B 모델은 단 0.43GB의 물리적 저장 공간만을 차지합니다.

이러한 구조적 축소는 단순한 텍스트 완성을 넘어 시각 정보 분석(Vision), 다단계 함수 호출(Function Calling), 도구 활용 기반 에이전트(Agentic Capabilities) 구동을 네트워크 연결이 완전히 끊긴 오프라인 모바일 단말기에서 구현할 수 있음을 입증합니다. 모델 전체는 수정과 상업적 배포가 자유로운 Apache 2.0 라이선스로 허깅페이스(Hugging Face)에 등록되어 로컬 AI 소프트웨어 개발 환경의 지형을 뒤흔들고 있습니다.

1-1. 클라우드 종속을 끊어내는 초경량 모델 스펙트럼

중앙집중식 인공지능 API를 사용하는 서비스는 필연적으로 세 가지 제약에 직면합니다. 첫째는 요청마다 누적되는 토큰 단위의 클라우드 API 호출 비용이며, 둘째는 무선 통신 지연 시간(Latency)으로 인한 사용자 반응성 저하, 셋째는 민감한 개인 데이터나 기업 보안 문서가 외부 서버로 전송되는 프라이버시 침해 문제입니다. Bonsai 2는 연산과 가중치 보관 전체를 기기 로컬 샌드박스로 끌어들임으로써 이 세 가지 병목을 동시에 해결하는 지향점을 갖습니다.

사용자 기기 내부에서 동작하는 온디바이스 AI는 비행기 모드나 지하 터널처럼 인터넷 접속이 불가능한 격리 환경에서도 실시간 번역, 코드 검토, 문서 요약, 이미지 분석을 무제한으로 수행합니다. 데이터가 단말 밖으로 1바이트도 유출되지 않으므로 의료 기록, 금융 거래 내역, 개인 메시지 분석과 같은 민감한 작업에 필수적인 보안성을 하드웨어 수준에서 담보합니다.

모델 크기 및 양자화 방식 포지셔닝
양자화 정밀도 (저비트 삼진 → 고비트 16비트)
클라우드 전용 초대형 LLM
  • FP16/BF16 정밀도
  • 수십 GB 이상 메모리
  • 데이터센터 전용
Bonsai 2 27B 추론 모델
  • 삼진(1.76비트) 압축
  • 5.9GB 풋프린트
  • 하이엔드 기기 구동
Bonsai 2 2B/4B/9B 경량군
  • 극단적 초경량화
  • 0.43GB~2.0GB 점유
  • 모바일 완벽 호환
기존 레거시 온디바이스
  • INT4/INT8 경량화
  • 용량 대비 성능 저하
  • 단순 텍스트 처리
모델 매개변수 규모 (소형 → 대형)
지능 밀도와 메모리 적재성 사이의 실질적 위치 구분

⚙️ 2. 삼진 가중치와 극단적 비트 압축의 메커니즘

기존 경량화 기법에서 널리 활용되던 4비트 정밀도(INT4) 양자화는 모델 크기를 4분의 1로 줄이는 데 머물렀으며, 비트 수를 2비트 이하로 무리하게 내릴 경우 가중치의 부동소수점 정밀도 손실로 인해 환각(Hallucination)이 급증하고 언어 이해 능력이 붕괴하는 치명적인 결함이 발생했습니다. PrismML은 이 한계를 극복하기 위해 삼진 가중치(Ternary Weights) 시스템을 도입했습니다.

Bonsai 2 내부 가중치 매트릭스의 각 요소는 연속적인 실수 값이 아닌 {-1, 0, +1}의 세 가지 이산적인 상태 중 하나로 매핑됩니다. 수학적으로 삼진 신호는 정보 엔트로피 관점에서 $\log_2 3 \approx 1.58$비트에 불과한 정보량을 요구합니다. 여기에 고정밀 FP16 그룹 스케일링(Group-wise Scaling) 계수를 결합함으로써, 모델 전체의 언어 모델 계층에 걸쳐 실질적인 유효 비트(Effective Bits Per Weight)를 파라미터당 1.76비트 수준으로 고정하는 데 성공했습니다.

2-1. 1.76비트 유효 표현과 FP16 그룹 스케일링의 조화

삼진 양자화가 성능 저하를 방지하는 핵심 원리는 가중치 텐서를 미세한 블록 단위로 묶어 별도의 크기 조정 스케일러(Scale Factor)를 할당하는 구조에 있습니다. 전체 가중치 행렬의 부호와 활성화 여부는 1.58비트 삼진 연산자로 처리하여 연산 복잡도를 낮추고, 텐서 블록마다 부여된 FP16 스케일링 팩터가 레이어 간의 동적 표현 범위(Dynamic Range)를 정밀하게 복원합니다.

"Ternary Bonsai 2 27B uses ternary {−1, 0, +1} weights with FP16 group-wise scaling, for 1.76 effective bits per weight and a total model footprint of 5.9GB... Against its full-precision counterpart, Ternary Bonsai 2 27B is more than 9x smaller while retaining 98.2% of aggregate benchmark performance." — PrismML 공식 기술 블로그 아키텍처 개요

행렬 곱셈(GEMM) 연산 과정에서 전통적인 부동소수점 곱셈-누적(MAC) 하드웨어 로직 대신, 덧셈과 뺄셈, 그리고 0에 대한 메모리 무시(Sparsity) 연산만으로 대부분의 행렬 연산을 치환할 수 있습니다. 이는 실리콘 칩 내부의 곱셈 연산 유닛 부하를 획기적으로 낮추어 연산 속도를 끌어올리고 발열을 억제합니다.

📊 3. 모델 라인업별 물리적 메모리 점유 및 연산 성능 비교

PrismML이 구축한 Bonsai 2 패밀리는 초소형 임베디드 장치부터 플래그십 스마트폰, 데스크톱 PC까지 하드웨어 사양에 맞춰 선택할 수 있도록 다변화된 라인업을 제공합니다. 소형군인 2B, 4B, 9B 모델은 Qwen3.5 기반으로 파인튜닝되었으며, 최상위 모델인 Ternary Bonsai 2 27B는 최신 Qwen3.8 27B를 기반으로 압축되었습니다.

모델 명칭 기반 베이스 아키텍처 물리 디스크/메모리 용량 유효 가중치 정밀도 지원 컨텍스트 윈도우 주요 타깃 디바이스
Bonsai 2 2B Qwen3.5 2B 0.43 GB Ternary (1-2 bit) 32K 토큰 웨어러블, 보급형 스마트폰
Bonsai 2 4B Qwen3.5 4B 0.95 GB Ternary (1-2 bit) 64K 토큰 표준 규격 태블릿, 차량용 IVI
Bonsai 2 9B Qwen3.5 9B 2.00 GB Ternary (1-2 bit) 128K 토큰 플래그십 모바일, 경량 노트북
Bonsai 2 27B Qwen3.8 27B 5.90 GB 1.76 bits (FP16 Scale) 262K 토큰 고급 스마트폰, 온디바이스 PC

각 모델은 단순한 텍스트 생성기에 머무르지 않고, 시각적 입력 데이터를 분석할 수 있는 멀티모달 능력을 내장하고 있습니다. 특히 최상위 모델인 Bonsai 2 27B의 경우, 26만 2천 개(262K) 토큰에 달하는 방대한 문맥 창을 제공하여 책 수 권 분량의 기술 서적이나 장문의 소스 코드 저장소를 한 번에 로컬 메모리에 적재하고 질의응답을 진행할 수 있습니다.

Bonsai 2 시리즈 기술 달성 수치
98.2%
벤치마크 보존율
1.76 bit
유효 가중치 비트
262K
컨텍스트 윈도우
120 tps
2B 모바일 토큰 생성
PrismML 공식 벤치마크 및 배포 프로파일에서 확인된 핵심 지표

🔋 4. 실사용 하드웨어 전력과 추론 처리 속도

온디바이스 인공지능이 실제 스마트폰 사용자 경험으로 안착하기 위해 가장 중요한 척도는 초당 토큰 생성 수(Tokens Per Second, TPS)와 단위 토큰당 소비 전력(mWh/token)입니다. 모델 용량이 작아도 추론 속도가 인간의 읽기 속도(초당 5~8단어)에 미치지 못하거나 단말기가 급격히 뜨거워진다면 실용성을 상실하기 때문입니다.

PrismML 공식 벤치마크에 따르면, 애플 A-시리즈 실리콘을 탑재한 iPhone 18 Pro Max 디바이스 환경에서 9B 모델은 초당 최대 34토큰, 2B 초소형 모델은 초당 120토큰의 생성 속도를 기록했습니다. 27B 대형 모델 또한 약 6GB 미만의 메모리 영역을 점유하면서 안정적인 대화형 추론 속도를 모바일 AP 상에서 방어해 냅니다.

# Hugging Face 허브에서 Bonsai 2 온디바이스 체크포인트 다운로드 예시
git lfs install
git clone https://huggingface.co/PrismML/Bonsai-2-9B

4-1. 모바일 브라우저와 WebGPU 환경의 온디바이스 실행

Bonsai 2의 독보적인 강점 중 하나는 별도의 네이티브 앱 설치 없이도 크롬(Chrome)이나 사파리(Safari) 같은 웹 브라우저 내부에서 WebGPU 가속 엔진을 통해 즉각 실행된다는 점입니다. Wasm(WebAssembly)과 WebGPU 셰이더 커널을 결합하여, 사용자가 웹사이트 링크를 방문하는 것만으로 브라우저 메모리에 삼진 가중치를 적재하고 클라이언트 GPU를 이용해 연산을 완결합니다.

이러한 웹 기반 구동 능력은 개발사 입장에서 사용자마다 제각각인 하드웨어 드라이버를 별도로 배포할 필요성을 제거합니다. 단 몇 줄의 웹 프론트엔드 자바스크립트 호출만으로 사용자의 스마트폰 로컬 리소스를 활용한 고성능 AI 기능을 비용 0원으로 서비스할 수 있는 구조적 토대가 마련되었습니다.

⚠️ 5. 삼진 압축 모델 도입 시 고려해야 할 현실적 한계

Bonsai 2가 획기적인 압축률을 달성했음에도 불구하고, 실제 프로덕션 환경에 투입하기 전 신중히 검토해야 할 구조적 제약 사항들이 존재합니다. 삼진화 처리는 고도의 최적화 기법이지만 비트 폭의 축소에 따른 미세한 손실을 완전히 배제할 수는 없습니다.

  • 미세 논리 연산의 편차: 원본 대비 98.2%의 벤치마크 성능을 보존했으나, 복잡한 고급 수학 증명이나 다단계 심층 코딩 디버깅 등 극한의 정밀도가 요구되는 작업에서는 FP16 원본 모델 대비 경미한 논리적 비약이 발생할 수 있습니다.
  • 하드웨어 커널 파편화: 삼진 {-1, 0, +1} 연산은 범용 하드웨어 상에서 비트 패킹(Bit Packing) 해제 작업을 거쳐야 하므로, 해당 연산에 최적화된 전용 NPU 커널이 지원되지 않는 구형 칩셋에서는 기대만큼의 속도 향상이 나타나지 않을 수 있습니다.
  • 발열 및 연속 추론 스로틀링: 모바일 환경에서 수천 토큰 이상의 장문 텍스트를 연속으로 생성하거나 고해상도 이미지를 반복 분석할 경우, 스마트폰의 패시브 쿨링 한계로 인해 AP 스로틀링(Throttling)이 발생하여 일시적으로 초당 토큰 수가 하락할 수 있습니다.

따라서 서비스 설계자는 모든 작업을 Bonsai 2 단일 모델로 해결하려 하기보다는, 일상적인 대화, 빠른 입력 지원, 로컬 데이터 요약, UI 자동화는 단말기 내부의 Bonsai 2가 처리하고, 초고난도 분석 작업만 간헐적으로 클라우드 대규모 프론티어 모델로 라우팅하는 하이브리드 아키텍처를 구성하는 것이 현명합니다.

🌐 6. 온디바이스 지능 밀도 혁신이 바꿀 로컬 AI 생태계

PrismML Bonsai 2 제품군의 등장은 거대 언어 모델 경쟁의 축이 단순한 '파라미터 크기 경쟁'에서 칩셋 단위 공간당 성능을 극대화하는 지능 밀도(Intelligence Density)의 영역으로 전환되었음을 알리는 상징적 이정표입니다. 대형 데이터센터의 전력 공급망이 한계에 부딪히고 있는 글로벌 환경에서, 최종 단말 하드웨어의 유휴 자원을 활용하는 로컬 AI는 지속 가능한 대안으로 자리 잡고 있습니다.

Apache 2.0 오픈소스 라이선스 정책은 전 세계 인디 개발자와 스타트업이 라이선스 비용 걱정 없이 상용 소프트웨어, 사물인터넷(IoT) 센서 허브, 로봇 제어 장치에 온디바이스 AI를 내장할 수 있도록 개방성을 보장합니다. 주머니 속 스마트폰이 외부와의 통신 단절 속에서도 인간 수준의 언어와 시각 지능을 능숙하게 발휘하는 시대가 Bonsai 2와 함께 본격적인 궤도에 올랐습니다.

자주 묻는 질문

Q. Bonsai 2 모델은 완전히 오프라인 상태에서도 동작하나요?
A. 네, 모델 가중치 전체가 사용자의 기기 로컬 메모리에 적재되어 구동되므로 와이파이나 모바일 셀룰러 통신이 완전히 차단된 비행기 모드에서도 모든 추론 기능을 정상적으로 이용할 수 있습니다.

Q. 삼진 양자화(Ternary Quantization)란 무엇인가요?
A. 가중치 값을 `{-1, 0, +1}`의 3가지 상태로만 축소 표현하는 기법입니다. 여기에 블록 단위 FP16 스케일링을 더해 파라미터당 실질 1.76비트 수준으로 용량을 압축하면서도 원본 벤치마크 성능의 98% 이상을 보존합니다.

Q. 개인 개발자나 기업이 상업용 서비스에 무료로 활용할 수 있나요?
A. Bonsai 2 제품군은 상업적 이용과 코드 수정 및 재배포가 자유로운 Apache 2.0 라이선스로 공개되어 있어 누구나 제약 없이 상용 프로젝트에 통합할 수 있습니다.

원본

https://prismml.com/

https://prismml.com/news/bonsai-2-27b

https://www.threads.com/@choi.openai/post/Dejzjp9Ehmn

함께 보면 좋은 글

댓글 0개