스프쌤
온디바이스

텍스트 생성을 버린 0.85B 비전 판단 모델 d3-lite Core ML 분석

✍ 야금야금⏱ 20분 소요2026-11-04👁
← 목록으로 돌아가기

매번 수백 개의 토큰을 오토리그레시브하게 뿜어내며 초당 수 와트의 전력을 태우던 분류 작업, 46ms 단 한 번의 순전파로 끝낼 수는 없을까요?

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: d3-lite Core ML 모델의 동작 원리와 온디바이스 멀티모달 라우팅 분석

✦ KR 핵심 요약: vLLM Semantic Router 팀의 Decision 3.0 계열인 d3-lite는 텍스트를 생성하지 않고 단일 순전파로 255개 클래스의 확률을 반환하는 판단 전용 모델입니다. FluidInference가 Apple Silicon용 Core ML로 이식하여 0.85B 크기로 M4 Mac에서 243ms 내에 사진 분류를 수행합니다. 모바일 게임 힌트나 UI 자동화에 유용하지만 한국어 복합 상황 추론은 76%에 머물러 휴리스틱 검증 레이어가 필수적입니다.

🌐 Global Takeaway: d3-lite is a 0.85B multimodal decision model from the vLLM Semantic Router Decision 3.0 family, converted to Core ML for on-device Apple silicon inference. By eliminating autoregressive text generation and extracting a 255-way FP32 probability readout in a single forward pass, it achieves sub-250ms latency for vision tasks on M4 Macs. While highly efficient for local routing and UI gating, developers must account for lower non-English reasoning accuracy through rule-based safety fallbacks.

아래 그림은 전통적인 생성형 라우터 방식과 d3-lite가 채택한 단일 순전파 확률 출력 방식의 구조적 차이, 그리고 내부 계층 구조를 보여줍니다.

기존 생성형 라우팅 vs d3-lite 단일 순전파
기존 생성형 LLM 라우터
  • 자귀회귀적(Autoregressive) 토큰 생성
  • JSON 출력 유도 및 파싱 실패 위험
  • 높은 지연 시간(수백~수천 ms)
  • 상태 관리와 KV 캐시 누적 오버헤드
VS
d3-lite (Core ML)
  • 단 1회 순전파(One Forward Pass)
  • 255-way FP32 리드아웃 확률 벡터
  • 초저지연 온디바이스 실행(46~243ms)
  • 생성 텍스트 없는 무상태 결정 인터페이스
텍스트 토큰을 생성해 파싱하는 대신 마지막 프롬프트 토큰에서 확률 벡터를 직접 추출합니다.
d3-lite Core ML 아키텍처 스택
입력 버킷 레이어토큰 길이(E256/E640/E1536) 및 패치(P320/P1536/P3072) 사전 고정
비전 타워 (FP32)이미지 및 비디오 프레임 쌍을 처리하여 비전 임베딩 추출
양방향 트랜스포머 백본Qwen 3.5 기반 가중치(FP16 연산, INT8 가중치 양자화)
255-way 리드아웃 헤드마지막 프롬프트 토큰 위치에서 255개 선택지 확률을 FP32로 즉시 산출
입력 버킷 분할부터 비전 타워, 트랜스포머 백본, 최종 결정 헤드로 이어지는 계층입니다.

1. 텍스트 생성을 버린 0.85B 모델의 등장

대규모 언어 모델(LLM)이 소프트웨어 아키텍처의 중심에 자리 잡으면서, 모든 입력을 거대한 생성 파이프라인으로 처리하려는 시도가 이어졌습니다. 단순한 조건 분기, 화면 상태 분류, 게임 내 사용자 행동 라우팅조차 7B에서 70B 규모의 거대 모델에 자연어 프롬프트를 넘겨 토큰 단위로 문장을 생성하게 만든 것입니다. 하지만 토큰을 순차적으로 생성(Autoregressive Generation)하는 방식은 본질적으로 메모리 대역폭을 극단적으로 소모하며 예측 불가능한 지연 시간(Latency)과 환각(Hallucination) 문제를 유발합니다.

이러한 문제를 해결하기 위해 TypeSafe AI의 Jev 계열과 vLLM Semantic Router 프로젝트가 제안한 패러다임이 바로 '판단 전용(Decision-only) 모델'입니다. 이 모델들은 문장이나 긴 텍스트 답변을 만들어내지 않습니다. 대신 사전에 정의된 N개의 선택지 집합을 프롬프트와 함께 주입받고, 모델의 마지막 숨은 상태(Hidden State)에서 각 선택지에 대응하는 확률 점수만을 단 한 번의 연산으로 도출합니다.

2026년 10월 공개된 d3-lite는 이러한 판단 아키텍처를 멀티모달 영역으로 확장한 Decision 3.0 계열의 기초 모델입니다. FluidInference는 오픈소스 가중치(vllm-sr/d3-lite, Apache-2.0)를 바탕으로 Apple Silicon 신경망 엔진(ANE) 및 통합 메모리 환경에 맞춘 Core ML 변환본(FluidInference/d3-lite-coreml)을 배포했습니다. 0.85B라는 극도로 가벼운 체급으로 텍스트는 물론 정지 이미지와 4초 분량의 동영상 프레임까지 온디바이스에서 판별할 수 있게 되었습니다.

1-1. 생성형 LLM의 오버헤드와 '판단 전용' 모델의 전환

전통적인 LLM을 시스템 라우터나 게이트키퍼로 쓸 때 개발자가 직면하는 가장 큰 고통은 JSON 출력 강제와 구조적 오류 파싱입니다. 프롬프트에 {"choice": "A"} 형태로만 응답하라고 지시하더라도, 미세한 확률 분포의 흔들림으로 인해 사설이 붙거나 파싱 에러가 발생합니다. 이를 교정하기 위해 문법 제약(Constrained Decoding) 기법을 쓰더라도 오토리그레시브 디코딩 단계마다 키-값 캐시(KV Cache)를 유지하고 소프트맥스를 반복 실행해야 하므로 기본 수백 밀리초의 지연이 불가피합니다.

반면 d3-lite는 '디코더'로서의 텍스트 생성 기능을 아예 차단했습니다. 질문과 상태, 그리고 선택지 목록을 하나의 프롬프트 컨텍스트로 묶어 입력하면, 백본 트랜스포머는 이를 단일 시퀀스로 인코딩합니다. 이후 마지막 토큰에 위치한 전용 리드아웃 헤드가 255개의 고정 슬롯에 대해 정규화된 부동소수점(FP32) 확률 벡터를 단 한 번의 순전파(Single Forward Pass)로 쏟아냅니다. 소프트웨어는 더 이상 텍스트를 정규식으로 파싱할 필요 없이 0번부터 254번 슬롯에 맵핑된 확률값 중 가장 큰 인덱스를 배열에서 조회하기만 하면 됩니다.

2. Decision 3.0과 d3-lite의 내부 아키텍처

Decision 3.0 시리즈는 vLLM Semantic Router 팀이 에이전트 라우팅, 보안 검증, 멀티모달 상태 판별을 위해 개발한 모델군입니다. 라인업은 0.85B 크기의 d3-lite부터 2.21B의 d3-nano, 4.54B의 d3-mini, 8.39B의 d3-flash, 26.09B에 달하는 d3까지 총 5단계로 세분화되어 있습니다. 이 중 Core ML로 이식된 d3-lite는 Qwen 3.5 기반 0.8B 가중치를 베이스로 미세조정(Fine-tuning)된 초경량 백본을 취하고 있습니다.

핵심 아키텍처는 양방향 완전 어텐션(Bidirectional Full Attention) 메커니즘을 지원한다는 점입니다. 일반적인 인과적(Causal) 언어 모델이 이전 토큰만을 참조하여 다음 토큰을 점진적으로 맞히는 방식이라면, d3-lite는 입력된 모든 프롬프트 토큰과 시각적 임베딩 패치가 서로를 온전하게 참조하도록 인코딩합니다. 이를 통해 문맥 전체와 선택지의 인과 관계를 동시에 파악하며, 이 과정에서 Jev 계열 특유의 255-way 판별 헤드가 최종 결정을 내립니다.

2-1. 단일 순전파와 255-way FP32 리드아웃 메커니즘

d3-lite의 핵심 동작 원리는 ArthurZ와 vllm-sr 팀이 정립한 255-way answer-code readout 설계에 있습니다. 일반적인 VLM(Vision-Language Model)이 수만 개의 어휘 사전(Vocabulary Logits) 전체에 대해 소프트맥스를 취하고 다음 단어를 고르는 것과 완전히 다릅니다. 이 모델의 최종 출력 레이어는 단 255차원의 FP32 벡터에 집중되어 있습니다.

d3-lite는 업스트림 런타임과 완벽히 동일한 계약(Contract)을 유지합니다. 질문 1건당 단 1회의 순전파만 수행하며, 마지막 프롬프트 토큰 위치에서 255-way FP32 리드아웃 벡터를 추출해 모든 후보 선택지의 확률을 확정합니다. 어떤 텍스트도 생성되지 않습니다.

이 구조에서는 1번 선택지가 참일 확률, 2번 선택지가 참일 확률이 255개 차원 내부의 사전에 약속된 인덱스로 직결됩니다. 따라서 JSON 직렬화나 문자열 추출 과정이 원천적으로 배제되며, 파이썬이나 Swift 네이티브 런타임에서는 단순히 부동소수점 배열의 최댓값을 취하는 argmax 연산 하나로 0.001ms 만에 최종 경로를 확정할 수 있습니다.

2-2. Core ML 변환 구조와 버킷화(Bucketing) 전략

FluidInference가 공개한 Core ML 패키지는 Apple Silicon의 Neural Engine(ANE)과 GPU 구조를 효율적으로 공략하기 위해 정적 입력 버킷화(Static Input Bucketing) 기법을 철저하게 적용했습니다. 동적 셰이프(Dynamic Shape)를 ANE에서 처리할 경우 컴파일 최적화가 깨지거나 GPU 메모리 할당 병목이 생기는 문제를 피하기 위해, 텍스트 그래프와 비전 타워를 각각 3개의 표준 버킷으로 분리하여 패키징했습니다.

패키지 파일 명칭 담당 파이프라인 정밀도 및 양자화 규격 입력 규격 및 역할
d3_E256.mlpackage 텍스트 백본 FP16 연산 / INT8 가중치 짧은 쿼리용 (최대 256 임베딩 토큰)
d3_E640.mlpackage 텍스트 백본 FP16 연산 / INT8 가중치 중간 길이 문맥용 (최대 640 토큰)
d3_E1536.mlpackage 텍스트 백본 FP16 연산 / INT8 가중치 긴 문맥 및 비전 결합용 (최대 1,536 토큰)
vision_P320.mlpackage 비전 타워 FP32 연산 / FP32 가중치 소형 이미지/패치 버킷 (320 패치)
vision_P1536.mlpackage 비전 타워 FP32 연산 / FP32 가중치 표준 스크린샷 버킷 (1,536 패치)
vision_P3072.mlpackage 비전 타워 FP32 연산 / FP32 가중치 고해상도/멀티 프레임 버킷 (3,072 패치)

호스트 런타임은 입력 데이터의 실제 크기를 측정한 뒤 가장 적합한 크기의 버킷 mlpackage를 선택해 인메모리에 바인딩합니다. 외부 파일인 embeddings.f16, pos_embed.f32, readout.f32 테이블은 Core ML 그래프 외부에서 호스트가 직접 관리하며, 토큰화된 텍스트와 이미지 인코더에서 생성된 패치 임베딩을 정교하게 결합(Splice)하여 트랜스포머에 밀어 넣습니다. 비디오 입력의 경우 연속된 프레임을 한 번에 무작정 넣지 않고 프레임 쌍(Frame Pair) 단위로 블록 마스크를 적용해 비전 타워를 통과시키는 구조를 택했습니다.

3. 실측 성능과 벤치마크: M4 및 M5 Pro 레이턴시 분석

온디바이스 판단 모델의 도입 가치는 지연 시간과 자원 소비량에서 결정됩니다. 아무리 똑똑한 모델이라도 스크린샷 1장을 읽는 데 2초가 걸린다면 실시간 게임 도우미나 자동화 라우터로 쓸 수 없습니다. FluidInference 및 개발자 커뮤니티(neureps.ai)의 실측치에 따르면, d3-lite는 Apple Silicon 환경에서 인상적인 반응 속도를 보여줍니다.

태스크 및 하드웨어별 추론 레이턴시 비교
M5 Pro 텍스트 1문항
46ms
M4 Mac 텍스트 중앙값
161ms
M4 Mac 사진 1장
243ms
M5 Pro 비디오 4초 (2fps)
320ms
M5 Pro 및 M4 환경에서 측정된 텍스트, 사진, 비디오 결정 지연 시간입니다.

M4 칩셋이 탑재된 Mac 환경에서 반복 실행 중앙값을 측정했을 때, 텍스트 전용 질문에 대한 의사결정은 약 161ms가 소요되었습니다. 단일 스크린샷 사진을 포함한 판단 작업은 평균 243ms의 반응 속도를 기록했습니다. 이 과정에서 관측된 최대 상주 메모리(RSS, Resident Set Size)는 약 2.1GiB였으며, 전체 아티팩트 중 사진 추론 파이프라인에 필요한 필수 컴포넌트(vision_P1536, d3_E1536, 임베딩 테이블 등)만 추려낼 경우 디스크 용량은 약 1.43GB 수준으로 압축됩니다.

하드웨어 사양이 더 높은 M5 Pro(24GB 통합 메모리, CPU_AND_GPU 가속) 환경에서는 성능 향상이 더욱 두드러집니다. 텍스트 단일 질문 처리는 건당 약 46ms로 떨어지며, 2fps로 캡처된 4초 분량의 거리 주행 비디오 클립을 판별하는 복합 작업도 0.32초(320ms) 만에 완료되었습니다. 이는 클라우드 기반 API를 호출할 때 발생하는 왕복 네트워크 지연(RTT 100~300ms)과 비교할 때, 로컬 디바이스 연산만으로 대등하거나 더 빠른 응답성을 제공함을 의미합니다.

또한 업스트림 원본 PyTorch 런타임(bfloat16, MPS 백엔드)과 비교한 결정 일치도 검증에서도 극히 높은 신뢰도를 유지했습니다. Core ML 양자화 모델이 원본과 다른 결과를 도출하는 '판단 뒤집힘(Flip)' 현상은 100건의 텍스트 요청 중 단 2건에 불과했고, 영수증 검증 사진 24건 중 1건, 4초 비디오 클립 28건 테스트에서는 0건을 기록하여 수치 변환에 따른 손실을 1% 안팎으로 방어해 냈습니다.

4. 온디바이스 파이프라인 구현과 Python 연동

d3-lite를 프로젝트에 배포하기 위해서는 Hugging Face 저장소에서 Core ML 모델 아티팩트와 런타임 코드를 내려받아야 합니다. 업스트림 런타임인 d3_runtime.py가 가중치 없이 템플릿 프롬프트를 구성하고, 이를 Python 호스트(coremltools 기반)나 Swift 기반의 D3VisionManager가 읽어 들여 파이프라인을 구동합니다.

d3-lite 온디바이스 판단 파이프라인 흐름
입력 패키징텍스트·이미지 토큰 결합
→
버킷 라우팅고정 입력 형태 mlpackage 매핑
→
1회 순전파양방향 어텐션 및 비전 인코딩
→
리드아웃 추출255차원 선택지별 확률 계산
→
안전 검증임계치 확인 및 예외 시 규칙 폴백
클라이언트 요청부터 Core ML 모델 추론, 신뢰도 검증 및 분기까지의 순서입니다.

판단 파이프라인은 입력 데이터가 들어오는 즉시 버킷 크기를 계산하고, 이미지 패치와 텍스트 시퀀스를 슬라이스하여 신경망에 주입하는 5단계 흐름으로 완성됩니다. 클라우드 연결이 전혀 필요 없는 오프라인 환경에서도 완벽히 독립적으로 구동됩니다.

4-1. Python host 환경에서의 시스템 원 추론 코드

다음은 Python 호스트 환경에서 D3CoreMLText 클래스를 활용해 상태(State)와 다중 선택 질문을 던지고 즉각적인 라우팅 확률을 추출하는 실제 실행 가능한 코드입니다. upstream 스냅샷 디렉터리와 Core ML 변환 리포지토리 경로를 인자로 넘겨 인스턴스를 초기화합니다.

from d3_coreml_text import D3CoreMLText

# 업스트림 d3 런타임 스냅샷 및 Core ML 모델 디렉터리 경로 지정
m = D3CoreMLText(
    "./vllm-sr-d3-lite-snapshot",
    "./FluidInference-d3-lite-coreml"
)

# 사용자 입력 상태 및 분기 선택지 정의
state_context = "사용자가 결제 화면에서 할인 쿠폰 적용 버튼을 반복해서 3회 연속 클릭함."

routing_questions = {
    "route": {
        "type": "choice",
        "criteria": {
            "retry_payment": "네트워크 일시 오류로 재시도 유도",
            "open_coupon_modal": "쿠폰 목록 재선택 팝업 호출",
            "connect_support": "결제 모듈 장애로 고객센터 챗봇 연결",
            "ignore_action": "단순 UI 중복 입력으로 무시"
        }
    }
}

# 단일 순전파 판단 실행 (system_one 추론)
result = m.system_one(state=state_context, questions=routing_questions)

# 반환된 선택지별 부동소수점 확률 확인
print("결정 확률 분포:", result["route"]["probabilities"])
print("최종 라우팅 선택:", result["route"]["best_choice"])

위 코드에서 system_one 메서드는 인지과학에서 말하는 '빠르고 직관적인 판단(System 1)'을 의미합니다. 복잡한 추론 체인(Chain of Thought)이나 긴 문장 생성 단계 없이, 사전에 전달된 기준표(criteria)에 따라 가장 가능성이 높은 키값을 즉시 반환합니다. Swift 환경에서는 FluidUse 라이브러리 내 D3VisionManager 클래스가 이 구조를 동일하게 담당하여 iOS 및 macOS 네이티브 앱에 손쉽게 통합할 수 있습니다.

5. 한국어 이해도 격차와 비전 추론 한계

d3-lite가 보여주는 초경량 온디바이스 성능 뒤에는 반드시 짚고 넘어가야 할 치명적인 한계점이 존재합니다. 바로 언어별 이해도 격차와 복잡한 동적 비전 추론에서의 오류율입니다.

neureps.ai의 실측 평가에 따르면, 표준화된 사진 30장에 각 2개씩 질문을 배치한 4지 선다(총 60문항) 벤치마크에서는 영어와 한국어 모두 56문항을 정답 처리하며 93.3%라는 높은 분류 정확도를 나타냈습니다. 정적인 객체 인식, 문서 형태 분류, 영수증 유무 판별과 같은 단일 시각 정보 처리에서는 언어 장벽이 거의 드러나지 않았습니다.

그러나 동적인 상호작용이 요구되는 '게임 판단 100가지 상황(Game Decision Benchmark)' 테스트에서는 심각한 성능 저하가 확인되었습니다.

  • 영어 상황 프롬프트: 100개 상황 중 89개를 정확히 판별 (정확도 89%)
  • 한국어 번역 상황 프롬프트: 100개 상황 중 76개만 올바르게 판별 (정확도 76%)

주된 오류는 '주체와 객체의 이동 관계'에서 집중적으로 발생했습니다. 예를 들어 "플레이어가 상자를 밀어 스위치 위에 올려놓았다"와 "상자가 밀려나 플레이어가 스위치에서 벗어났다"처럼, 한국어 조사의 차이와 주술 관계의 도치, 또는 복잡한 상태 변화 서술이 포함될 때 0.85B의 소형 백본이 문맥을 잘못 해석하여 엉뚱한 선택지에 높은 확률을 부여하는 현상이 나타났습니다.

또한 플랫폼 확장성 측면에서도 제약이 큽니다. 현재 공개된 변환본은 Apple Silicon의 Core ML 런타임에 종속되어 있어 macOS 및 iOS 기기에서만 즉시 활용 가능합니다. Android 생태계에서 구동하기 위해서는 ONNX 런타임 변환이나 TFLite/Qualcomm QNN(Qualcomm Neural Processing SDK) 규격으로 별도 양자화 및 컴파일 과정을 거쳐야 하며, 이 과정에서 255-way 리드아웃 헤드의 정밀도 손실이 추가로 발생할 수 있습니다.

6. 결론: 엣지 디바이스 라우터의 미래와 도입 기준

d3-lite Core ML은 거대 모델 중심의 AI 발전 흐름 속에서 '작고 목적이 명확한 온디바이스 모델'이 나아가야 할 방향을 명확히 제시합니다. 문장을 생성하는 디코딩 루프를 과감히 제거하고 255웨이 단일 순전파 구조를 채택함으로써, M4 Mac에서 160~240ms, M5 Pro에서 40~300ms라는 실용적인 지연 시간과 1.43GB의 현실적인 디스크 풋프린트를 달성했습니다.

그러나 이 모델을 프로덕션에 도입하려는 엔지니어는 다음 세 가지 원칙을 시스템에 반드시 마련해야 합니다.

  1. 규칙 기반 안전망(Rule-based Safety Net) 구축: 모델의 best_choice 확률이 사전 설정된 임계치(예: 0.70) 이하로 떨어질 경우, 즉시 정적 휴리스틱 엔진이나 클라우드 거대 모델로 폴백(Fallback)하도록 설계해야 합니다.
  2. 한국어 프롬프트 단순화: 주어, 목적어, 서술어를 단문 형태로 분리하고, 조사의 생략이나 모호한 대명사 사용을 배제하여 Qwen 기반 소형 토크나이저의 혼선을 방지해야 합니다.
  3. 사용자 승인 인터페이스(Human-in-the-loop) 유지: 게임 내 치명적인 자원 소모, 결제 확인, 데이터 삭제와 같은 비가역적 액션은 모델의 단독 결정으로 자동 승인하지 말고, 힌트 제시나 사용자 확인 팝업을 거치도록 강제해야 합니다.

라이선스가 Apache-2.0으로 개방되어 있는 만큼, 모바일 앱의 오프라인 UI 분기, 지능형 스크린샷 정리 도구, 게임 클라이언트 내 1차 힌트 엔진을 구축하려는 개발자들에게 d3-lite는 매우 가볍고 날카로운 무기가 될 것입니다.

자주 묻는 질문

Q. d3-lite는 일반적인 LLM처럼 자연어로 된 답변을 생성할 수 없나요?
A. 생성할 수 없습니다. d3-lite는 텍스트 디코딩 루프가 완전히 제거된 판단 전용 모델로, 모델에 사전에 제공한 여러 선택지 중에서 어떤 것이 가장 타당한지를 255-way 확률 벡터로만 출력합니다.

Q. Apple 기기 외에 Android나 윈도우 환경에서도 바로 실행할 수 있나요?
A. 현재 공개된 패키지는 Apple Silicon 전용 Core ML 형식입니다. Android나 Windows 환경에서 구동하려면 upstream의 PyTorch 원본 가중치(vllm-sr/d3-lite)를 가져와 ONNX 또는 TensorRT, TFLite 형식으로 직접 변환해야 합니다.

Q. 한국어 환경에서 실 서비스에 적용할 때 가장 주의할 점은 무엇인가요?
A. 게임 판단 등 동적 상황 벤치마크에서 한국어 정확도가 76% 수준으로 영어(89%) 대비 낮게 측정되었습니다. 주어와 목적어 관계가 복잡한 문장은 단문화하여 전달하고, 모델의 예측 확률이 낮을 때는 규칙 기반 폴백을 적용해야 합니다.

Q. 사진과 동영상 입력 시 필요한 최소 디스크 및 메모리 사양은 어느 정도인가요?
A. 사진 추론 구성만 선별할 경우 약 1.43GB의 디스크 공간이 필요하며, M4 Mac 실행 시 최대 약 2.1GiB의 상주 메모리(RSS)를 점유합니다.

원본

https://huggingface.co/FluidInference/d3-lite-coreml

https://huggingface.co/vllm-sr/d3-lite

https://www.marktechpost.com/2026/10/11/what-is-decision-3-0-vllm-semantic-routers-new-open-decision-models/

함께 보면 좋은 글

댓글 0개