스프쌤
AI 아키텍처

블랙OX 한국어 판단 API 공개, nari-decision-4b 분석

✍ 야금야금⏱ 13분 소요2026-10-20👁
← 목록으로 돌아가기

단순히 환불 요청인지 아닌지 판별하는 작업에 수억 개의 토큰을 생성하며 수백 밀리초를 낭비하고 계시지는 않습니까?

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: 블랙OX nari-decision-4b 구조와 판단 API 활용법

✦ KR 핵심 요약: 블랙OX는 텍스트 생성을 완전히 배제하고 32ms 지연 시간 내에 다중 판단 확률값을 반환하는 판단 특화 System One API다. nari-decision-4b v3.2 모델은 System One 519문항 평가셋에서 한국어 82.1%, 영어 76.9%를 기록해 9B급 모델인 JEV-9B를 추론 속도와 정확도 양면에서 압도했다. 토큰 종량제가 아닌 월 11,000원에 동시 100건을 지원하는 독특한 과금 모델을 갖췄다.

🌐 Global Takeaway: BlackOX introduces nari-decision-4b v3.2, a dedicated System One decision API that bypasses autoregressive text generation to deliver calibrated probabilities in 32ms. Achieving 82.1% Korean accuracy on the 519-item System One benchmark, it outperforms JEV-9B while offering concurrency-based flat-rate pricing.

아래 그림은 생성형 LLM과 판단 특화 모델의 처리 방식 차이 및 단일 요청 다중 추론 파이프라인을 보여줍니다.

생성형 LLM 분류 vs 블랙OX 판단 API
생성형 LLM (Autoregressive)
  • 토큰 순차 생성으로 지연 시간 누적
  • JSON 파싱 실패 및 환각 위험
  • 토큰 단위 종량 과금으로 비용 예측 난항
VS
블랙OX (nari-decision-4b)
  • 32ms 단일 패스 병렬 확률 계산
  • 엄격한 스키마 기반 보정 확률값 반환
  • 동시 요청 수 기반 월 정액 과금
텍스트를 생성하며 분류하는 기존 방식과 단일 연산으로 확률을 도출하는 방식의 차이
단일 패스 다중 질문 처리 흐름
상태 입력고객 대화·문맥 전달
→
단일 인코딩CUDA 그래프 최적화
→
다중 헤드 연산noul·choice·score 병렬 계산
→
확률 보정 출력즉각적인 라우팅 결정
상태 텍스트 1회 인코딩 후 복수의 질문을 동시에 연산하는 파이프라인

1. 텍스트 생성을 배제한 'System One' 추론의 필요성

거대 언어 모델(LLM)이 소프트웨어 엔지니어링의 중심축으로 자리 잡았지만, 실무 환경에서는 텍스트 생성이 오히려 시스템의 치명적인 병목으로 작용하는 경우가 빈번합니다. 고객 상담 인입 건의 환불 여부 분류, 수신된 메시지의 피싱 사기 탐지, AI 에이전트의 도구 호출 전 안전 검사 등은 서술형 문장을 필요로 하지 않습니다. 오직 '예/아니오' 또는 '지정된 카테고리 중 하나'라는 명확한 분류값과 보정된 확률 지표만이 요구될 뿐입니다.

기존의 생성형 LLM을 사용해 이러한 결정을 내리려면 '다음 토큰을 순차적으로 예측(Autoregressive)'하는 과정을 거쳐야 합니다. 모델이 JSON 포맷을 유지하도록 강제하는 기법을 쓰더라도, 토큰이 순차 생성되는 동안 수백 밀리초(ms)에서 수 초의 지연이 누적됩니다. 게다가 응답 형식이 어긋나 파싱 에러가 발생하거나 불필요한 서술어가 섞이면서 실시간 파이프라인 전체가 중단되는 구조적 취약점을 안고 있습니다.

1-1. 빠른 직관 판단과 느린 숙고의 분리

인지심리학에서 말하는 '시스템 1(System One)'은 빠르고 직관적인 판단을 내리는 메커니즘을 뜻합니다. 복잡한 추론이나 서술형 글 작성이 필요 없는 순간에는 굳이 무거운 생성 엔진(System Two)을 구동할 이유가 없습니다. 블랙OX(BlackOX)는 바로 이 지점에 집중하여 글 생성을 완전히 제거하고, 상태(State)와 질문(Questions)을 단 한 번의 순방향 계산(Forward Pass)으로 통과시켜 확률값을 계산하는 'nari-decision-4b v3.2' 기반 추론 엔드포인트를 선보였습니다.

2. nari-decision-4b 아키텍처와 JEV-9B 실측 비교

블랙OX의 핵심 엔진인 nari-decision-4b v3.2는 40억 파라미터(4B) 규모의 특화 모델로 설계되었습니다. 모델 크기를 무리하게 키우는 대신 단일 입력 상태에 대해 병렬적으로 다수의 판별 헤드를 연산할 수 있도록 파이프라인을 최적화했습니다. NVIDIA A100 80GB 단일 GPU 환경에서 배치 크기 1 기준으로 CUDA 그래프를 적용했을 때, 질문 개수가 늘어나도 요청당 지연 시간은 32ms 수준에 불과합니다.

공개된 벤치마크는 AutoTrust AI가 제작한 오픈소스 판단 모델인 JEV-9B(Apache-2.0 라이선스)와의 비교 데이터를 명시하고 있습니다. System One 평가셋 총 519문항을 동일한 하드웨어 환경(NVIDIA A100 80GB PCIe 1장, 배치 1, 5건 평균)에서 평가한 결과는 다음과 같습니다.

모델명 파라미터 규모 한국어 정확도 영어 정확도 지연 시간 (A100 단일) 오픈 라이선스
nari-decision-4b v3.2 4B 82.1% 76.9% 32ms Apache-2.0
JEV-9B 9B 76.0% 67.3% 141ms Apache-2.0
System One 평가셋 정확도 비교 (519문항)
nari-4b 한국어
82.1%
JEV-9B 한국어
76%
nari-4b 영어
76.9%
JEV-9B 영어
67.3%
동일 하드웨어 환경에서 nari-decision-4b와 JEV-9B의 언어별 정확도 측정 수치

2-1. 매개변수 효율성과 지연 시간의 역전

벤치마크 결과에서 주목할 부분은 절반 이하의 매개변수를 가진 nari-decision-4b가 한국어 기준 6.1%p, 영어 기준 9.6%p 더 높은 정확도를 기록했다는 점입니다. 지연 시간 측면에서도 JEV-9B의 141ms 대비 4배 이상 빠른 32ms를 달성했습니다. 이는 범용 언어 모델을 무리하게 판단 태스크에 전용하는 것보다, 판단과 확률 보정(Calibration)에만 손실 함수를 집중시킨 경량 아키텍처가 실무 성능에서 훨씬 유리함을 증명합니다.

"JEV-9B는 AutoTrust AI가 만든 공개 모델(Apache-2.0)로, TypeSafe의 상용 JEV API와는 다른 모델입니다. nari-decision-4b는 다중 질문이 유입되어도 단 한 번의 계산으로 모든 확률을 산출합니다."

3. 블랙OX 판단 API가 지원하는 세 가지 질문 스키마

블랙OX API는 복잡한 프롬프트 엔지니어링 대신, 직관적인 세 가지 JSON 질문 형식을 제공합니다. 사용자는 질문의 키 이름을 명확한 목적어로 지정하고, 필요에 따라 보조 지시문(instructions)을 전달하여 확신도를 추출합니다.

블랙OX 지원 판단 타입 구조
noul (이진 판별)참/거짓 확률(p_true)을 즉시 산출해 가드레일 판정에 사용
choice (단일 선택)상호 배타적 다중 카테고리 중 최적 클래스와 확신도 도출
score (순서 척도)1~5 척도 기반 기댓값 계산으로 긴급도·중요도 수치화
단일 요청 본문 안에서 조합 가능한 3가지 의사결정 추론 계층

3-1. noul (이진 진위 판별)

noul은 참(True)과 거짓(False) 중 하나를 검증하는 질문 타입입니다. 감지하고자 하는 특정 상황을 '예'로 물어보도록 설계되었으며, 모델은 불리언 결과값(answer)과 함께 해당 판별이 참일 보정 확률인 p_true(0.0~1.0)를 반환합니다. 이를 통해 신뢰도가 0.95 이상일 때만 자동 처리하고, 그렇지 않은 중간 구간의 요청은 상담원 검토 큐로 넘기는 문턱값(Threshold) 기반 라우팅이 가능해집니다.

3-2. choice (다중 상호배타 선택) 및 score (순서 척도)

  • choice (선택지 판별): 서로 중복되지 않는 옵션 배열(options)을 전달하면, 각 선택지마다 모델이 계산한 확률 분포 중 최적의 항목과 확신도(confidence)를 반환합니다. 고객센터의 담당 팀 라우팅(예: billing, shipping, account)이나 다중 에이전트 분기에 적합합니다.
  • score (순서 척도): 1부터 5까지의 순서가 있는 척도를 평가합니다. 단순히 가장 높은 확률의 정수를 반환하는 것을 넘어, 가중 평균에 해당하는 기댓값을 함께 제공하므로 긴급도(Urgency) 판별이나 위험도 수치화에 활용됩니다.

4. 실전 REST API 연동과 구현 패턴

블랙OX API는 표준적인 HTTPS POST 요청으로 동작합니다. 엔드포인트 /v1/decide로 상태 문맥과 질문 명세를 담아 호출하면 즉각적인 확률 매핑 결과를 돌려받습니다.

curl https://api.blackmallangcow.com/v1/decide \
  -H "Authorization: Bearer $BLACKOX_API_KEY" \
  -d '{
    "model": "nari-decision-4b",
    "state": "고객: 같은 주문이 두 번 결제됐어요. 한 건 취소해 주세요.",
    "questions": {
      "refund_request": {
        "type": "noul",
        "instructions": "고객이 환불이나 결제 취소를 요청하나요?"
      },
      "support_team": {
        "type": "choice",
        "options": ["billing", "shipping", "account"]
      }
    }
  }'

위 요청에 대한 응답은 추가적인 텍스트 생성 없이 간결한 JSON으로 구성됩니다. 불필요한 토큰 소비가 전혀 발생하지 않습니다.

  • refund_request: {"answer": true, "p_true": 0.987}
  • support_team: {"answer": "billing", "confidence": 0.9368}
  • usage: {"input_tokens": 165}, revision: "v3.2"

입력 토큰 165개만 계산되었을 뿐, 출력 토큰 생성에 따른 부하가 원천적으로 배제되어 네트워크 대역폭과 추론 비용이 극소화됩니다.

5. 산업별 실무 적용 시나리오와 가드레일 설계

단일 패스 판단 API는 단순 고객 지원 자동화 외에도 프로덕션 환경의 다양한 병목을 해결하는 핵심 컴포넌트로 활용될 수 있습니다.

  • 에이전트 가드레일: 자율 에이전트가 외부 데이터베이스 삭제나 금융 거래 등의 위험한 툴을 호출하기 직전, noul 질문으로 해당 액션의 안전성을 32ms 만에 검증하여 차단합니다.
  • RAG 근거성 검증: 검색 증강 생성(RAG) 시스템에서 LLM이 최종 답변을 작성하기 전, 추출된 문서 덩어리(Chunk)가 사용자의 질문에 실제 답변 근거를 포함하고 있는지 확인합니다.
  • 지능형 모델 라우팅: 들어온 요청이 고난도 추론을 요구하는지, 단순 규칙 응답으로 처리가 가능한지 분류하여 거대 상용 모델(GPT-4 등)과 경량 오픈소스 모델로 트래픽을 분기합니다.
  • 대화형 보안 필터링: 사용자 입력에 개인 식별 정보(PII)가 포함되었거나 시스템 프롬프트 유출 시도가 있는지 실시간으로 판별합니다.

6. 토큰 종량제를 탈피한 과금 체계와 데이터 보안

대다수 AI API 서비스가 100만 토큰당 달러를 부과하는 종량제 모델을 채택하고 있는 것과 달리, 블랙OX는 인프라 동시성을 기준으로 한 정액 요금제를 제시했습니다.

  • 1개월 정액 이용권: 부가세 포함 월 11,000원의 비용으로, 유효 기간 동안 요청 횟수나 입력 토큰 수에 따른 추가 과금이 발생하지 않습니다.
  • 동시 요청 제한: 분당 요청 수(RPM)나 초당 요청 수(RPS)에 제한을 두지 않고, 계정당 동시에 병렬 처리할 수 있는 동시 요청 수(Concurrency)를 100건으로 제한합니다.
  • 일괄 처리 지원: 대량의 데이터 분류를 위한 일괄 처리(Batch) 요청은 1회 호출 시 최대 1,000건까지 전송할 수 있습니다.
  • 데이터 프라이버시: 추론 연산은 전량 국내 데이터센터 내부에서 수행되며, 요청으로 전달된 문맥 상태(State)와 질문 본문은 서버에 일체 영구 저장되지 않습니다.

7. 도입 시 유의점과 시스템 아키텍처적 한계

블랙OX의 nari-decision-4b는 고유한 장점이 뚜렷하지만, 모든 태스크에 적합한 만능 도구는 아닙니다. 아키텍처 특성상 다음과 같은 제약 사항을 명확히 인지하고 시스템을 설계해야 합니다.

첫째, 이 모델은 판단 전용 모델이므로 고객에게 보낼 답변 텍스트 자체를 작성할 수 없습니다. 따라서 최종 사용자 응답이 필요한 시스템에서는 판단 API로 의도를 분류하고, 해당 의도에 맞춰 템플릿 엔진을 실행하거나 후속 생성형 LLM을 제한적으로 구동하는 파이프라인 결합이 필수적입니다.

둘째, choice 질문 구성 시 선택지 간의 상호 배타성이 깨지면 확신도 분포가 왜곡될 수 있습니다. 만약 여러 항목에 동시에 해당할 가능성이 있거나 '해당 없음'이 발생할 수 있는 시나리오라면, 하나의 다중 선택 질문 대신 독립된 복수의 noul 질문으로 분리하여 각각의 독립 확률을 추출하는 방식을 취해야 합니다.

자주 묻는 질문

Q. 블랙OX API로 고객 응답 메시지를 생성할 수 있나요?
A. 불가능합니다. nari-decision-4b는 텍스트를 생성하지 않고 상태 문맥에 대한 불리언 및 카테고리 확률값만 계산하는 System One 판단 전용 모델입니다.

Q. 토큰 사용량이 많아지면 추가 요금이 부과되나요?
A. 아닙니다. 1개월 11,000원 이용권은 토큰 및 요청 횟수 차감이 없으며, 계정당 동시 처리 요청 100건 한도 내에서 무제한으로 호출할 수 있습니다.

Q. 입력한 고객 대화 데이터가 모델 학습에 재사용되나요?
A. 재사용되지 않습니다. 국내 데이터센터에서 실시간 추론 후 즉시 폐기되며, 요청 본문 데이터는 서버에 저장되지 않습니다.

원본

https://api.blackmallangcow.com/

https://www.threads.com/@blackmallangcow.c/post/DfR9FC9CfvK

함께 보면 좋은 글

댓글 0개