스프쌤
음성 AI

9MB 단일 ONNX로 동작하는 경량 영어 TTS Paradee 분석

✍ 야금야금⏱ 18분 소요2026-11-05👁
← 목록으로 돌아가기

8200만 개 파라미터와 325MB 용량의 고품질 음성 합성 모델을 단 800만 개 파라미터와 9MB 단일 파일로 줄이면서도 음질 손실을 0.1점 안팎으로 방어할 수 있을까요?

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: Kokoro-82M 증류 모델 Paradee의 기술 분석 및 활용

✦ KR 핵심 요약: Paradee는 오픈소스 TTS인 Kokoro-82M을 8.07M 파라미터로 증류하여 9MB 단일 INT8 ONNX 파일로 구현한 고효율 음성 합성 모델입니다. 파라미터는 10배, 연산량은 15배 줄이면서도 UTMOS 4.41의 높은 음질을 유지하여 단일 CPU 스레드에서 18배 실시간 가속을 지원합니다.

🌐 Global Takeaway: Paradee distills the 82M Kokoro text-to-speech architecture into an 8.07M parameter model, packaged as a single 9MB INT8 ONNX binary. By training split sub-networks against a frozen teacher, it slashes compute by 15x while preserving high auditory fidelity at 4.41 UTMOS.

아래 차트는 원본 Kokoro-82M 모델 대비 Paradee가 달성한 파라미터 축소 및 연산량 절감 비율과 모델 계층 분할 증류 아키텍처를 보여줍니다.

원본 Kokoro-82M 대비 축소 비율
파라미터 감소율
90.2%
연산량 절감율
93.3%
파라미터 수와 연산 요구량을 10배 이상 줄였습니다.
Paradee 2단계 분할 증류 구조
상위 텍스트 인코더 계층음소 시퀀스를 스타일 특징 벡터로 정렬 및 변환
하위 음향 디코더 계층축소된 채널 너비로 단일 음성 오디오 파형 직접 합성
동결된 교사 모델의 두 영역을 독립적으로 학습합니다.

1. 325MB에서 9MB로: Paradee가 연 온디바이스 음성 합성의 지평

모바일 기기나 브라우저, 임베디드 엣지 환경에서 딥러닝 기반 텍스트 음성 합성(Text-to-Speech, TTS)을 구동하는 일은 오랫동안 시스템 자원의 한계와 싸우는 과정이었습니다. 수억 개 이상의 파라미터를 가진 대규모 확산(Diffusion) 모델이나 자기회귀(Autoregressive) 아키텍처는 고품질의 자연스러운 오디오를 만들어내지만, 무거운 VRAM 요구량과 높은 연산 복잡도 탓에 클라우드 API 호출 형태를 벗어나기 어려웠습니다. 이에 대한 오픈소스 진영의 해답으로 등장했던 Kokoro-82M은 8,200만 개라는 비교적 컴팩트한 파라미터만으로 상용 서비스에 준하는 발화 퀄리티를 선보이며 큰 주목을 받았습니다. 그러나 Kokoro-82M 역시 원본 가중치 크기가 약 325MB에 달하고 다중 보이스를 내장하고 있어, 킬로바이트 단위의 초기 로딩 성능이 중요한 웹 브라우저 탭이나 극도로 제한된 마이크로컨트롤러 환경에서는 여전히 상당한 진입 장벽으로 작용했습니다.

이러한 메모리 및 연산 대역폭의 병목을 돌파하기 위해 공개된 프로젝트가 바로 Paradee입니다. 개발자 Sahil Mahendrakar가 공개한 Paradee는 오픈소스 모델 Kokoro-82M을 교사(Teacher) 모델로 삼아 지식 증류(Knowledge Distillation)를 정밀하게 수행함으로써 파라미터 수를 8.07M(약 800만 개) 수준으로 약 10분의 1 토막 냈습니다. 여기에 INT8 양자화 기법을 적용해 단일 ONNX 파일 기준으로 전체 파일 크기를 9MB 안팎으로 줄이는 데 성공했습니다. 325MB의 가중치를 9MB로 압축한 것은 단순한 압축 알고리즘의 승리가 아니라, 모델 아키텍처 내부의 불필요한 차원 중복을 제거하고 단일 목적에 특화된 경량 인공신경망 토폴로지를 재설계한 결과입니다.

TTS 모델 경량화 및 음질 포지셔닝
합성 품질 (UTMOS 점수)
클라우드 거대 모델
  • 초고음질 다국어 지원
  • 수백 MB~수 GB 대용량
Paradee 최적 지점
  • 9MB 단일 ONNX 파일
  • UTMOS 4.41 고품질
전통적 룰 기반 TTS
  • 극단적 저용량
  • 기계음 및 부자연스러움
과도기적 중간 모델
  • 수십 MB 크기
  • 품질 저하 및 느린 속도
모델 경량성 (작은 크기)
Paradee는 극한의 경량성과 상용급 음질의 접점에 위치합니다.

Paradee는 특히 CPU 단일 스레드(Single-thread) 환경에서도 실시간 대비 약 18배(Real-Time Factor 18x)의 초고속 추론 속도를 발휘합니다. 이는 라즈베리 파이나 저사양 가상 사설 서버(VPS), 심지어 클라이언트 브라우저의 WebAssembly 환경에서도 외부 백엔드 서버의 도움 없이 순수 온디바이스 음성 피드백을 지연 시간(Latency) 없이 매끄럽게 처리할 수 있음을 의미합니다. Apache-2.0 라이선스로 공개되어 상업적 프로젝트 및 온프레미스 시스템에 자유롭게 통합할 수 있다는 점 역시 생태계 전반에 커다란 파급력을 낳고 있습니다.

2. Kokoro-82M과 Paradee 아키텍처의 근본적 차이

Paradee가 10배 작은 크기로 유사한 발화 능력을 복제할 수 있었던 비결은 구조적 단순화와 분할 학습 전략에 있습니다. 기존 Kokoro-82M은 다수의 화자 임베딩(총 54개 보이스)을 지원하고 다양한 운율 스타일을 소화하기 위해 텍스트 인코더와 스타일 예측기, 디코더 네트워크 전반에 걸쳐 넓은 은닉 계층(Hidden dimensions)과 다중 헤드 어텐션 채널을 넓게 유지했습니다. 반면 Paradee는 광범위한 일반화 능력을 욕심내는 대신 엣지 장치에서 가장 널리 쓰이는 단일 보이스를 완벽하게 재현하는 목표를 설정했습니다.

2-1. 폭 줄이기와 분할 증류(Narrow Layers & Split Distillation)

Paradee 논문(arXiv: 2610.06817)과 공개 기술 문서에 명시된 아키텍처 설계의 핵심은 레이어 깊이를 무리하게 줄이는 대신 각 계층의 '폭(Width)', 즉 은닉 채널의 차원을 대폭 축소(Narrower layers)한 점입니다. 신경망의 깊이를 자르면 장기 문맥 의존성과 음소 간의 자연스러운 연결이 깨지기 쉽지만, 폭을 줄이고 적절한 지식 증류 손실(Distillation loss)을 부여하면 표현 공간의 잉여 용량만을 덜어낼 수 있습니다.

학습 과정에서는 모델 전체를 한 번에 교사 모델에 맞추는 엔드투엔드 증류 방식을 쓰지 않고, 네트워크를 두 개의 하위 블록(Two halves)으로 물리적으로 분할하여 동결된 Kokoro-82M 교사 모델에 대해 각각 독립적으로 훈련하는 분할 증류(Split Distillation) 방식을 채택했습니다. 텍스트 음소 표현을 정렬하는 전반부 인코더 파트와 이를 실제 음향 특징으로 디코딩하는 후반부 파트가 각각 교사 모델의 중간 표현 벡터(Intermediate representations)를 정밀하게 모사하도록 유도하여 학습 안정성을 끌어올렸으며, 결과적으로 15배 적은 연산량(15x less compute)만으로도 최적 수렴점에 도달할 수 있었습니다.

2-2. 54개 음성에서 단일 음성(af_heart)으로의 특화

Kokoro-82M은 미국 여성 음성(af_bella, af_sarah, af_nicole 등)과 남성 음성, 영국식 억양을 아우르는 54개 음성 스타일 벡터를 탑재하고 있습니다. 이러한 다화자 구조는 스타일 뱅크와 보정 텐서를 모델 파이프라인 내부에 상시 적재해야 하므로 메모리 오버헤드가 불가피합니다. Paradee는 이 중 가장 음질 선호도가 높고 범용성이 검증된 af_heart 단일 음성 스타일만을 모델 가중치 내부에 고정했습니다.

다양한 화자를 넘나드는 유연성을 포기한 대가로, 모델은 단 하나의 고정된 잠재 공간 경로만을 학습하면 되므로 8.07M이라는 극소형 파라미터 안에서도 발화의 떨림이나 기계적인 노이즈를 최소화할 수 있었습니다. 임베디드 오디오 안내기나 대화형 에이전트 인터페이스에서는 여러 화자보다 안정적인 단일 시그니처 보이스가 훨씬 더 중요한 요구 조건이 되기 때문에, 이는 실용적인 엔지니어링 타협점으로 평가받습니다.

3. 성능 지표 비교: 모델 크기, 연산량, 음질(UTMOS)

딥러닝 오디오 모델의 성능을 논할 때 가장 중요한 지표는 객관적인 음질 평가 척도인 UTMOS(Mean Opinion Score prediction) 점수와 시스템 리소스 점유율입니다. 주관적 청취 테스트를 정량화한 UTMOS 척도에서 원본 Kokoro-82M은 4.52라는 뛰어난 수치를 기록하며 오픈소스 진영 최상위권의 품질을 입증한 바 있습니다. Paradee는 200개의 표준 평가 문장 벤치마크 테스트에서 4.41의 UTMOS를 기록했습니다.

비교 항목 원본 Kokoro-82M Paradee (경량화 모델) 절감 및 차이
총 파라미터 수 약 8,200만 개 (82M) 약 807만 개 (8.07M) 약 90.2% 감소
모델 가중치 용량 (기본) 약 325MB 약 32MB (FP32 기준) 약 90.2% 축소
INT8 ONNX 단일 파일 용량 약 85MB (NeuML int8) 약 9MB (Paradee INT8) 약 89.4% 축소
훈련 연산 소요량 기준치 (1.0x) 15배 적은 연산량 (15x less) 연산량 93.3% 절감
CPU 단일 스레드 속도 실시간 대비 수 배 수준 실시간 대비 약 18배 (18x RTF) 압도적 처리 속도
200문장 UTMOS 음질 4.52 4.41 불과 0.11점 차이 방어
지원 화자 음성 수 54개 (다국적/남녀) 1개 (af_heart 단일 음성) 단일 화자 집중
오픈소스 라이선스 Apache-2.0 Apache-2.0 상용화 가능 라이선스

"Paradee는 교사 모델 대비 파라미터를 10분의 1로, 연산량을 15분의 1로 줄이면서도 4.41점의 UTMOS를 유지하여, 리소스가 극도로 제한된 엣지 환경에서 실시간 고품질 발화를 실현했다."

위 표에서 보듯, 파라미터가 90% 이상 사라졌음에도 불구하고 음질 하락 폭은 0.11점에 불과합니다. 인간의 귀로 블라인드 청취를 진행했을 때 배경 잔여 잡음이나 음소 전환부의 미세한 왜곡을 극도로 집중해 듣지 않는 이상 실사용 서비스 환경에서 둘 사이의 품질 차이를 인지하기란 쉽지 않습니다.

4. ONNX 런타임과 INT8 양자화가 만든 단일 스레드 18배 가속

딥러닝 추론의 병목은 대개 산술 연산(FLOPs) 자체보다 가중치를 메모리(DRAM)에서 캐시 메모리(L1/L2/L3)로 끌어올리는 메모리 대역폭(Memory Bandwidth)에서 발생합니다. 특히 복잡한 GPU가 없는 저사양 CPU 환경에서는 가중치 크기가 곧바로 지연 시간의 증가로 이어집니다.

4-1. 메모리 대역폭 한계 극복과 CPU 캐시 최적화

9MB라는 단일 가중치 크기는 현대 데스크톱 및 스마트폰 모바일 AP의 L3 캐시(보통 8MB~32MB) 내부에 모델 전체가 통째로 상주할 수 있는 마법 같은 임계선입니다. 가중치가 메인 시스템 메모리를 오가지 않고 L3 캐시 메모리 안에서 회전하기 시작하면, 메모리 버스 지연(Stall)이 원천적으로 사라지며 CPU의 SIMD(AVX2, AVX-512, ARM NEON) 벡터 연산 장치가 쉬지 않고 가동됩니다.

Paradee가 제공하는 INT8 양자화 가중치는 가중치 텐서의 정밀도를 8비트 정수로 사상하여 부동소수점(FP32) 연산 대비 메모리 접근 트래픽을 4분의 1로 압축합니다. 이러한 캐시 로컬리티(Cache Locality)의 극대화 덕분에 x86 및 ARM 기반 CPU의 단 1개 코어(Single Core)만을 100% 점유하지 않고도 실시간 오디오 생성 속도 대비 18배 빠른 출력을 달성하게 됩니다. 즉 10초 분량의 음성 안내 멘트를 생성하는 데 단 0.55초 안팎의 CPU 연산 시간만 소모되는 셈입니다.

Paradee 엔드투엔드 경량 추론 흐름
음소 토큰화IPATokenizer 또는 misaki.js
→
INT8 ONNX 런타임CPU 단일 스레드 SIMD 가속
→
오디오 파형 출력af_heart 24kHz 음성 생성
외부 무거운 음성 프레임워크 없이 단일 파이프라인으로 음성을 추출합니다.

5. 실제 환경 배포와 파이프라인 연동 실습

Paradee는 표준 ONNX 형식을 사용하므로 파이썬 환경의 PyTorch 의존성을 완전히 걷어내고 순수 경량 런타임만으로 구동할 수 있습니다. 텍스트를 입력받아 음소(Phoneme) 시퀀스로 전환하는 토크나이저와 ONNX Runtime만 있으면 몇 줄의 코드만으로 시스템 구축이 완료됩니다.

5-1. Kokoro 생태계와 Paradee 배포 스택 구성

Kokoro 기반 모델들의 토큰화 파이프라인은 외부 C 라이브러리(예: espeak-ng)에 의존하지 않는 순수 경량 라이브러리(IPATokenizer 또는 misaki.js)를 채택하는 추세입니다. 아래는 Kokoro 생태계에서 표준적으로 사용되는 ONNX Runtime 및 토크나이저 기반의 음성 합성 실행 구조입니다.

import json
import numpy as np
import onnxruntime
import soundfile as sf
from ttstokenizer import IPATokenizer

# ONNX 추론 세션 생성 (CPU 단일 환경)
session_options = onnxruntime.SessionOptions()
session_options.intra_op_num_threads = 1
session = onnxruntime.InferenceSession(
    "paradee-af-heart-int8.onnx",
    sess_options=session_options,
    providers=["CPUExecutionProvider"]
)

# 텍스트를 음소 토큰으로 변환
tokenizer = IPATokenizer()
text_input = "Edge AI voice generation is now extremely fast and lightweight."
tokens = tokenizer(text_input)

# 모델 입력 텐서 준비
input_tokens = np.array([[0, *tokens, 0]], dtype=np.int64)
speed = np.ones(1, dtype=np.float32) * 1.0

# 음성 파형 추론 실행
outputs = session.run(None, {
    "tokens": input_tokens,
    "speed": speed
})

audio_waveform = outputs[0]
sf.write("output_paradee.wav", audio_waveform, 24000)

브라우저 환경에서는 JavaScript 라이브러리인 kokoro-js 또는 misaki.js와 웹 표준 WebAssembly 런타임(onnxruntime-web)을 결합하여 자바스크립트 엔진 내부에서 직접 구동할 수 있습니다.

npm install kokoro-js onnxruntime-web

웹 워커(Web Worker) 내부에서 9MB 파일만 한 번 프리페치(Prefetch)해 두면, 서버와의 통신 레이턴시가 전혀 없는 실시간 오디오 챗봇 인터페이스나 시각 장애인을 위한 즉각형 웹 리더기를 네트워크 오프라인 상태에서도 완벽하게 작동시킬 수 있습니다.

6. 엣지 TTS 도입 시 마주치는 기술적 트레이드오프와 한계

Paradee의 압도적인 장점에도 불구하고, 실무 프로젝트에 이를 도입하기 전 반드시 고려해야 할 명확한 기술적 제약 사항들이 존재합니다.

  1. 단일 화자 및 언어 제한: Paradee는 영어(English) 및 af_heart라는 단일 여성 음성만을 전담하도록 극단적인 증류를 수행했습니다. 남성 음성이나 다른 억양, 혹은 한국어나 일본어 같은 다국어 텍스트 음성 합성이 필요한 환경에서는 원본 다국어 파이프라인이나 추가적인 파인튜닝 모델을 찾아야 합니다.
  2. 특수 기호 및 이음의 발음 안정성: 8M 파라미터 수준의 컴팩트 모델은 복잡한 학술 용어, 숫자 표기법, 약어(Acronym)가 섞인 문장에서 문맥 기반 발음 추론 능력이 대형 언어 모델 기반 TTS에 비해 떨어질 수 있습니다. 따라서 전처리 단계에서 텍스트 정규화(Text Normalization) 파이프라인을 견고하게 구축해 두어야 발음 오류를 방지할 수 있습니다.
  3. 오디오 감정 제어의 경직성: 대형 모델이 제공하는 슬픔, 기쁨, 속삭임 등의 정교한 감정 조절 슬라이더나 프롬프트 기반 음색 제어가 불가능하며, 언제나 일관되고 명료한 안내원 톤의 음성을 고정 출력합니다.

이러한 트레이드오프는 Paradee가 결코 모든 시나리오를 대체하는 만능 해결사가 아니라는 점을 보여줍니다. 대신 키오스크 음성 안내, 스마트 디바이스 로컬 피드백, 전자책 텍스트 낭독기 등 발화의 안정성과 속도가 최우선인 응용 분야에 완벽하게 최적화된 목적 지향형 도구로 정의할 수 있습니다.

7. 엣지 AI 오디오의 미래와 시사점

Paradee의 등장은 인공지능 엔지니어링의 패러다임이 무조건적인 매개변수 확장(Scaling-up)에서 목적 적합형 극한 압축(Specialized Distillation)으로 이동하고 있음을 보여주는 상징적인 이정표입니다. 단 한 대의 일반 소비자용 노트북에서도 증류 학습 코드를 돌려 나만의 맞춤형 8M TTS 모델을 만들어낼 수 있는 환경이 조성되었습니다.

무거운 백엔드 서버 인프라를 유지하느라 막대한 클라우드 청구서를 감당해야 했던 서비스 개발자들에게 Paradee는 단일 ONNX 파일 9MB라는 믿기 힘든 효율로 독립의 길을 열어주었습니다. 디바이스 내부에서 완결되는 프라이버시 보호형 음성 AI, 인터넷 연결이 차단된 산업 현장의 현장 단말기, 그리고 초저지연을 요구하는 차세대 음성 에이전트 인터페이스의 중심에 이러한 초경량 증류 아키텍처가 자리 잡게 될 것입니다.

자주 묻는 질문

Q. Paradee는 한국어 음성 합성도 지원하나요?
A. 지원하지 않습니다. Paradee는 Kokoro-82M의 영어 af_heart 음성 하나만을 목표로 극한의 증류를 수행한 영어 전용 TTS 모델입니다. 다국어 처리가 필요하다면 다국어 토크나이저와 별도의 보이스를 내장한 상위 모델을 사용해야 합니다.

Q. INT8 양자화 모델인데 일반 CPU에서 얼마나 빠르게 동작하나요?
A. 공식 문서 기준 x86/ARM 단일 CPU 스레드 환경에서 실시간 대비 약 18배 속도(18x RTF)로 작동합니다. 10초 분량의 발화 음성을 약 0.55초 만에 생성할 수 있어 지연 시간 없이 로컬 환경에 적용할 수 있습니다.

Q. 상업적 서비스나 임베디드 장치에 라이선스 비용 없이 사용할 수 있나요?
A. 가능합니다. Paradee는 Apache-2.0 오픈소스 라이선스를 따르고 있으므로 라이선스 고지 의무를 준수한다면 상업용 앱, 사내 시스템, 엣지 하드웨어 디바이스에 무료로 자유롭게 탑재할 수 있습니다.

원본

https://github.com/sahilmahendrakar/paradee

https://arxiv.org/html/2610.06817v1

https://github.com/hexgrad/kokoro

함께 보면 좋은 글

댓글 0개