구글 EmbeddingGemma 2 기반 초고속 온디바이스 음성 인식의 원리와 성능
1시간짜리 녹음 파일을 텍스트로 바꾸는 데 단 12.6초, 그것도 클라우드 서버가 아니라 8GB 메모리의 기본형 M3 맥북 에어 기기 안에서만 끝난다면 어떨까요?
이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.
✦ KR 주제: EmbeddingGemma 2의 STT 전환 아키텍처 분석
✦ KR 핵심 요약: Google DeepMind가 공개한 멀티모달 임베딩 모델 EmbeddingGemma 2의 단일 공유 벡터 공간을 활용하여, 고가의 자기회귀 디코더 없이도 경량 사상 레이어만으로 초고속 온디바이스 음성 인식이 가능함을 입증한 사례입니다. 기본형 M3 맥북 에어에서 실시간 대비 288배(1시간 음성을 12.6초)의 압도적 속도를 달성했습니다.
🌐 Global Takeaway: By leveraging the shared multimodal vector space of Google's EmbeddingGemma 2, developer Shahir transformed a retrieval embedding model into a blazing-fast on-device speech-to-text engine. Achieving 288x real-time transcription on a base M3 MacBook Air, this approach demonstrates how lightweight projection readers can bypass heavy autoregressive decoding.
아래 그림은 공유 벡터 공간을 통해 음성을 즉각 텍스트로 변환하는 아키텍처와 기존 음성 인식 방식의 차이를 보여줍니다.
- 토큰 단위 순차적 자기회귀 디코딩
- 높은 지연 시간과 막대한 GPU 연산 필요
- 단어 오류율 2~3% 수준의 정밀한 인식
- 공유 벡터 공간 내 단일 최근접 이웃 탐색
- 실시간 대비 288배의 극단적 속도
- 단어 오류율 5% 수준 및 초저지연 온디바이스
1. 검색 모델을 음성 인식기로 뒤집은 패러다임 시프트
대규모 언어 모델(LLM)과 음성 인식(STT) 기술의 발전은 줄곧 디코더의 파라미터 크기를 키우고, 더 정교한 자기회귀(Autoregressive) 생성 방식을 채택하는 방향으로 전개되어 왔습니다. OpenAI의 Whisper나 다양한 Conformer 계열 음성 모델들은 오디오 스펙트로그램을 인코딩한 뒤 텍스트 토큰을 순차적으로 하나씩 추론해 문장을 완성합니다. 이 방식은 뛰어난 문맥 파악 능력과 낮은 오류율을 보장하지만, 토큰 생성 단계마다 반복되는 메모리 대역폭 점유와 연산 지연으로 인해 로컬 엣지 디바이스에서는 실시간 스트리밍 이상의 극단적인 속도를 내기 어렵다는 태생적 한계를 안고 있었습니다.
2026년 10월 14일, 독립 개발자 Shahir가 공개한 프로젝트 'Embedding Gemma Transcribe'는 이러한 전통적인 음성 인식 파이프라인의 고정관념을 정면으로 깨뜨렸습니다. 음성 인식을 위해 설계된 전용 모델이 아니라, 구글 딥마인드(Google DeepMind)가 정보 검색과 멀티모달 임베딩을 위해 공개한 경량 모델 'EmbeddingGemma 2'를 그대로 가져와 고속 음성-텍스트 변환 엔진으로 탈바꿈시킨 것입니다.
가장 놀라운 지점은 하드웨어 요구 사항과 처리 성능의 대비입니다. 엔비디아의 고성능 데이터센터 GPU 클러스터가 아닌, 8GB 통합 메모리를 탑재한 보급형 애플 실리콘(M3 MacBook Air) 기기에서 1시간 분량의 오디오를 단 12.6초 만에 텍스트로 풀어냈습니다. 이는 실시간 음성 재생 속도 대비 무려 288배에 달하는 속도입니다.
1-1. 온디바이스 288배속의 실측 수치와 의미
공개된 실측 벤치마크에 따르면, 이번 구현체는 동일한 기본형 M3 맥북 에어 환경에서 애플의 머신러닝 프레임워크인 MLX와 GPU를 활용해 구동한 'IBM Granite Speech 5.0 TurboCTC'의 속도(실시간 대비 약 150배, 1시간당 25.7초 소요)를 거의 두 배 격차로 따돌렸습니다.
이러한 결과는 온디바이스 AI의 병목이 더 이상 프로세서의 순수 연산량(FLOPs)에만 머물지 않는다는 사실을 증명합니다. 신경망 모델의 아키텍처 설계와 하드웨어 가속기(Apple Neural Engine)의 특성을 정밀하게 일치시켰을 때, 소형화된 로컬 환경에서도 클라우드 API 호출 이상의 처리량을 확보할 수 있음을 보여줍니다.
2. EmbeddingGemma 2: 멀티모달 공유 벡터 공간의 본질
이 프로젝트의 출발점이 된 기저 모델은 구글 딥마인드가 2026년 10월 6일 오픈 웨이트(Apache 2.0 라이선스)로 공개한 'EmbeddingGemma 2'입니다. 이 모델은 서브 1B(Sub-1B) 크기인 전체 740M 파라미터(텍스트 전용 구성 시 270M)로 이루어진 초경량 멀티모달 임베딩 모델로, 최신 Gemma 4 아키텍처를 기반으로 구축되었습니다.
과거의 멀티모달 시스템은 텍스트를 인코딩하는 모델과 이미지를 처리하는 비전 모델, 음성을 처리하는 오디오 모델이 제각기 분리되어 있거나, 오디오를 STT 모델로 받아적은 뒤 그 텍스트를 다시 벡터화하는 복잡한 단계를 거쳤습니다. 그러나 EmbeddingGemma 2는 텍스트, 코드, 이미지, 비디오, 오디오 입력을 하나의 공통된 768차원 임베딩 공간(Unified Embedding Space)에 직접 사상합니다.
"공유 임베딩 공간에서는 개념적으로 동일한 실체가 서로 다른 양식(Modality)으로 주어지더라도 벡터 공간의 매우 가까운 좌표에 위치하게 된다. 사람이 소리 내어 말한 단어의 오디오 벡터는 그 단어가 글로 쓰인 텍스트 벡터의 바로 옆에 착륙한다."
개발진은 바로 이 물리적 특성에 주목했습니다. 음성과 텍스트가 이미 동일한 차원의 좌표계에서 이웃으로 묶여 있다면, 복잡한 언어 모델 디코더를 거쳐 문장을 새로 생성할 필요 없이, 음성 벡터가 가리키고 있는 텍스트 좌표의 최근접 단어를 직접 '읽어내기(Read-out)'만 해도 전사가 완성될 수 있다는 직관이었습니다.
2-1. 임베딩 모델 기본 제원과 특성
EmbeddingGemma 2는 엣지 디바이스와 스마트폰 환경에서의 온디바이스 검색(RAG)을 정조준해 설계되었기 때문에 가벼운 풋프린트와 뛰어난 유연성을 갖추고 있습니다.
- 기반 아키텍처: Gemma 4 기반 멀티모달 인코더
- 전체 파라미터: 740M (텍스트 전용 실행 시 270M)
- 지원 입력 양식: Text, Code, Image, Video, Audio
- 최대 컨텍스트 길이: 8,192 토큰
- 임베딩 차원 축소 지원: 마트료시카 표현 학습(MRL)을 통해 768차원에서 512, 256, 128차원으로 유연한 다운사이징 지원
- 배포 라이선스: 상업적 이용 및 수정이 자유로운 Apache 2.0
3. 아키텍처 분석: 무거운 생성 없이 좌표를 읽어내는 '리더(Reader)'
Embedding Gemma Transcribe가 채택한 구조는 놀라울 정도로 단순하면서도 우아합니다. 개발팀은 구글이 공개한 거대한 EmbeddingGemma 2 모델의 가중치를 단 한 개도 미세조정(Fine-tuning)하지 않았습니다. 오디오 인코더는 원래 배포된 상태 그대로 동결(Frozen)해 유지했습니다.
대신 오디오 스트림을 아주 짧은 시간 단위(Short slice)로 자른 뒤, 이 오디오 조각이 만들어낸 임베딩 벡터를 텍스트 공간으로 정밀하게 밀어 넣어주는 극소형 신경망인 '리더(Reader)' 모델만을 새로 추가했습니다.
리더 모델이 오디오 조각을 텍스트 임베딩 공간에 투영하면, 시스템은 EmbeddingGemma 2의 어휘 사전에 등록된 약 22만 9,000개(229K)의 영어 단어 벡터들과 코사인 유사도(최근접 이웃 탐색)를 계산합니다. 이때 가장 거리가 가까운 상위 단어가 해당 음성 슬라이스의 텍스트 결과로 즉각 낙점됩니다.
3-1. 훈련 비용의 극적인 절감: 8×H100에서 2시간 미만
수백만 달러 규모의 컴퓨팅 자원과 수만 시간 분량의 정제된 오디오-스크립트 쌍을 요구하는 기존 최첨단 STT 모델들과 달리, 이 시스템의 훈련에는 극히 적은 컴퓨팅 파워만이 투입되었습니다.
| 구분 | 전통적 종단간(End-to-End) STT 모델 | EmbeddingGemma Transcribe 리더 모델 |
|---|---|---|
| 기저 모델 변경 여부 | 모델 전체 가중치 학습 및 미세조정 | 기저 인코더 100% 동결 (수정 없음) |
| 학습 대상 파라미터 | 수억~수십억 파라미터 전체 | 오디오-텍스트 공간 사상용 경량 리더 레이어 |
| 소요 컴퓨팅 자원 | 수백 대 규모 가속기 클러스터 수주 소요 | 8×H100 GPU 환경에서 2시간 미만 |
| 학습 데이터셋 | 수만 시간 이상의 대규모 음성 전사 데이터 | 공개 라이선스 기반 영어 음성 데이터셋 |
| 추론 메커니즘 | 토큰별 자기회귀 디코딩 (순차 연산) | 벡터 공간 내 단일 최근접 이웃 탐색 (병렬 연산) |
기저 인코더가 이미 음성과 텍스트의 다형적 의미를 훌륭하게 정렬해 두었기 때문에, 새로 추가된 리더 모델은 오디오 슬라이스의 오프셋을 텍스트 어휘 인덱스로 정확히 연결해 주는 최소한의 사상 함수만을 익히면 충분했던 것입니다. 전사된 원시 단어 나열에 마침표와 쉼표, 대소문자를 교정해 주는 작업은 뒤이어 붙는 별도의 초소형 포매터 모델이 담당합니다.
4. 온디바이스 STT 엔진 벤치마크 심층 비교
이 기술이 실제 하드웨어에서 발휘하는 가치를 파악하기 위해서는 기존에 로컬 환경에서 널리 활용되던 다른 오픈소스 음성 모델들과의 다각도 비교가 필요합니다. 온디바이스 환경에서는 최고 성능의 칩셋에서 나오는 수치뿐 아니라, 일상적인 노트북 하드웨어에서의 전력 대 효율비가 핵심 평가 지표가 됩니다.
아래 표는 공식 벤치마크 및 FluidAudio가 공개한 다양한 애플 실리콘 칩셋별 음성 모델 처리 속도를 종합적으로 정리한 수치입니다.
| 모델 명칭 | 구동 가속기 | 테스트 하드웨어 | 실시간 대비 배속 | 1시간 음성 처리 시간 |
|---|---|---|---|---|
| Embedding Gemma Transcribe | Apple Neural Engine | M3 MacBook Air (8GB) | 288× | 12.6초 |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX 가속) | M3 MacBook Air (8GB) | ~150× | 25.7초 |
| NVIDIA Parakeet TDT 0.6B v3 | Apple Neural Engine | M4 Pro | 156× | 약 23.1초 |
| NVIDIA Parakeet TDT 0.6B v3 | Apple Neural Engine | M5 Pro | 335× | 약 10.7초 |
| Phonon-2 (Parakeet fine-tune) | Apple Neural Engine | M5 Pro | 480× | 약 7.5초 |
위 데이터에서 특히 주목해야 할 부분은 1행과 2행의 비교입니다. 완전히 동일한 기본형 M3 맥북 에어(8GB RAM) 환경에서 측정했을 때, Embedding Gemma Transcribe는 288배속을 기록하며 기존의 경량 모델 대비 약 2배 빠른 처리 성능을 보여주었습니다.
3~5행에 명시된 Parakeet 및 Phonon-2 벤치마크는 메모리 대역폭과 NPU 코어 수가 비약적으로 확장된 최상위 Pro 라인업(M4 Pro, M5 Pro) 및 별도의 음원 환경에서 산출된 참조 수치입니다. 하드웨어의 체급 격차를 감안하면, 엔트리급 M3 칩의 내장 신경망 엔진(Neural Engine)만으로 288배속을 달성한 결과는 소프트웨어 아키텍처의 혁신이 하드웨어 스펙 한계를 어떻게 뛰어넘을 수 있는지를 여실히 보여줍니다.
5. macOS 로컬 실행 환경과 보안 아키텍처
Embedding Gemma Transcribe는 단순한 연구용 개념 증명(PoC)에 머무르지 않고, 일반 맥 사용자가 즉시 사용할 수 있는 독립 실행형 데스크톱 애플리케이션(현재 v1.6)으로 패키징되어 무료 배포되었습니다.
이 앱이 온디바이스 환경에서 구동되는 메커니즘과 보안적 이점은 다음과 같은 세 가지 축으로 요약할 수 있습니다.
- 신경망 엔진(Apple Neural Engine) 전담 오프로딩: 모델의 추론 과정이 시스템의 메인 CPU나 GPU를 장악하지 않고 저전력 코어인 ANE에서 완전히 처리됩니다. 따라서 음성 변환이 일어나는 동안에도 사용자는 코드 컴파일, 그래픽 렌더링, 웹 브라우징 등 다른 무거운 작업을 시스템 버벅임 없이 병행할 수 있습니다.
- 경량화된 첫 실행 패키지: 애플리케이션 설치 후 최초 실행 시 다운로드되는 모델의 크기는 약 715MB에 불과합니다. 기가바이트 단위의 가중치 다운로드를 요구하는 거대 모델들에 비해 디스크 공간과 메모리 점유율 부담이 극도로 낮습니다.
- 물리적 제로 데이터 유출(Zero Data Leakage): 모든 음성 연산이 디바이스 내부에서 종결되므로 마이크 입력 신호나 오디오 파일이 외부 네트워크 서버로 전송되지 않습니다. 기업의 대외비 회의 녹취나 개인 의료·법률 상담처럼 프라이버시가 절대적으로 요구되는 작업에 적합합니다.
사용자 인터페이스 역시 운영체제 수준에 깊숙이 통합되어 있습니다. 긴 오디오 파일을 앱 창으로 드래그 앤 드롭해 일괄 변환할 수 있을 뿐 아니라, 키보드의 오른쪽 옵션(Right Option) 키를 길게 누른 상태로 말을 한 뒤 손을 떼면 현재 활성화된 텍스트 입력창(메모장, 슬랙, 노션, 터미널 등)에 즉시 글자가 받아 적히는 글로벌 딕테이션 기능을 지원합니다.
실행을 위한 시스템 요구 사항은 macOS 14 (Sonoma) 이상의 버전을 구동하는 모든 애플 실리콘(M1, M2, M3, M4 등) 기반 Mac 컴퓨터입니다.
6. 단어 오류율(WER 5%)의 현실과 기술적 한계
초고속 처리 능력과 경량성 뒤에는 상용 프로덕션 도입 시 반드시 고려해야 할 명확한 트레이드오프가 존재합니다. 현재 Embedding Gemma Transcribe의 단어 오류율(WER, Word Error Rate)은 약 5% 수준으로 보고되고 있습니다.
오늘날 업계를 선도하는 상용 STT 모델(OpenAI Whisper-large-v3, 최신 Conformer 및 Parakeet 파인튜닝 모델 등)의 WER이 2~3%대 안팎을 유지하고 있다는 점을 고려하면, 5%라는 수치는 일반적인 대화의 흐름을 대략적으로 파악하거나 개인 메모를 전사하는 데는 무리가 없으나 완벽한 정밀도가 요구되는 전문 도메인에서는 아쉬운 수치입니다.
이러한 정확도 격차가 발생하는 원인은 모델의 구조적 특성에서 비롯됩니다.
- 문맥적 교정 능력의 부재: 전체 문맥을 바탕으로 다음 단어를 확률적으로 예측하는 자기회귀 디코더가 없기 때문에, 발음이 극도로 유사한 동음이의어(예: their / there / they're)를 주변 단어의 의미적 호응에 맞추어 완벽하게 분별해 내는 능력이 전통적인 STT 모델에 비해 떨어집니다.
- 어휘 매핑의 해상도 한계: 사전 정의된 약 22만 9,000개의 고정 텍스트 임베딩 벡터 중 가장 가까운 좌표를 단순 매칭하므로, 학습 세트에 포함되지 않은 고유명사, 최신 신조어, 특수 기술 전문 용어의 경우 엉뚱한 유사 발음 단어로 치환될 위험이 있습니다.
- 단일 언어(영어) 편향: 현재 공개된 리더 모델은 오픈 라이선스 영어 음성 데이터셋으로만 학습되었기 때문에 한국어를 포함한 다국어 음성 인식은 지원하지 않습니다. 비록 기저 모델인 EmbeddingGemma 2 자체가 100개 이상의 언어를 지원하지만, 음성-텍스트 좌표 사상 레이어(Reader)가 다국어로 확장 훈련되기 전까지는 영어 음성에만 국한됩니다.
개발팀은 현재의 5% WER이 매우 원초적인 구조의 리더 모델을 단 2시간 미만 훈련시켜 얻은 결과물이라는 점을 강조하며, 향후 사상 레이어의 용량을 소폭 확장하고 훈련 데이터의 정밀도를 높인 차세대 이터레이션을 통해 선두 모델과의 2~3% 격차를 충분히 좁힐 수 있을 것으로 전망하고 있습니다.
7. 결론: '인식'과 '임베딩'의 경계가 무너지는 미래
Embedding Gemma Transcribe가 던지는 진정한 기술적 화두는 '단순한 음성 인식 속도의 개선' 그 이상입니다. 지금까지 인공지능 생태계는 텍스트 임베딩, 오디오 인식, 이미지 생성, 멀티모달 분석을 각각 별개의 모델과 파이프라인으로 엄격히 분리해 취급해 왔습니다. 음성을 다루려면 음성 인식 모델을 불러와 텍스트로 바꾸고, 이를 다시 검색용 임베딩 모델에 통과시켜 벡터 DB에 넣는 식의 다단계 병목이 불가피했습니다.
그러나 양질의 멀티모달 공유 임베딩 공간이 확보된다면, 그 공간 자체가 곧 번역기이자 검색기이며 인식기가 될 수 있음을 이번 사례가 입증했습니다. 오디오 벡터가 이미 텍스트 공간과 정렬되어 있다면, 복잡한 파이프라인 없이도 음성 데이터로부터 즉각적인 시맨틱 검색을 수행하거나 단일 벡터 연산으로 텍스트를 추출할 수 있습니다.
앞으로 마트료시카 표현 학습(MRL)과 결합된 고효율 온디바이스 멀티모달 파운데이션 모델들이 스마트폰과 로컬 PC 환경에 기본 탑재되기 시작하면, 무거운 자기회귀 디코더를 거치지 않고도 오디오·비전·텍스트를 초저지연으로 상호 변환하는 경량 사상 레이어 생태계가 더욱 급격히 확산될 것입니다. 인공지능 엔지니어링의 패러다임이 무조건적인 '파라미터 증동(Scale-up)'에서, 잘 구축된 '공유 공간의 기하학적 재활용'으로 진화하고 있습니다.
자주 묻는 질문
Q. 기존 Whisper 같은 음성 인식 모델과 기술적으로 무엇이 다른가요?
A. 기존 Whisper는 오디오 특징을 추출한 뒤 자기회귀 디코더를 통해 단어 토큰을 순차적으로 하나씩 생성합니다. 반면 이 시스템은 기저 멀티모달 임베딩 공간에서 음성 벡터와 텍스트 단어 벡터가 이미 인접해 있다는 점을 이용해, 경량 리더 모델로 22.9만 개 단어 중 최근접 단어를 직접 찾아냅니다.
Q. 1시간 음성을 12.6초 만에 변환하는 속도는 어떤 환경에서 측정되었나요?
A. 애플 M3 칩과 8GB 통합 메모리를 탑재한 보급형 기본형 M3 맥북 에어 환경에서 측정되었습니다. 연산은 시스템의 CPU나 GPU 대신 저전력 애플 신경망 엔진(Neural Engine)에서 완결되며, 실시간 음성 재생 속도 대비 288배 빠른 수준입니다.
Q. 한국어 음성도 인식이 가능한가요?
A. 현재 배포된 v1.6 버전에서는 영어 음성 전사만 지원합니다. 기저 모델인 EmbeddingGemma 2 자체는 다국어를 지원하지만, 오디오 조각을 텍스트 공간으로 연결해 주는 경량 '리더(Reader)' 모델이 공개 라이선스 영어 음성 데이터셋으로만 학습되었기 때문입니다.
Q. 내부 음성 데이터가 외부 서버로 유출될 위험은 없나요?
A. 모든 오디오 처리와 벡터 연산이 로컬 Mac 기기의 Apple Silicon 내부에서 100% 온디바이스로 실행됩니다. 인터넷 연결이 없어도 동작하며, 음성 파일이나 텍스트 데이터가 외부 클라우드로 전송되지 않습니다.
원본
https://developers.googleblog.com/embeddinggemma-2-the-developer-guide/
https://pithwire.com/ko/articles/we-turned-embeddinggemma-2-into-a-speech-to-text-model/



댓글 0개