스프쌤
오디오

binaural-voice: 모노 TTS를 귓가로 맴도는 바이노럴 음성으로

✍ 야금야금⏱ 15분 소요2026-11-19👁
← 목록으로 돌아가기

헤드폰으로 TTS 음성을 들으면 목소리가 머리 정중앙, 정확히는 두 귀 사이 어딘가에서만 나오는 느낌을 받은 적이 있나요? binaural-voice는 이를 귓가를 맴도는 바이노럴 음성으로 바꿔 주는 MIT 도구입니다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: 모노 TTS를 귓가를 맴도는 바이노럴 음성으로

✦ KR 핵심 요약: binaural-voice는 Neumann KU100 더미 헤드로 25cm부터 실측한 근거리 HRIR로 모노 TTS를 바이노럴 스테레오로 렌더링한다. 대본 속 위치 태그 여섯 개로 목소리가 머리 주변을 이동하게 만들고, ElevenLabs 타임스탬프 API와 연동해 자체 앱에도 붙일 수 있다. 헤드폰 전용·수평면 한정이며 MIT 라이선스다.

🌐 Global Takeaway: binaural-voice converts mono TTS into binaural stereo using near-field HRIR measured with a Neumann KU100 dummy head from 25cm. Script tags move the voice around the listener's head, and it integrates with ElevenLabs' timestamp API. MIT-licensed, headphone-only, horizontal plane only.

아래 그림은 binaural-voice가 모노 음성을 바이노럴 스테레오로 바꾸는 전체 흐름을 보여줍니다.

입력에서 헤드폰까지
대본+태그위치 지정
→
TTS 합성모노 음성
→
binaural_voiceHRIR 렌더링
→
헤드폰 재생귓가 이동
대본에 위치 태그를 넣고 TTS로 읽은 뒤 모노 WAV를 바이노럴로 렌더링하는 흐름
모노 vs binaural-voice
기존 모노
  • 소리가 머리 중앙에 고정
  • 양 귀 차이 없음
  • 거리감 없음
VS
binaural-voice
  • 귀마다 다른 음량·시간차
  • 25cm~50cm 거리 재현
  • 태그로 머리 주변 이동
같은 목소리가 귀마다 다른 신호로 바뀌며 공간감이 생기는 차이

헤드폰으로 TTS 음성을 들으면 목소리가 머리 정중앙, 정확히는 두 귀 사이 어딘가에서만 나오는 느낌을 받은 적이 있나요? GitHub의 binaural-voice는 이런 모노 TTS 음성을 귓가를 맴도는 바이노럴 스테레오로 바꿔 주는 MIT 라이선스 도구입니다. Neumann KU100 더미 헤드로 25cm 거리부터 실측한 근거리 HRIR을 사용하고, 원고에 위치 태그를 넣으면 말하는 동안 목소리가 머리 주변을 천천히 이동합니다.

1. 무슨 일이 있었나

TTS로 생성한 음성은 대부분 단일 채널, 즉 모노입니다. 모노 파일을 헤드폰으로 재생하면 좌우 스피커가 아니라 양쪽 이어폰이 같은 신호를 그대로 보내기 때문에, 청각적으로는 소리가 머릿속 정중앙에서 울리는 것처럼 들립니다. 공간감도 거리감도 없고 귀마다 다른 음량 차이도 재현되지 않습니다. ASMR이나 몰입형 콘텐츠를 만들 때 이 한계가 특히 크게 느껴집니다.

binaural-voice(Saekisui/binaural-voice)는 이 문제를 정면으로 다루는 소규모 Python 도구입니다. 저장소는 커밋 4개로 이루어진 초기 단계 프로젝트이며, hrir 데이터 폴더, 렌더링 스크립트 binaural_voice.py, ElevenLabs 합성 예제 speak.py, requirements.txt, README.md와 README.ja.md, LICENSE, NOTICE로 구성되어 있습니다. README는 일본어로 작성되어 있고 간체·번체 중국어 태그 체계를 그대로 사용합니다. 라이선스는 MIT라 상업적 이용과 수정, 재배포가 자유롭습니다.

README가 밝히는 핵심은 세 가지입니다. 첫째, Neumann KU100 더미 헤드로 실측한 근거리 HRIR 데이터를 사용해 25cm 거리부터의 '귀에 바짝 붙인' 음향을 재현합니다. 둘째, 원고 속 위치 태그가 말하는 동안 소리의 위치를 머리 주변에서 이동시킵니다. 셋째, 쉼이나 정지 구간에서는 소리가 제자리에 머물러 한쪽 귀에서 다른 쪽 귀로 순간이동하지 않습니다.

항목 내용
저장소 Saekisui/binaural-voice
입력 임의 TTS 또는 녹음의 모노 음성
출력 바이노럴 스테레오 WAV
핵심 데이터 Neumann KU100 근거리 HRIR (25cm~)
라이선스 MIT
전제 조건 헤드폰 재생, 수평면 한정

README는 '헤드폰에서만 성립한다'는 전제를 첫 화면에서 명시합니다. 스피커로 들으면 위치 정보가 무너질 수 있으므로, 이 도구의 산출물은 헤드폰 청취를 기준으로 설계되었다고 이해하는 편이 정확합니다.

이 도구가 흥미로운 이유는 단순히 '공간감 있는 TTS'를 만드는 데 그치지 않기 때문입니다. 태그 하나로 '왼쪽 귀에 속삭이다가 머리 뒤로 이동하는' 식의 연출이 가능하므로, ASMR, 몰입형 오디오, 캐릭터 보이스 디자인처럼 '목소리가 어디서 나오는가'가 콘텐츠의 일부인 작업에 바로 쓸 수 있습니다.

2. 왜 모노 TTS는 '머리 속'에서 들리는가

사람이 소리의 방향을 판단하는 데는 두 귀가 받는 신호의 미세한 차이가 쓰입니다. 한쪽 귀에 먼저 도착하는 시간 차(ITD), 귀마다 다른 음량 차(ILD), 그리고 귀와 머리 모양이 만드는 주파수별 필터링인 HRTF(머리 관련 전달 함수)가 모두 방향 단서입니다. 바이노럴 오디오는 이 단서를 헤드폰의 좌우 채널에 인코딩하여, 스피커 없이도 '어디선가 들려오는' 느낌을 만듭니다.

모노 신호는 이 단서가 전부 0에 가깝습니다. 좌우 채널이 완전히 같으니 ITD도 ILD도 없고, HRTF가 만들어내는 귀마다의 음색 차이도 사라집니다. 청각계는 방향을 특정할 수 없고, 결과적으로 소리는 '머릿속'이라는 추상적 위치에 배치됩니다. 이 현상은 헤드폰 청취에서 특히 두드러지는데, 스피커의 크로스토크가 어느 정도 방향감을 보완해 주기 때문입니다.

여기서 근거리 HRIR이 중요한 역할을 합니다. 먼 거리의 음원과 달리 귀에 바짝 붙은 소리에는 저역 성분이 크게 올라가고, 두 귀 사이의 음량 차가 극적으로 커집니다. 가까운 거리에서는 귀가 음원에 대한 차폐막 역할을 하면서 반대편 귀로 가는 고주파가 크게 줄어들고, 저역은 머리 주변에서 공명하며 두드러집니다. 이것은 볼륨을 올려 흉내 내는 것이 아니라 실제 측정값에서 오는 현상입니다.

binaural-voice가 쓰는 데이터는 Neumann KU100 더미 헤드를 이용해 25cm 거리부터 실측한 것이어서, '귓가에 대고 속삭이는' 음향 특성을 그대로 담고 있습니다. 합성으로 근사한 필터가 아니라 실측 HRIR을 쓰기 때문에 귀에 바짝 붙은 듯한 저역 상승과 양쪽 귀의 음량 차이가 자연스럽게 재현됩니다. 이 차이가 단순한 스테레오 확장과 이 도구를 구분하는 지점입니다.

3. binaural-voice는 어떻게 구성됐나

저장소의 파일 목록만 보아도 역할 분담이 명확합니다. 데이터, 렌더러, 예제가 각각 분리되어 있어 필요한 부분만 가져다 쓸 수 있는 구조입니다.

  • hrir/: KU100 실측 근거리 HRIR 데이터
  • binaural_voice.py: 모노 WAV를 위치 큐 기반 바이노럴로 렌더링하는 핵심 스크립트
  • speak.py: 태그가 포함된 대본을 ElevenLabs로 읽어 위치 정보가 있는 음성을 만드는 예제
  • requirements.txt: numpy, scipy 의존성

처리 흐름은 단순합니다. 모노 음성(아무 TTS든 녹음이든)을 WAV로 만들고, binaural_voice.py에 넣으면 스크립트가 HRIR 데이터와 위치 큐를 결합하여 바이노럴 스테레오를 출력합니다. 위치 큐는 대본의 태그에서 오거나, 태그가 없으면 스크립트가 정해진 패턴 중 하나를 무작위로 고릅니다. 큐는 t(시작 초)와 tag(목적지)의 JSON 배열 형태로 전달됩니다.

저장소 구성
hrir/KU100 실측 근거리 HRIR 데이터
binaural_voice.py큐 JSON으로 위치 이동 렌더링
speak.pyElevenLabs 대본 합성 예제
requirements.txtnumpy·scipy 의존성
데이터·렌더러·합성 예제가 역할별로 나뉜 구조

생성된 WAV는 기본적으로 24kHz 샘플레이트의 ElevenLabs 출력 규격에 맞춰져 있고, Pro 이상 플랜에서는 pcm_44100 포맷으로 44.1kHz까지 올릴 수 있습니다. 최종 배포용으로 m4a가 필요하면 ffmpeg로 AAC 변환을 거칩니다. 다만 README는 비트레이트를 너무 낮추지 말라고 안내하는데, 위치 정보가 담긴 세부 성분이 손실되면 바이노럴의 입체감이 무너지기 때문입니다.

4. 위치 태그: 목소리가 어디로 가는지 지정하기

4-1. 여섯 개의 위치 태그

대본에 대괄호 태그를 넣으면 그 위치가 소리의 목적지가 됩니다. 태그는 중국어 한자로 작성되어 있지만 의미는 직관적입니다.

태그 효과
[左耳] / [右耳] 귀에 바짝, 25cm 거리
[脑后] 머리 뒤쪽, 약 31cm
[面前] 머리 앞쪽, 약 42cm
[贴近] 방향은 유지하고 거리만 25cm로
[退开] 방향은 유지하고 거리만 50cm로 물러남

태그를 문장 맨 앞에 쓰면 첫 발성부터 그 위치에서 시작하고, 문장 중간에 쓰면 그 시점부터 말하는 동안 천천히 이동합니다. 한쪽 귀에서 다른 쪽 귀로 갈 때는 얼굴 앞을 가로지르지 않고 머리 뒤쪽을 돌아 이동하도록 설계되었습니다. 이는 실제로 소리가 머리 뒤를 돌아 전달되는 경로를 모사한 것으로, 얼굴을 가로지르는 부자연스러운 이동을 방지합니다.

4-2. 이동 속도와 정지 규칙

목적지는 태그가 정하지만 속도는 스크립트가 정합니다. 반 바퀴 이동에는 발성 시간 4.5초가 쓰이며, 짧은 발화에서는 최대 40%까지 빨라지지만 점프하지 않도록 조정됩니다. 소리가 나는 동안에만 이동하고 쉼이나 정지 구간에서는 제자리에 머물기 때문에, 귀 사이를 순간이동하는 어색함이 없습니다.

새 태그가 오면 현재 위치에서 바로 경로를 수정하며, [贴近]과 [退开]은 진행 중인 회전 이동을 끊지 않습니다. 도착한 위치에서는 거리가 그 위치의 기본값으로 복귀하고, 이미 가장 가까운 25cm에 있을 때 [贴近]은 변화가 없습니다. [贴近]은 주로 [退开] 이후나 머리 뒤·앞 위치에서 의미가 있습니다.

태그를 하나도 쓰지 않으면 스크립트가 무작위 패턴을 고릅니다. 한 귀에 계속 붙기, 귀에서 귀로 이동하되 길면 뒤에서 잠시 멈추기, 뒤에서 귀로 이동, 앞에서 귀로 다가가기 중 하나입니다. 발화 길이에 따라 뒤에서 잠시 멈추는 패턴이 선택되기도 해서, 긴 대본에서도 자연스러운 연출이 나옵니다.

위치 태그는 '어디로 갈지'만 결정하고 '얼마나 빨리 갈지'는 스크립트가 결정한다는 점이 중요합니다. 대본 작성자는 위치만 신경 쓰면 되고, 이동의 자연스러움은 렌더러가 보장하는 구조입니다.

말하기와 정지의 반복
말하는 동안 이동태그 목적지로 천천히
환기·정지제자리에서 멈춤
다음 발성현재 위치에서 재개
새 태그경로 즉시 수정
↻반복
소리가 나는 동안만 이동하고 멈추면 제자리에 머무는 규칙

5. ElevenLabs와 연결해 실제로 쓰기

5-1. speak.py로 바로 합성하기

저장소는 speak.py를 통해 ElevenLabs로 태그가 포함된 대본을 바로 읽는 예제를 제공합니다. 필요한 환경 변수는 ELEVENLABS_API_KEY와 ELEVENLABS_VOICE_ID 두 개이고, 예제 대본은 [右耳] 뒤에 [whispers] 지시를 붙여 '오른쪽 귀에 대고 속삭이다가 머리 뒤로 이동하는' 연출을 보여줍니다. 위치 태그와 ElevenLabs 고유 지시를 한 대본에서 섞어 쓸 수 있다는 점이 이 예제의 핵심입니다.

합성 결과는 기본 24kHz WAV이며, Pro 이상이면 ELEVENLABS_FORMAT=pcm_44100으로 44.1kHz 출력을 선택할 수 있습니다. 가격은 ElevenLabs 일반 TTS 인터페이스와 동일하다고 README에 명시되어 있습니다.

5-2. 자체 앱에 붙일 때의 핵심 절차

자체 애플리케이션에 연결할 때는 한 가지 주의점이 있습니다. TTS 엔진인 eleven_v3는 모르는 대괄호 태그를 연기 지시로 해석할 수 있기 때문에, 합성 전에 위치 태그를 대본에서 반드시 제거해야 합니다. 동시에 태그를 제거한 뒤 그 기준으로 각 태그가 몇 번째 글자에 해당하는지 기록해 둡니다.

시간 동기화에는 /v1/text-to-speech/{voice_id}/with-timestamps 엔드포인트를 사용합니다. 한 번의 요청으로 음성과 글자별 시작·끝 시간이 함께 반환되며, 일반 인터페이스와 같은 가격이라고 안내되어 있습니다. 태그 바로 뒤 글자의 시작 시간을 초로 환산하여 binaural_voice.py의 큐 JSON으로 넘기면 됩니다.

이 흐름 덕분에 '몇 초에 어느 위치로 이동할지'를 대본에 하드코딩하지 않고 음성 길이에 맞추어 자동으로 맞출 수 있습니다. 대본이 수정되어도 타임스탬프가 다시 계산되므로, 긴 콘텐츠에서도 위치 큐를 수동으로 관리할 필요가 없습니다.

6. 실제 사용법

설치는 numpy와 scipy만 있으면 됩니다. ffmpeg는 모노 WAV 변환에 사용합니다.

pip install numpy scipy
ffmpeg -i voice.mp3 -ac 1 voice.wav
python binaural_voice.py voice.wav out.wav

위치 큐를 직접 지정하려면 JSON 인자를 넘기면 됩니다. t는 시작 시점(초), tag는 이동할 위치입니다.

python binaural_voice.py voice.wav out.wav '[{"t": 0, "tag": "右耳"}, {"t": 2.4, "tag": "脑后"}]'

태그 없이 실행하면 스크립트가 무작위 이동 패턴을 고릅니다. 출력이 WAV이므로 배포용 m4a가 필요하면 AAC 192kbps로 변환합니다.

ffmpeg -i out.wav -c:a aac -b:a 192k out.m4a

7. 한계와 주의점

첫째, 헤드폰 전용입니다. 스피커나 공개 재생 환경에서는 HRIR이 전제로 하는 두 귀 간의 위상·음량 관계가 깨집니다. 둘째, 수평면 한정입니다. 위아래 방향의 위치 정보는 데이터와 모델이 다루지 않으므로, '머리 위에서 내려오는 소리' 같은 연출은 불가능합니다. 셋째, 입력은 모노 음성입니다. 스테레오 파일을 넣으면 전제 자체가 달라지므로 ffmpeg로 -ac 1 모노화를 거쳐야 합니다.

넷째, 저장소는 커밋 4개로 구성된 초기 단계 프로젝트입니다. 지원 OS·플랫폼에 대한 명시가 없고, ElevenLabs 연동 외 다른 TTS 파이프라인과의 통합은 사용자가 직접 큐 JSON을 만들어야 합니다. 또한 위치 태그는 '연출 지시'이지 음성 합성 파라미터가 아니므로, 태그를 읽는 TTS에 그대로 넣으면 의도와 다른 발음이 나올 수 있습니다. 태그 제거와 글자 위치 기록을 빠뜨리지 않는 것이 연동의 핵심입니다.

8. 정리

binaural-voice는 'TTS 목소리가 머리 속에서만 울린다'는 오래된 불만을 HRIR이라는 물리적 측정 데이터로 해결한 도구입니다. 25cm 근거리 실측, 여섯 개의 위치 태그, 발성 중에만 움직이는 이동 규칙, ElevenLabs 타임스탬프 연동까지, 작지만 설계가 정교한 프로젝트입니다.

ASMR·몰입형 콘텐츠·캐릭터 연출처럼 '목소리의 위치'가 콘텐츠 품질을 좌우하는 작업에서 MIT 라이선스로 바로 가져다 쓸 수 있는 만큼, 헤드폰 청취 환경이 있는 개발자라면 저장소를 살펴볼 가치가 있습니다. 다만 헤드폰 전용·수평면 한정·모노 입력이라는 전제를 먼저 확인하고 도입하는 것이 좋습니다.

자주 묻는 질문

Q. binaural-voice는 어떤 입력을 받나요?
A. 아무 TTS 엔진이나 녹음으로 만든 모노 음성이면 됩니다. ffmpeg로 -ac 1 모노 WAV로 변환한 뒤 binaural_voice.py에 넣으면 바이노럴 스테레오 WAV가 출력됩니다.

Q. 헤드폰이 아니어도 들을 수 있나요?
A. 스피커 재생은 전제로 하지 않습니다. HRIR 기반 위치 정보는 두 귀에 각각 다른 신호를 보내는 헤드폰 청취에서만 성립하며, README도 헤드폰 전용임을 명시합니다.

Q. 태그 없이 사용하면 어떻게 되나요?
A. 스크립트가 정해진 이동 패턴 중 하나를 무작위로 고릅니다. 한 귀에 계속 붙거나, 귀에서 귀로 이동하거나, 뒤·앞에서 귀로 다가오는 방식입니다.

Q. ElevenLabs 없이 쓸 수 있나요?
A. 네. 핵심 렌더러 binaural_voice.py는 입력 WAV와 위치 큐만 필요로 하므로 어떤 모노 음성이든 처리할 수 있습니다. speak.py와 타임스탬프 연동은 ElevenLabs를 쓸 때의 편의 기능입니다.

원본

https://github.com/Saekisui/binaural-voice

https://www.threads.com/@aiwire_kr/post/DeQe7KvgUak

함께 보면 좋은 글

댓글 0개