오픈소스 쇼츠 생성기 OpenShorts 분석: 로컬 GPU 자가 구축부터 MCP 연동까지
매달 지불하는 영상 편집 SaaS 구독료는 과연 적절할까요? OpenShorts는 로컬 GPU 하나로 롱폼 영상을 9:16 쇼츠로 전자동 전환합니다.
이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.
✦ KR 주제: 오픈소스 AI 쇼츠 생성 엔진 OpenShorts 구조와 활용
✦ KR 핵심 요약: OpenShorts는 음성 인식, LLM 문맥 분석, 컴퓨터 비전 기반 화자 추적을 결합해 롱폼 영상을 숏폼으로 재가공하는 오픈소스 솔루션입니다. 로컬 하드웨어에서 데이터 외부 유출 없이 구동 가능하며, MCP 프로토콜을 통해 AI 에이전트와 매끄럽게 연결됩니다.
🌐 Global Takeaway: OpenShorts is an open-source, self-hostable AI clip generator that automates 9:16 vertical video production from long-form content using YOLOv8, faster-whisper, and Gemini. It eliminates recurring SaaS costs and integrates natively with LLM agents via MCP.
아래 다이어그램은 OpenShorts의 4단계 자동화 파이프라인을 보여줍니다.
1. 숏폼 전성시대와 영상 편집 워크플로우의 한계
유튜브 쇼츠, 인스타그램 릴스, 틱톡과 같은 9:16 비율의 숏폼 미디어가 온라인 콘텐츠 소비의 중심축으로 자리 잡았습니다. 이에 따라 기존 16:9 가로형 롱폼 영상(팟캐스트, 인터뷰, 웨비나, 테크 세미나)을 숏폼 클립으로 재편집해 배포하는 작업이 크리에이터와 마케팅 조직의 필수 과제가 되었습니다. 그러나 1시간짜리 영상에서 시청자의 이목을 끌 핵심 구간 3~5개를 선별하고, 발화자의 위치를 찾아 세로 프레임으로 크롭하며, 단어 단위 자막을 싱크에 맞춰 입히는 수작업은 영상 1건당 수 시간 이상의 소모적인 노동을 요구합니다.
이를 해결하기 위해 클라우드 기반 AI 클리핑 SaaS 서비스들이 다수 등장했습니다. 사용자가 영상 링크를 올리면 AI가 알아서 쇼츠를 추출해 주지만, 영상 업로드 용량 제한, 월간 처리 시간 제한, 그리고 워터마크 제거를 위해 매월 수십 달러의 구독료를 요구하는 비즈니스 모델이 일반적입니다. 특히 기업 내부 기술 세미나나 공개되지 않은 원천 영상을 클라우드 서비스에 업로드해야 한다는 점에서 보안 및 데이터 거버넌스 문제가 필연적으로 발생합니다.
이러한 시장 구조 속에서 Juan Carlos Cavero Gracia(mutonby)가 공개한 OpenShorts는 영상 크리에이터와 개발자 사이에서 큰 주목을 받고 있습니다. MIT 라이선스를 기반으로 소스코드가 완전 공개되어 있으며, 로컬 GPU 환경에서 자체 호스팅(Self-hosting)이 가능하여 데이터 유출 위험 없이 무제한으로 숏폼 비디오를 양산할 수 있는 대안을 제시합니다.
2. OpenShorts 아키텍처와 핵심 동작 원리
OpenShorts는 단순한 FFmpeg 래퍼(Wrapper) 스크립트가 아닙니다. 음성 인식, 대형 언어 모델(LLM), 컴퓨터 비전 모델, 프론트엔드 렌더링 프레임워크가 결합된 정교한 분산 파이프라인 시스템입니다. 전체 파이프라인은 영상 입력부터 최종 렌더링까지 여러 단계의 마이크로서비스 및 워커 스크립트로 구성되어 있습니다.
2-1. 단계별 데이터 처리 흐름
시스템에 유튜브 링크나 로컬 비디오 파일이 입력되면, 시스템은 가장 먼저 오디오 트랙을 분리하여 faster-whisper 기반의 음성 인식 워커로 보냅니다. 단순 텍스트 변환에 그치지 않고 각 단어(Word-level) 단위의 정확한 시작 및 종료 타임스탬프를 함께 추출합니다.
이 텍스트와 타임스탬프 정보는 gemini_worker.py를 통해 Google Gemini API로 전달됩니다. LLM은 전체 스크립트의 기승전결, 후킹 포인트, 맥락을 분석하여 바이럴 가능성이 높은 3개에서 15개의 하이라이트 구간을 식별합니다. 이후 active_speaker.py와 camera_inset.py가 작동하여 비디오 프레임을 샘플링합니다. MediaPipe와 YOLOv8 객체 탐지 모델이 화면 내 얼굴과 상체를 감지하고, 음성 활성화 여부(VAD)와 연동해 현재 말하고 있는 화자를 실시간 추적(Face tracking)합니다.
가로 화면을 9:16으로 전환할 때 화자가 한 명이면 해당 인물을 중심으로 부드럽게 팬(Pan) 이동 크롭을 수행하고, 대담 형식의 2인 인터뷰라면 상하 2단 분할(Dual-speaker stack) 레이아웃을 생성합니다. 화면 공유나 소프트웨어 시연 영상의 경우 화면 상단에 발표자 인셋(Inset)을 두고 하단에 스크린캐스트를 배치하는 레이아웃을 자동으로 결정합니다. 마지막으로 Remotion과 FFmpeg을 이용해 단어 단위 하이라이트 애니메이션 자막을 화면에 번인(Burn-in) 렌더링합니다.
3. 하드웨어 환경에 따른 처리 성능 분석
OpenShorts의 최대 강점은 로컬 컴퓨팅 리소스를 온전히 활용할 수 있다는 점입니다. 특히 Whisper 추론과 YOLOv8 프레임 분석, 최종 인코딩 단계에서 GPU 하드웨어 가속 유무는 성능에 결정적인 영향을 미칩니다.
공식 벤치마크 및 테스트 결과에 따르면 8분 길이의 1080p 인터뷰 영상을 처리할 때 CPU 단독 환경과 GPU 가속 환경은 극단적인 처리 속도 차이를 보입니다.
| 처리 환경 | 8분 영상 처리 소요 시간 | 프레임 분석 지연 | 비고 |
|---|---|---|---|
| 일반 x86 CPU (8코어) | 5분 ~ 8분 (약 420초) | 프레임당 약 45ms | 백그라운드 배치 작업 적합 |
| NVIDIA RTX 4090 (24GB) | 약 50초 | 프레임당 약 3ms | 실시간 준하는 속도로 완료 |
| fal.ai 클라우드 워커 | 약 40초 ~ 1분 | 네트워크 지연 포함 | 별도 로컬 장비 없이 실행 가능 |
CPU 환경에서도 8코어 이상의 시스템이라면 파이프라인이 정상 작동하지만, 영상 길이와 거의 1:1에 가까운 시간이 소요됩니다. 반면 최신 NVIDIA GPU 환경에서는 영상 길이의 10분의 1 수준인 50초 내외로 3~5개의 완성형 세로 숏폼 클립을 추출할 수 있습니다. 로컬 하드웨어가 부족한 사용자를 위해 fal.ai API 연동 옵션도 코드베이스 레벨에서 지원합니다.
4. 로컬 Docker 환경 구축 및 설정 가이드
OpenShorts는 복잡한 의존성(FFmpeg, PyTorch, Node.js, C++ 빌드 도구)을 격리하기 위해 Docker 및 Docker Compose 구성을 기본 제공합니다. NVIDIA Container Toolkit이 설치된 리눅스 머신 또는 WSL2 환경에서 몇 가지 명령어로 시스템을 배포할 수 있습니다.
4-1. 소스 클론 및 환경 변수 설정
먼저 저장소를 클론하고 기본 환경 설정 파일을 준비합니다.
git clone https://github.com/mutonby/openshorts.git
cd openshorts
cp .env.example .env
.env 파일 내에는 필수 API 키와 로컬 모델 경로를 지정합니다. Gemini를 통한 하이라이트 분석을 위해 Google AI Studio 키가 필요하며, 다국어 더빙 기능을 활성화하려면 ElevenLabs API 키를 입력할 수 있습니다. 완전 무료 로컬 환경을 구성하려면 Ollama 또는 로컬 LLM 워커로 대체할 수 있는 설정 플래그를 확인해야 합니다.
4-2. 컨테이너 빌드 및 실행
준비가 완료되면 Docker Compose를 통해 전체 스택(FastAPI 백엔드, React 대시보드, Alembic 데이터베이스, 렌더 서비스)을 한 번에 구동합니다.
docker compose up -d --build
명령이 완료되면 웹 브라우저에서 http://localhost:3000으로 접속하여 웹 GUI 대시보드를 사용할 수 있습니다. CLI 환경을 선호하는 개발자를 위해 cli/ 디렉터리에 커맨드라인 기반 실행 도구도 포함되어 있어 쉘 스크립트나 CI/CD 파이프라인에 즉시 통합할 수 있습니다.
5. MCP(Model Context Protocol) 기반 AI 에이전트 연동
OpenShorts가 기존 도구들과 차별화되는 지점은 최신 LLM 에코시스템과의 호환성입니다. OpenShorts는 모델 컨텍스트 프로토콜(MCP) 서버를 자체 내장하고 있어 Claude Desktop, Claude.ai, ChatGPT, n8n 등과 직접 연동할 수 있습니다.
"MCP 연동을 통해 사용자는 채팅창에서 유튜브 URL을 입력하는 것만으로 쇼츠 제작 파이프라인 전체를 트리거하고 결과를 수신할 수 있습니다."
OAuth 2.1 기반의 다이내믹 클라이언트 등록 방식을 지원하여, 별도의 복잡한 API 토큰 복사 없이 엔드포인트를 커넥터로 등록하고 승인하는 것만으로 연결이 완료됩니다. 이를 통해 n8n과 결합할 경우 다음과 같은 자동화 워크플로우를 구성할 수 있습니다.
- 특정 유튜브 채널에 신규 영상이 업로드되면 웹훅 트리거 발생
- OpenShorts 컨테이너로 영상 소스를 전달하여 3개의 세로형 쇼츠 생성
- 생성된 클립의 스크립트를 Claude로 검토한 후 틱톡 및 유튜브 쇼츠로 예약 배포
인간의 수작업 편집 개입 없이 롱폼 콘텐츠의 재유통 전 과정을 엔드투엔드로 무인화할 수 있는 인프라가 완성됩니다.
6. 상용 SaaS 대비 한계점과 실무 고려사항
OpenShorts는 뛰어난 확장성과 비용 절감 효과를 제공하지만, 엔터프라이즈 환경이나 비개발자 조직이 도입할 때 주의해야 할 지점도 명확합니다.
첫째, 하드웨어 초기 투자 및 운영 비용입니다. VRAM 16GB 이상의 GPU 환경이 갖춰져 있지 않다면 인코딩 속도 저하로 인해 생산성이 크게 떨어질 수 있습니다. 클라우드 VM(AWS EC2 g5 인스턴스 등)을 사용할 경우 인스턴스 시간당 비용이 누적되므로, 생성 빈도에 따라 상용 SaaS 월 $12 플랜이 오히려 경제적일 수 있습니다.
둘째, 화자 추적 알고리즘의 예외 상황입니다. 팟캐스트처럼 고정된 프레임에서는 YOLOv8과 MediaPipe가 안정적으로 작동하지만, 야외 브이로그나 여러 사람이 빠르게 움직이며 화면이 흔들리는 영상에서는 얼굴 감지 실패로 인한 화면 떨림(Jittering)이 발생할 수 있습니다. 이러한 영상은 수동 크롭 보정이 필요합니다.
셋째, 라이선스 정책의 분리입니다. 오픈소스 코어는 MIT 라이선스로 자유롭게 수정 및 배포가 가능하지만, 결제 모듈 및 상업용 클라우드 대시보드와 관련된 일부 디렉터리(cloud/, 빌링 관련 코드)에는 별도의 상용 라이선스가 적용되어 있으므로 상업적 재배포 시 라이선스 범위를 정밀히 검토해야 합니다.
7. 총평: 영상 파이프라인의 오픈소스화
OpenShorts는 그동안 고비용 폐쇄형 SaaS의 영역이었던 AI 기반 비디오 리프레이밍 및 하이라이트 추출 기술을 오픈소스로 끌어내린 프로젝트입니다. Whisper, Gemini, YOLOv8, Remotion이라는 검증된 기술 블록을 매끄럽게 연결하여 실무 수준의 완성도를 확보했습니다.
로컬 워크스테이션이나 사내 서버 환경을 보유한 크리에이터, 미디어 스타트업, 마케팅 자동화 팀에게 OpenShorts는 데이터 프라이버시를 보장하면서 제작 비용을 영구적으로 절감할 수 있는 훌륭한 선택지입니다. 에이전트 연동을 위한 MCP 지원까지 갖춘 만큼, 영상 편집 파이프라인의 자율화를 고민하고 있다면 반드시 테스트해 볼 가치가 있습니다.
자주 묻는 질문
Q. 로컬 GPU가 없는 일반 PC에서도 실행할 수 있나요?
A. CPU 환경에서도 구동 가능합니다. 다만 8분 길이 영상 기준 약 5~8분이 소요되므로 대량의 영상을 처리해야 한다면 NVIDIA GPU 환경이나 외부 추론 API(fal.ai 등) 연동을 권장합니다.
Q. 추출되는 쇼츠 자막의 언어 지원 범위는 어떻게 되나요?
A. 음성 인식 및 자막 생성에는 faster-whisper가 사용되므로 한국어를 포함한 30개 이상의 다국어를 지원합니다. ElevenLabs 연동 설정을 활성화하면 타 언어로의 자동 더빙 기능도 사용할 수 있습니다.
Q. OpenShorts를 상업적 목적으로 무료 사용할 수 있나요?
A. 핵심 파이프라인 코드는 MIT 라이선스로 제공되어 자체 구축 및 상업적 이용이 가능합니다. 단, 저장소 내 클라우드 결제 관련 디렉터리에는 별도 라이선스가 적용되어 있으므로 코드 수정 배포 시 라이선스 고지를 확인해야 합니다.



댓글 0개