스프쌤
AI 자동화

헤이젠 Avatar 6와 클로드 스킬로 릴스·쇼츠 자동화하는 방법

✍ 야금야금⏱ 15분 소요2026-11-19👁
← 목록으로 돌아가기

카메라를 거의 켜지 않고도 영상이 나온다니, 3개월 만에 팔로워 1만 명이라는 주장까지 붙었습니다. 헤이젠·목소리 복제·클로드 코드로 만든 숏폼 자동화 워크플로입니다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: AI 아바타 숏폼 자동화 워크플로

✦ KR 핵심 요약: 헤이젠 Avatar 6로 얼굴을 학습하고 목소리를 복제한 뒤 클로드 코드로 자막·제목·효과음을 자동 편집하는 3단계 워크플로가 공유됐다. 세 도구 모두 유료이며 3개월 1만 팔로워는 작성자 본인의 주장이다. 핵심은 자동화 자체가 아니라 사람들이 좋아하는 영상을 자동화하는 데 있다.

🌐 Global Takeaway: A Korean creator's workflow combines HeyGen's Avatar 6 for face training, a voice cloning service for voice replication, and Claude Code with skills for automated subtitle, title, and sound effect editing. All three tools are paid, and the claimed 10K followers in three months is the author's own report. The key lesson: automate videos people already want to watch.

아래 그림은 얼굴 학습부터 자동 편집까지 이어지는 3단계 숏폼 자동화 워크플로를 보여줍니다.

숏폼 자동화 3단계
얼굴 학습헤이젠 Avatar 6
→
목소리 복제일레븐랩스·피쉬 오디오
→
자동 편집클로드 코드 + 스킬
→
완성릴스·쇼츠용 영상
얼굴 학습, 목소리 복제, 자동 편집이 순서대로 이어지는 워크플로

1. 📱 카메라 없이 영상을 만드는 방식이 화제가 됐다

2026년 10월 10일, 소셜 미디어 계정 'glitter_ai_factory'가 Threads에 올린 게시물이 크게 확산됐다. 제목부터 직설적이다. “내 얼굴 AI 아바타 + 클로드 스킬로 릴스·쇼츠 자동화하는 법”. 카메라를 거의 켜지 않고도 영상을 만들고 있다는 작성자는 헤이젠(HeyGen)으로 얼굴을 학습하고, 목소리 복제 서비스로 내 목소리를 입히고, 클로드 코드(Claude Code)가 자막·제목·효과음을 자동 편집하는 3단계 워크플로를 공개했다. 이 방식으로 3개월 만에 팔로워 1만 명을 만들었다는 주장도 함께 적혀 있다.

같은 내용은 당근 카페 '우리동네 AI로 돈벌기 실험실'에도 공유됐다. 이 카페는 2026년 9월 24일에 개설된 커뮤니티로, 20~85세를 대상으로 ChatGPT와 다양한 AI 도구를 활용해 앱·웹사이트·전자책·블로그·유튜브 콘텐츠·업무 자동화 등을 직접 만들어 수익화하는 실험을 함께한다. 가입자 286명 규모에서 “내 얼굴로 쇼츠 자동화하는 법”이라는 글이 올라왔고, 카페 소개 문구가 보여주듯 “AI를 배우기만 하지 말고 직접 만들어 돈이 되게 하자”는 취지에서 코딩을 모르는 사람도 AI 챗봇에 물어보는 것만으로 이 워크플로를 따라 할 수 있다는 점이 주목받았다.

두 게시물 사이에는 미세한 차이가 있다. 원문 Threads에서는 목소리 복제 도구가 '피쉬 오디오'로 표기됐지만, 카페 게시글에서는 '일레븐랩스'로 바뀌어 있다. 어느 쪽이든 “내 목소리를 복제해 아바타에 입히는” 역할은 동일하고, 작성자가 의도한 파이프라인의 구조는 같다.

1-1. 게시물에 적힌 3단계와 확인된 사실

  • 1단계 — 헤이젠(HeyGen): 27초 영상으로 내 얼굴 학습
  • 2단계 — 목소리 복제 서비스: 내 목소리 복제 (원문 표기 '피쉬 오디오', 카페 표기 '일레븐랩스')
  • 3단계 — 클로드 코드(Claude Code): 자막·제목·효과음 자동 편집
항목 내용
게시 시점 2026-10-10 (Threads)
카페 공유 '우리동네 AI로 돈벌기 실험실' (2026-09-24 개설)
도구 구성 얼굴 학습 + 목소리 복제 + 자동 편집의 3단계
비용 세 도구 모두 유료 서비스로 돈이 든다
주장 성과 3개월 만에 팔로워 1만 명, 수익화 사례 증가

문제는 모두 유료서비스라 돈이 든다는 겁니다. 그래도 저걸로 3개월에 1만 팔로우되고 수익화하는 사람들이 점점 많아지고 있습니다.

이 성과 수치는 커뮤니티 게시글의 주장이다. 독립적인 검증 자료는 아직 없다. 다만 “배우는 AI에서 돈되는 AI로”를 표방하는 실험 커뮤니티에서 이런 사례가 반복적으로 공유된다는 점 자체가, AI 아바타 기반 숏폼 자동화가 실험 단계를 넘어 확산되고 있다는 흐름을 보여준다. 카페에는 이런 워크플로를 AI 챗봇에 물어보는 방식으로 배우는 경로도 함께 안내돼 있다.

2. 🔧 얼굴·목소리·편집, 세 층위의 분업

이 워크플로가 눈에 띄는 이유는 복잡한 기술이 아니라 역할 분담이 명확하기 때문이다. 영상 한 편에는 얼굴, 목소리, 편집이라는 서로 다른 층위가 있는데, 각 층위를 서로 다른 AI 도구가 담당한다. 촬영 장비나 편집 기술을 갖추지 못한 1인 크리에이터도 세 도구를 연결하기만 하면 파이프라인을 만들 수 있다는 점이 확산의 배경이다.

2-1. 각 도구가 맡는 역할

첫 번째는 헤이젠이다. 게시글 기준으로는 “27초 영상으로 내 얼굴 학습”이라고 설명한다. 짧은 영상을 올려두면 이후 생성되는 모든 영상에서 동일한 얼굴과 표정을 유지하는 아바타가 된다. 촬영할 때마다 조명과 각도가 달라지는 문제를 한 번의 학습으로 해결하는 셈이다.

두 번째는 목소리 복제 서비스다. Threads 원문은 '피쉬 오디오', 카페 게시글은 '일레븐랩스'로 표기하지만 역할은 같다. 아바타가 입만 움직이는 것이 아니라 실제 사람처럼 들리려면 목소리가 핵심이다. 다만 이 글의 근거 자료에는 일레븐랩스의 공식 기능과 가격 정보가 포함되어 있지 않아, 서비스별 세부 사양은 각 공식 문서에서 확인해야 한다.

세 번째는 클로드 코드다. 영상 편집 소프트웨어를 사람이 직접 만지는 대신, 자막 삽입·제목 생성·효과음 배치 같은 반복 작업을 코드 기반으로 자동화한다. 여기에 “클로드 스킬”이라는 개념이 붙는다. 스킬은 클로드가 특정 작업을 반복해서 수행할 수 있게 해주는 지시문 파일로, 영상 편집 파이프라인을 스킬로 만들어두면 다음 영상부터는 같은 절차가 자동으로 재사용된다.

기존 촬영·편집 vs AI 아바타 파이프라인
기존 방식
  • 매번 카메라 촬영
  • 조명·분위기 세팅
  • 수작업 자막·효과음
  • 편집에 시간 소모
VS
AI 아바타 방식
  • 27초 영상으로 얼굴 학습
  • 복제한 목소리 재사용
  • 자막·제목·효과음 자동 편집
  • 대본만 바꿔 반복 생산
사람이 하던 촬영과 편집 작업이 AI 도구로 어떻게 대체되는지 비교

이 구조의 실질적인 의미는 시간의 재배분이다. 기존에는 촬영, 조명 세팅, 수작업 자막, 효과음 배치에 시간이 갔다. 새 방식에서는 얼굴 학습과 목소리 복제는 초기에 한 번만 하고, 이후에는 대본과 소재만 바꿔 같은 파이프라인을 돌린다. 사람의 시간이 “만드는 일”에서 “무엇을 만들지 고르는 일”로 이동하는 것이다.

3. 🎬 헤이젠 Avatar 6는 얼마나 실감 나는가

헤이젠은 이 워크플로의 얼굴을 담당하는 서비스로, 공식 사이트 기준 최신 모델 'Avatar 6'를 앞세우고 있다.

3-1. Avatar 6의 핵심 기능

공식 문서에 따르면 Avatar 6는 사진 한 장만으로 사람의 외모와 말투, 움직임을 최대 2K 해상도로, 길이 제한 없이 재현한다. 게시글이 말하는 “27초 영상으로 얼굴 학습”보다 공식 설명이 더 넓다. 말투와 제스처, 움직임까지 학습해 “실제 나처럼 자연스러운 영상”을 만든다고 설명한다.

일관성도 핵심 기능이다. 30초 클립부터 10분 분량의 강의 모듈까지, 같은 얼굴과 미세한 표정, 특유의 존재감이 영상 전체에서 이어진다. 와이드 샷부터 클로즈업까지 한 번의 촬영으로 다양한 앵글을 구현할 수 있어, 하나의 아바타를 여러 포맷에 재활용할 수 있다. 립싱크는 175개 이상의 언어와 방언에서 음소 단위로 구현되며, 음성에 맞춘 상체 움직임과 제스처, 감정 표현도 지원한다고 밝힌다.

평판 지표도 공개돼 있다. G2에서 1,000개 이상의 리뷰 기준 4.8/5 점수를 받았고 “가장 사실적인 아바타” 1위로 선정됐다고 주장하며, 포춘 100대 기업 중 85%가 신뢰한다고 소개한다. 접근성 측면에서는 “무료로 시작하기”를 제공하고, 카메라·편집 소프트웨어·영상 제작 기술 없이 프롬프트 하나로 완성된 영상을 생성할 수 있다고 안내한다. ChatGPT용 플러그인도 제공돼 ChatGPT 안에서 서비스를 사용할 수 있다.

Avatar 6 핵심 수치
립싱크 지원 언어·방언
175개
G2 리뷰 평점
4.8점
포춘 100대 기업 신뢰
85%
사진 한 장에서 2K 아바타, 175개 언어 립싱크, G2 4.8점의 공식 지표

숫자로 보면 Avatar 6의 포지션이 명확해진다. 사진 한 장에서 2K 해상도 아바타를 만들고, 175개 언어에서 립싱크가 맞으며, G2 리뷰 4.8/5라는 평점은 “아바타가 어색해서 시청자가 이탈하는” 문제를 상당 부분 줄여준다는 뜻이다. 다만 이는 서비스 측 공식 수치이며, 실제 내 얼굴 재현도가 얼마나 자연스러운지는 직접 생성해 봐야 안다.

4. 🤖 클로드 스킬은 어떤 구조로 편집을 자동화하는가

영상의 마지막 층위인 편집은 “클로드 코드 + 클로드 스킬” 조합이 담당한다. 사람이 영상 편집 프로그램을 열어 자막을 하나씩 맞추는 대신, 반복되는 편집 규칙을 파일로 정의해두고 클로드 코드가 실행하게 하는 방식이다.

4-1. SKILL.md 기반의 스킬 구조

클로드 스킬은 SKILL.md라는 파일을 중심으로 구성된다. 이 파일 안에 “이런 입력이 오면 이런 절차로 작업하라”는 지시와 절차가 적혀 있고, 클로드 코드가 그 지시를 읽고 반복 작업을 수행하는 구조다. 네이버 블로그의 AI 공부 사례에 따르면 앤트로픽의 무료 강의 “Introduction to agent skills” 첫 레슨 “What are skills?”이 이 구조를 이해하는 참고 자료로 소개됐다.

실제 활용 사례도 있다. DC인사이드 갤러리에는 클로드 코드에 요청을 입력하면 클로드가 저장소를 내려받아 스킬 13종을 자동 설치하는 방식이 소개됐다. 해당 사례는 저장소의 채점표 원문을 바탕으로 항목별 배점과 고치는 순서, AI 문체를 점검하는 인스타그램 프로필 채점이라는 다른 도메인이지만, “요청 한 번으로 스킬 묶음을 설치해 반복 작업을 자동화한다”는 패턴은 영상 편집에도 그대로 적용된다. 자막 템플릿, 제목 규칙, 효과음 삽입 순서 같은 것을 스킬 파일로 만들어두면 매 편마다 같은 품질의 편집이 나온다.

이 방식의 장점은 편집자의 숙련도에 덜 의존한다는 점이다. 사람이 일일이 자막을 맞추고 효과음을 배치하는 대신, 스킬이 정의한 규칙을 클로드 코드가 실행한다. 대신 스킬을 잘 설계하려면 “좋은 쇼츠 편집이란 무엇인가”에 대한 기준을 먼저 언어로 정리해야 한다. 자막이 몇 초에 등장하고, 제목이 어떤 길이이며, 효과음이 어느 시점에 들어가는지를 명시하지 않으면 자동화는 일관성 없는 결과를 반복 생산할 뿐이다. 자동화의 품질은 결국 사람이 정의한 규칙의 품질을 따른다.

5. 💰 비용과 수익화의 현실

5-1. 세 도구 모두 유료라는 전제

게시물 작성자가 직접 밝힌 대로 “문제는 모두 유료서비스라 돈이 든다는 것”이다. 헤이젠·일레븐랩스·클로드 코드 각각에 구독 또는 사용량 기반 비용이 발생하며, 근거 자료에는 구체적 가격과 구독 등급이 포함되어 있지 않다. 헤이젠은 공식 사이트에서 무료 시작을 제공하므로, 먼저 무료 범위에서 아바타 품질을 확인한 뒤 유료 전환 여부를 결정하는 순서가 합리적이다. 목소리 복제와 클로드 코드도 사용량이 늘수록 비용이 커질 수 있어, 월간 생산 편수를 정한 뒤 예산을 역산하는 방식이 필요하다.

수익화 측면에서는 작성자와 카페 게시자가 “3개월에 1만 팔로우되고 수익화하는 사람들이 점점 많아지고 있다”고 주장한다. 팔로워 증가가 곧바로 수익은 아니지만, 일관된 얼굴과 목소리의 콘텐츠를 높은 빈도로 올릴 수 있게 되면 채널 운영 자체가 규모를 갖추기 쉬워진다. 카페의 목적 자체가 “부업·1인창업·사업 자동화와 수익화” 실험이고, 1942년생부터 2007년생까지 “혼자 배우다 포기하지 말고 동네 사람들과 서로 가르치고 배우며 첫 결과물, 첫 고객, 첫 수익에 도전하자”는 취지로 운영되므로, 이 워크플로는 그 실험의 한 사례로 공유된 것이다.

핵심은 자동화가 아니고 사람들이 좋아하는 영상을 자동화하는 겁니다.

이 조언이 이 워크플로의 성패를 가른다. 도구가 세팅돼 있어도 소재와 구성이 시청자와 맞지 않으면 팔로워는 늘지 않는다. 반대로 사람들이 좋아하는 영상 포맷을 자동화 파이프라인에 올리면, 같은 시간에 더 많은 편수를 생산할 수 있다. 자동화는 생산량의 문제를 풀고, 콘텐츠의 문제는 여전히 사람의 몫이다.

게시물은 방법을 묻는 것에 대해서도 답을 제시한다. “방법은 클로드나 지피티에게 물어보면 자세히 알려줄 것”이라는 안내처럼, 이 워크플로의 복잡한 부분은 별도 강의가 아니라 AI 챗봇과의 대화로 해결하는 흐름이다.

6. ⚠️ 한계와 주의할 점

먼저 포맷 문제다. 이 워크플로의 목표는 릴스·쇼츠이지만, 근거 자료에는 헤이젠이 세로(9:16) 영상 출력을 지원하는지 명시돼 있지 않다. 공식 문서 기준으로는 지원 플랫폼이 웹사이트와 ChatGPT 플러그인으로 확인될 뿐, 세로 포맷 설정 방법은 적혀 있지 않다. 실사용 전에 각 서비스의 내보내기 옵션에서 비율을 직접 확인해야 한다.

두 번째는 목소리 복제 도구의 정보 공백이다. 카페 게시글은 '일레븐랩스', 원문은 '피쉬 오디오'로 서로 다르게 표기하며, 근거 자료에는 두 서비스의 공식 기능·가격·플랫폼 정보가 없다. 어느 도구를 쓸지는 각 서비스 문서를 비교한 뒤 결정해야 한다.

세 번째는 아바타의 한계다. Avatar 6가 일관된 캐릭터와 립싱크를 제공한다고 해도, 감정의 미세한 뉘앙스나 긴 영상에서의 표정 일관성은 실제 결과물로 확인할 부분이다. 또한 목소리 복제는 본인 목소리라는 민감한 데이터를 다루는 작업이므로, 각 서비스의 데이터 처리 정책과 플랫폼의 AI 생성 콘텐츠 표시 요건을 함께 확인하는 것이 안전하다.

네 번째는 성과 주장에 대한 태도다. “3개월 1만 팔로워”는 작성자 본인의 보고이며 독립 검증이 없다. 도구 도입 전에 소규모 채널로 먼저 테스트하고, 팔로워 증가보다 시청 유지율 같은 지표를 보는 편이 현실적이다.

7. ✅ 정리: 어디서부터 시작할까

이 워크플로를 따라 하려면 순서는 단순하다.

  1. 헤이젠에 무료로 시작해 사진이나 짧은 영상으로 아바타를 생성하고 얼굴 일관성을 확인한다.
  2. 목표에 맞는 목소리 복제 서비스를 비교해 내 목소리를 학습시킨다.
  3. 클로드 코드에 자막·제목·효과음 편집을 맡길 스킬을 만들거나 기존 스킬을 설치한다.
  4. 짧은 소재로 한 편을 완성해 릴스·쇼츠 포맷으로 출력되는지 확인한다.
  5. 반응을 보며 소재와 편집 규칙을 스킬에 반영해 파이프라인을 개선한다.

핵심은 도구 세 개를 사는 것이 아니라, 얼굴·목소리·편집의 각 층위를 자동화 가능한 형태로 정의하는 데 있다. “사람들이 좋아하는 영상을 자동화하는 것”이라는 조언처럼, 파이프라인이 완성된 뒤에도 무엇을 올릴지는 사람의 판단이 남는다.

카메라 앞에 서는 시간이 줄어드는 대신, 이제 크리에이터에게 남는 질문은 “얼마나 예쁘게 찍을까”가 아니라 “무엇을 자동화할까”다.

자주 묻는 질문

Q. 헤이젠 Avatar 6는 어떻게 내 얼굴을 학습하나요?
A. 공식 문서 기준으로 사진 한 장만으로 외모와 말투, 움직임을 최대 2K 해상도로 재현합니다. 게시물에서는 27초 영상으로 얼굴을 학습한다고 안내하며, 말투·제스처·움직임까지 학습해 실제 사람처럼 자연스러운 영상을 만듭니다.

Q. 이 워크플로에 비용이 얼마나 드나요?
A. 헤이젠, 일레븐랩스, 클로드 코드 세 도구 모두 유료 서비스로 작성자가 비용 부담을 직접 언급했습니다. 다만 헤이젠은 무료로 시작할 수 있어 아바타 품질을 먼저 확인한 뒤 유료 전환을 결정할 수 있습니다.

Q. 클로드 코드는 영상 편집에서 구체적으로 무엇을 하나요?
A. 자막 삽입, 제목 생성, 효과음 배치 같은 반복 편집 작업을 자동화합니다. 클로드 스킬(SKILL.md 파일)로 편집 규칙을 정의해두면 같은 절차가 매 편마다 재사용됩니다.

Q. 3개월 만에 팔로워 1만 명이라는 주장은 믿을 수 있나요?
A. 작성자 본인의 주장이며 독립적인 검증 자료는 없습니다. 다만 핵심은 도구가 아니라 사람들이 좋아하는 영상을 자동화하는 것이라는 점이 이 워크플로의 실제 교훈입니다.

원본

https://www.threads.com/@glitter_ai_factory/post/DeUJ7kxExI7

https://cafe.daangn.com/ulidongne-ai-do/posts/%EB%82%B4-%EC%96%BC%EA%B5%94%EC%9C%BC%EB%A1%9C-%EC%87%BC%EC%B8%A0-%EC%9E%90%EB%8F%99%ED%99%94%ED%95%98%EB%8A%94-%EB%B2%95-dZn1bo5d

https://www.heygen.com/ko-kr

함께 보면 좋은 글

댓글 0개