스프쌤
오픈소스

60fps 화면 스트리밍 오픈소스 voxl 공개, AI 원격 컴퓨터 제어의 새 표준

✍ 야금야금⏱ 14분 소요2026-10-17👁
← 목록으로 돌아가기

AI 에이전트에게 원격 PC를 맡겼을 때 뚝뚝 끊기는 스크린샷 폴링으로 수 초씩 낭비되던 지연 시간이, 단 하나의 초당 60프레임 웹소켓 파이프라인으로 사라졌습니다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: 오픈소스 voxl을 통한 AI 에이전트 실시간 컴퓨터 제어

✦ KR 핵심 요약: voxl은 Rust로 개발된 오픈소스 원격 화면 제어 도구로, 단일 WebSocket을 통해 60fps 고속 스트리밍과 유휴 상태 감지 API를 제공합니다. 스크린샷 폴링 없이 웹페이지 렌더링 완료 시점을 정확히 감지해 Tembo 등 실서비스에 적용되고 있습니다.

🌐 Global Takeaway: voxl is an open-source Rust-based toolkit enabling AI agents to interact with remote desktop screens via a single 60fps WebSocket connection. With built-in APIs to detect idle states and render completions, it replaces fragile screenshot polling with deterministic, real-time computer-use pipelines.

아래 그림은 기존의 정적 스크린샷 반복 요청 방식과 voxl의 단일 웹소켓 양방향 실시간 제어 구조의 차이를 보여줍니다.

기존 스크린샷 폴링 vs voxl 실시간 스트리밍
기존 스크린샷 방식
  • 초당 1~2회 반복 캡처 호출
  • 화면 로딩 대기 시간 추측 불가
  • 네트워크 오버헤드와 지연 발생
VS
voxl 스트리밍 방식
  • WebSocket 단일 연결 60fps 스트림
  • 화면 정지(Idle) 감지 API 내장
  • Rust 기반 초경량 크로스 플랫폼
단발성 화면 캡처 방식의 지연을 해결하고 초당 60프레임 연속 스트림과 이벤트 기반 제어를 구현했습니다.
원격 컴퓨터 제어 아키텍처 계층
의사결정 계층Claude, GPT 등 LLM 에이전트
제어 계층voxl API (녹화·캡처·유휴 감지)
전송 계층60fps WebSocket 양방향 통신
실행 계층macOS / Windows / Linux 디스플레이 및 입력
모델 두뇌부터 운영체제 디스플레이 엔진까지 실시간으로 연결되는 소프트웨어 스택 구조입니다.

1. 60fps 화면 스트리밍과 WebSocket 하나로 원격 제어를 푸는 voxl

AI 에이전트가 브라우저나 운영체제 데스크톱을 사람 대신 다루는 '컴퓨터 사용(Computer Use)' 기술이 실험 단계를 넘어 실서비스 인프라로 빠르게 전환되고 있습니다. 2026년 11월 4일 공개된 오픈소스 프로젝트 voxl은 인공지능 에이전트가 원격 컴퓨터 화면을 실시간으로 확인하고 제어할 수 있도록 돕는 도구입니다. Rust 언어로 개발된 이 프로젝트는 macOS, Windows, Linux를 모두 지원하며, 단 하나의 WebSocket 연결만으로 초당 60프레임(60fps)의 부드러운 화면 스트림을 제공합니다.

지금까지 LLM 기반 에이전트가 GUI(그래픽 사용자 인터페이스)를 다루는 방식은 극심한 병목에 시달려 왔습니다. 화면 전체를 HTTP 요청으로 일일이 캡처해 이미지 파일로 전송받고, 모델이 좌표를 계산해 마우스 클릭을 전송한 뒤, 다시 수 초 뒤에 스크린샷을 찍어 결과가 반영되었는지 확인하는 폴링 구조가 일반적이었기 때문입니다. voxl은 화면 전송 파이프라인 자체를 비디오 스트리밍 수준으로 끌어올림으로써 이 지연 시간을 획기적으로 단축했습니다.

1-1. Rust 기반 크로스 플랫폼 설계와 프로덕션 검증

voxl은 시스템 프로그래밍 언어인 Rust의 메모리 안정성과 동시성 처리 성능을 기반으로 작성되었습니다. 저수준 OS 디스플레이 서버(macOS Quartz, Windows DDA, Linux X11/Wayland)의 그래픽 버퍼에 직접 접근하여 오버헤드 없이 프레임을 수집합니다. 이를 통해 중앙처리장치(CPU) 점유율을 최소화하면서도 60fps의 고화질 스트림을 유지합니다.

"voxl은 단순한 개념 증명(PoC) 단계의 코드가 아니며, Tembo 등 실제 클라우드 데이터베이스 플랫폼 서비스 환경에서 인프라 관리 및 자동화 작업용 백엔드로 채택되어 프로덕션 환경에서 검증을 거쳤습니다."

임의의 데모 프로젝트와 달리 실제 기업 운영 환경에서 워크로드를 소화해 낸 아키텍처라는 점은 컴퓨터 사용 기술을 제품에 통합하려는 개발팀에게 중요한 실무적 신뢰를 제공합니다.

2. 기존 컴퓨터 유즈(Computer Use)의 병목: 왜 정적 스크린샷은 실패하는가

앤트로픽(Anthropic)이 2024년 하반기 공개한 Claude Computer Use API와 오픈AI(OpenAI)의 오퍼레이터(Operator) 발표 이후, 화면을 보고 마우스와 키보드를 조작하는 에이전트 연구가 폭발적으로 증가했습니다. 그러나 실제 업무 자동화 환경에서 정적 스크린샷 방식은 세 가지 치명적인 한계에 부딪혔습니다.

  • 불필요한 대기 시간과 타이밍 오차: 웹 애플리케이션의 비동기 API 통신이나 무거운 데스크톱 소프트웨어의 렌더링 지연이 발생할 때, 에이전트는 1~2초 간격으로 sleep을 걸고 스크린샷을 다시 요청해야 했습니다. 이는 토큰 낭비와 실행 시간 증가를 직결시켰습니다.
  • 레이스 컨디션(Race Condition): 버튼을 클릭한 직후 로딩 애니메이션이 도는 도중에 다음 클릭 좌표를 찍어 작업이 꼬이거나 엉뚱한 레이어를 클릭하는 오작동이 빈번했습니다.
  • 고비용 대역폭 소모: 매 상태 확인마다 고해상도 PNG/JPEG 이미지를 독립적인 페이로드로 전송함으로써 네트워크 대역폭과 디코딩 부하가 기하급수적으로 커졌습니다.

이러한 문제를 해결하기 위해 업계에서는 운영체제 내부 접근성 트리를 읽어내는 방식(Vercel Labs의 agent-desktop)과, 실시간 비디오 프레임 파이프라인을 구축하는 방식으로 연구가 양분되기 시작했습니다.

3. voxl의 핵심 아키텍처: 실시간 스트림과 상태 안정화 감지 API

voxl의 가장 큰 기술적 차별점은 에이전트 전용으로 정밀하게 설계된 API 세트입니다. 개발자는 복잡한 비디오 코덱 라이브러리를 다루지 않고도, 에이전트 코드에서 고수준 API를 호출하여 화면의 상태를 제어할 수 있습니다.

// voxl 클라이언트를 통한 화면 유휴 대기 및 캡처 예시 개념도
// WebSocket 단일 파이프라인에서 화면 모션이 멈출 때까지 대기
await voxl.wait_until_idle({
    timeout_ms: 5000,
    motion_threshold: 0.02
});
let frame = await voxl.capture_frame();

AI 에이전트는 API를 통해 화면을 즉시 캡처하거나 특정 세션을 동영상으로 녹화할 수 있습니다. 특히 핵심 기능은 '화면이 바뀌거나 움직임이 멈출 때까지 기다리는(wait until settled/idle)' 조건부 이벤트 대기 로직입니다.

화면 변화 감지 및 작업 실행 루프
작업 지시클릭·키보드 입력 전송
→
변화 감지화면 픽셀 갱신 추적
→
유휴 대기움직임 멈춤 시점 포착
→
다음 판단안정화된 화면 캡처 및 추론
에이전트가 화면 조작 후 렌더링이 완료될 때까지 대기하고 다음 행동을 트리거하는 절차입니다.

3-1. 유휴(Idle) 감지 API를 통한 웹 로딩 완료 시점의 정밀한 포착

기존 에이전트들은 웹페이지에서 검색 버튼을 누른 후 검색 결과가 완전히 렌더링되었는지 확인하기 위해 고정된 지연 시간을 주거나 무한 루프를 돌았습니다. 반면 voxl 환경에서는 에이전트가 wait_until_idle 계열의 호출을 걸어둡니다. 브라우저의 스피너 회전이나 레이아웃 이동이 완전히 끝나 화면 픽셀의 변화율이 임계값 이하로 떨어지는 순간, voxl이 WebSocket을 통해 에이전트에게 즉각 이벤트를 발행합니다. 에이전트는 그 시점에 안정화된 단 한 장의 프레임을 받아 다음 추론을 진행하므로 불필요한 토큰 소비와 시각적 환각(Hallucination)을 원천 차단합니다.

4. 픽셀 스트리밍 vs 접근성 트리: 오픈소스 에이전트 도구 비교

2026년 하반기 들어 AI 에이전트의 OS 인터페이스 생태계는 크게 두 갈래의 접근 방식으로 고도화되고 있습니다. Vercel Labs가 2026년 10월 28일 1.0.0 버전을 내놓은 agent-desktop이 OS 접근성 트리(Accessibility Tree)를 JSON으로 파싱해 클릭 지점을 매핑하는 도구라면, voxl은 실제 디스플레이 픽셀의 60fps 스트림을 다루는 솔루션입니다. 또한 2026년 7월 공개된 open-cowork는 사람의 개입과 승인을 중심으로 모델 불문(model-agnostic) 구조를 취하고 있습니다.

비교 항목 voxl agent-desktop (Vercel Labs) open-cowork (Coasty)
기반 언어 및 라이선스 Rust 기반, 오픈소스 Rust / C 라이브러리, Apache-2.0 TypeScript/Node, MIT
핵심 제어 방식 60fps 픽셀 스트림 및 WebSocket API 접근성 트리(@ref 식별자) 기반 JSON 출력 시각적 캡처 및 단계별 사용자 승인 감독
화면 인식 대상 모든 GUI(게임, 브라우저, 레거시 SW) 접근성 트리를 노출하는 일반 데스크톱 앱 브라우저, 로컬 데스크톱, 클라우드 VM
주요 강점 로딩·모션 유휴 감지, 실시간 스트리밍 좌표 추측 없음, 초저비용 토큰 소비 원클릭 설치, 데모 모드, 인간 승인 루프
주요 한계 비전 모델 토큰 비용 발생 접근성 트리 미지원 그래픽 캔버스 제어 불가 로컬 마우스 직접 탈취로 인한 격리 필요
에이전트 GUI 제어 기술 포지셔닝
실행 격리 수준
원격 픽셀 스트리밍
  • voxl
  • 원격 VM 안전 제어
  • 60fps 영상 분석
로컬 픽셀 제어
  • Open-Cowork 데모
  • 사용자 PC 직접 화면 캡처
원격 구조 트리
  • 헤드리스 브라우저 CDP
  • DOM 구조 파싱
로컬 접근성 트리
  • agent-desktop
  • OS 손쉬운 사용 트리 파싱
화면 인식 방식
데이터 추출 방식(픽셀 vs 트리)과 실행 격리 수준(로컬 vs 원격)에 따른 분류입니다.

접근성 트리 방식은 버튼 텍스트나 UI 계층 구조를 텍스트로 읽기 때문에 토큰을 극도로 아낄 수 있다는 장점이 있습니다. 반면 캔버스(Canvas) 기반의 차트, 웹GL, 동영상 플레이어, 혹은 레거시 ERP 프로그램처럼 운영체제에 접근성 정보를 제공하지 않는 소프트웨어 앞에서는 완전히 멈춰 서게 됩니다. voxl은 시각 정보 전체를 60fps로 다루기 때문에 소프트웨어의 구현 방식과 관계없이 사람이 눈으로 보는 모든 화면을 동일하게 처리할 수 있는 범용성을 확보합니다.

5. 로컬 데스크톱부터 원격 VM까지: 실제 배포 및 격리 운영 아키텍처

컴퓨터 사용 에이전트를 실무에 적용할 때 가장 위험한 방식은 사용자가 일상 업무를 진행하는 개인 PC의 마우스와 키보드를 직접 탈취하게 만드는 것입니다. 작은 UI 오작동 하나로 민감한 이메일이 삭제되거나 금융 결제창에서 엉뚱한 버튼이 눌릴 수 있기 때문입니다. 따라서 실제 기업 도입 시에는 클라우드 가상머신(VM)이나 독립된 컨테이너 환경에서 실행하는 것이 표준으로 자리 잡고 있습니다.

# agent-desktop 등 로컬 제어 도구의 일반적 설치 방식과 달리,
# 원격 헤드리스 VM에서 데몬 형태로 구동하여 에이전트에 WebSocket을 열어주는 구조를 취함
npm install -g agent-desktop

voxl은 원격 VM에서 백엔드 데몬으로 상주하며 로컬 호스트나 원격 에이전트 서비스와 WebSocket으로만 통신합니다. 에이전트는 원격 머신 내부의 가상 X 서버(Xvfb)나 가상 디스플레이 버퍼를 voxl을 통해 관찰하고 조작하므로, 호스트 시스템의 실제 입력 장치와 물리적으로 완벽히 분리됩니다.

5-1. 보안 샌드박스와 감사(Audit) 로그 구축

voxl의 녹화(Recording) API는 엔터프라이즈 환경에서 강력한 컴플라이언스 도구로 작동합니다. 에이전트가 수행한 모든 조작 과정이 60fps 비디오 및 시점별 타임스탬프 로그로 저장됩니다. 만약 에이전트가 예기치 않은 오류를 범하거나 비정상적인 경로로 진입했을 때, 사후에 정확한 마우스 궤적과 화면 상태 변화를 비디오로 재생하며 원인을 분석할 수 있습니다. 이는 AI 자동화 도입 시 가장 큰 걸림돌이었던 '사고 발생 시 책임 소재 규명' 문제를 기술적으로 완화해 줍니다.

6. AI 에이전트 도입 실무 가이드와 주의사항

실무 현장에서 voxl과 같은 원격 컴퓨터 제어 엔진을 도입할 때는 체계적인 단계별 접근이 필요합니다.

  1. 공식 API 부재 영역의 선별: 이미 안정적인 REST API나 CLI가 제공되는 SaaS 도구에 억지로 화면 제어 에이전트를 붙이는 것은 비효율적입니다. 백오피스 관리자 페이지, 레거시 사내 인트라넷, 데이터 복사-붙여넣기가 반복되는 비정형 수작업 툴을 1순위 위임 대상으로 선정해야 합니다.
  2. 권한 최소화 및 네트워크 망분리: 에이전트가 동작하는 가상 환경에는 작업에 필요한 최소한의 브라우저 쿠키와 권한만 부여해야 합니다. 개인 메신저, 사내 핵심 저장소, 개인 클라우드가 연동된 브라우저 프로필을 에이전트 VM에 그대로 복사해 넣는 것은 심각한 보안 침해로 이어질 수 있습니다.
  3. 안전장치(Kill-Switch) 설계: 화면 변화 감지 API가 타임아웃을 반환하거나, 동일한 루프를 3회 이상 반복할 경우 즉시 작업을 중단하고 인간 관리자에게 슬랙이나 웹훅으로 알림을 보내는 인터럽트 설계를 반드시 포함해야 합니다.

컴퓨터 사용 에이전트는 성공률이 화면 상태의 변화에 크게 좌우되는 민감한 기술입니다. 따라서 완전 자율 실행에 맡기기보다는, 초기에는 voxl을 통해 화면을 스트리밍받아 대시보드에서 인간이 관전하고 중요한 결정 지점마다 승인을 누르는 감독형(Human-in-the-loop) 파이프라인을 구축하는 것이 권장됩니다.

7. 자율 운영 컴퓨터 인터페이스의 미래와 전망

과거 RPA(로봇 프로세스 자동화) 도구들이 화면의 고정된 좌표나 DOM 셀렉터에 의존하다가 작은 UI 업데이트에도 쉽게 깨져나갔던 한계를 감안하면, AI 모델의 시각 추론 능력과 voxl 같은 고속 프레임워크의 결합은 패러다임의 전환을 의미합니다. 화면의 해상도가 바뀌거나 버튼의 위치가 달라져도 비전 기반 에이전트는 화면의 맥락을 인식해 올바른 인터페이스를 찾아냅니다.

특히 Rust 기반으로 가볍고 빠르게 화면을 긁어오면서도 모션 유휴 상태를 정밀하게 판별해 주는 인프라 계층이 오픈소스로 공개됨에 따라, 소규모 스타트업이나 1인 개발자도 자체적인 '디지털 동료' 인프라를 구축할 수 있는 비용 장벽이 허물어졌습니다. 텍스트 프롬프트를 넘어 운영체제의 마우스와 키보드를 직접 다루는 에이전틱 AI(Agentic AI) 시대의 핵심 동력은, 결국 모델을 실제 데스크톱 픽셀과 얼마나 지연 없이 안전하게 연결해 주느냐에 달려 있습니다.

자주 묻는 질문

Q. voxl은 Vercel의 agent-desktop과 무엇이 다른가요?
A. agent-desktop은 운영체제의 손쉬운 사용(접근성) 트리를 JSON 구조로 읽어 좌표 없이 UI 요소를 지정하는 방식인 반면, voxl은 Rust를 통해 60fps 비디오 스트림을 WebSocket으로 전송하며 화면의 시각적 변화와 정지(Idle) 상태를 감지하는 픽셀 중심의 원격 제어 도구입니다.

Q. 실제 서비스 환경에서도 안정적으로 사용할 수 있나요?
A. 네, voxl은 오픈소스 공개 시점부터 Tembo와 같은 클라우드 서비스 기업의 실제 프로덕션 워크로드에서 시스템 제어 및 자동화용 백엔드로 사용되며 성능과 안정성을 검증받았습니다.

Q. 화면이 멈출 때까지 기다리는 기능(Idle 감지)은 왜 필요한가요?
A. 웹페이지 이동이나 무거운 소프트웨어 렌더링 시 스피너 회전이나 레이아웃 이동이 끝날 때까지 기다리지 않고 다음 클릭을 수행하면 오작동이 발생합니다. voxl은 화면 픽셀 변화가 멈추는 시점을 자동으로 감지해 에이전트에게 알려줌으로써 불필요한 스크린샷 반복 요청과 시각적 환각을 방지합니다.

원본

https://www.threads.com/@choi.openai/post/DfT-jSWDyoa

https://sysmaker.kr/articles/2026-07-31-%ED%99%94%EB%A9%B4-%EB%B3%B4%EA%B3%A0-%EB%8C%80%EC%8B%A0-%EC%9D%BC%ED%95%98%EB%8A%94-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-ai-%EB%8F%99%EB%A3%8C-%EB%93%B1%EC%9E%A5

https://datacodingschool.tistory.com/355

함께 보면 좋은 글

댓글 0개