스프쌤
AI·오픈소스

로컬 생성 AI 품은 오픈소스 캔버스, Krita AI Diffusion 1.54.0의 기술적 도약

✍ 야금야금⏱ 17분 소요2026-11-07👁
← 목록으로 돌아가기

원격 클라우드 서버에 매달 구독료를 지불하면서도 브러시 터치 하나 마음대로 통제하지 못하던 생성 AI 작업 환경이, 이제 온디바이스 그래픽 툴 안으로 완전히 통합되었습니다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: Krita AI Diffusion 1.54.0-pre 릴리스 분석

✦ KR 핵심 요약: 오픈소스 드로잉 툴 Krita의 대표 플러그인인 Krita AI Diffusion이 Krita 6 및 Qt6 기반 1.54.0-pre 버전을 공개했습니다. 로컬 GPU 자원을 활용해 데이터 외부 유출 없이 고정밀 인페인팅, 아웃페인팅, ControlNet 제어를 지원하며 차세대 오픈소스 워크플로의 표준을 제시합니다.

🌐 Global Takeaway: Krita AI Diffusion 1.54.0-pre marks a significant leap toward on-device, artist-driven generative workflows by migrating natively to Krita 6 and Qt6. By seamlessly coupling local diffusion backends like ComfyUI with traditional digital painting layers, it transforms probabilistic AI generation into a deterministic, fine-grained creation pipeline without cloud reliance.

아래 비교 도표는 웹 UI 중심의 기존 클라우드 이미지 생성 방식과 Krita AI Diffusion 기반의 로컬 캔버스 연동 방식을 대조하여 보여줍니다.

기존 웹 기반 생성 워크플로 vs Krita AI Diffusion 플러그인
기존 웹 UI 방식
  • 별도 웹 브라우저 창 전환
  • 전체 프롬프트 기반 재생성
  • 외부 클라우드 데이터 전송
  • 레이어 분리 편집 번거로움
VS
Krita AI Diffusion
  • 캔버스 내 즉각 인페인팅
  • ControlNet 레이어별 정밀 제어
  • 로컬 GPU 완전 구동 보안
  • Qt6 기반 네이티브 결합
브라우저 복사·붙여넣기 없이 캔버스 내부에서 레이어와 붓질로 확산 모델을 제어합니다.

1. 캔버스를 떠나지 않는 AI 생성 도구의 등장

생성형 인공지능 기술이 시각 예술 분야에 도입된 이래, 작업 현장의 가장 큰 불만은 파편화된 인터페이스였습니다. 텍스트 프롬프트를 웹 브라우저 창에 입력하고, 수십 초를 기다려 마음에 드는 이미지를 뽑아낸 뒤, 이를 다시 데스크톱 그래픽 프로그램으로 내려받아 수정하는 방식은 창작자의 몰입을 지속해서 방해했습니다. 특히 캐릭터의 손가락 모양을 고치거나 배경의 특정 오브젝트만을 덧붙이기 위해 웹 UI와 포토샵, 혹은 여타 드로잉 툴 사이를 왕복하는 작업은 생산성을 심각하게 떨어뜨리는 주원인이었습니다.

오픈소스 페인팅 소프트웨어 Krita(크리타) 생태계에서 개발자 Acly가 주도해 온 krita-ai-diffusion 프로젝트는 이러한 문제를 정면으로 돌파한 프로젝트입니다. 2026년 10월 3일, 개발팀은 차세대 그래픽 프레임워크를 적용한 1.54.0-pre 미리 판을 릴리스하며 대대적인 아키텍처 개편을 단행했습니다. Krita 6 환경과 Qt6 GUI 프레임워크로 완전히 이전하면서 기존 Krita 5 지원을 과감히 종료하고, 최신 모델 파이프라인과의 연동 성능을 끌어올렸습니다.

이 프로젝트가 디자이너와 일러스트레이터 사이에서 폭발적인 지지를 얻은 핵심 이유는 '외부 서버가 아닌 내 컴퓨터의 그래픽카드'를 직접 구동 엔진으로 사용한다는 점입니다. 기업의 기밀 시안이나 개인의 창작 원화가 외부 클라우드 서버로 단 1바이트도 전송되지 않으며, 사용자가 캔버스 위에 그어놓은 대략적인 낙서나 선화, 뼈대 자세를 모델이 충실하게 읽어 들여 지정한 영역만 덮어씁니다.

Krita AI Diffusion 시스템 스택 구조
애플리케이션 계층Krita 6 (Qt6 인터페이스, 캔버스 레이어, 선택 영역 도구)
플러그인 브리지 계층krita-ai-diffusion (UI 도크, 렌더링 파이프라인 관리)
생성 백엔드 계층ComfyUI / Stable Diffusion / Qwen Image 2.1 엔진
하드웨어 가속 계층로컬 GPU (NVIDIA CUDA / DirectML / Apple Silicon MPS)
Krita의 디지털 페인팅 환경 하부에 ComfyUI 백엔드와 확산 제어 엔진이 통합된 계층입니다.

1-1. 버전 1.54.0-pre 공개와 주요 지표

GitHub 공식 리포지토리에 보고된 1.54.0-pre 버전은 단순한 기능 추가를 넘어선 세대교체를 뜻합니다. 직전 안정판이었던 1.53.0 버전(2026년 8월 22일 배포)은 누적 다운로드 33,379건을 기록하며 수많은 실무자의 작업대에 안착했습니다. HelloGitHub 및 GitHub 통계에 따르면 본 저장소는 별(Star) 10,800개 이상, 포크 650개 이상을 달성하며 오픈소스 AIGC(AI Generated Content) 플러그인 중 최상위권의 영향력을 확보했습니다.

배포 버전 출시 시점 권장 기반 소프트웨어 프레임워크 환경 주요 기술적 변화
v1.53.0 2026년 8월 22일 Krita 5.3.2.1 Qt5 / Python 3.10 Anima 세그멘테이션 제어 레이어 지원, 안정화 패치
v1.54.0-pre 2026년 10월 3일 Krita 6.0.4 Qt6 / Python 최적화 Krita 6/Qt6 전면 마이그레이션, Qwen Image 2.1 지원, Krita 5 미지원

"이번 판은 Krita 6으로 옮겨 가면서 Krita 5에서는 더 이상 돌아가지 않으며, 사전 배포판(Pre-release) 특성상 광범위한 테스트를 거치지 않았고 macOS 환경에서는 성능 저하가 발생할 수 있습니다."
— Acly GitHub 릴리스 노트 발췌

이처럼 이번 배포는 최신 그래픽 소프트웨어의 아키텍처 혁신에 발맞추어, 이전 세대의 호환성 부채를 털어내고 고해상도 처리 속도와 레이어 반응성을 대폭 끌어올리는 분기점이 되었습니다.

2. Krita AI Diffusion의 핵심 아키텍처와 구동 원리

Krita AI Diffusion이 여타 확장 프로그램과 차별화되는 지점은 브라우저 래퍼(Wrapper) 수준의 어설픈 연결이 아니라, Krita 내부의 풍부한 그래픽 객체 지향 모델과 로컬 확산 모델 백엔드를 긴밀하게 직결했다는 데 있습니다. 사용자가 캔버스에서 특정 영역을 선택 도구로 지정하면, 플러그인은 해당 영역의 픽셀 데이터와 마스크 맵을 실시간으로 직렬화하여 로컬에 상주하는 백엔드 엔진(ComfyUI 기반 인터페이스)으로 전달합니다.

전달된 데이터는 확산 모델의 잠재 공간(Latent Space)으로 인코딩된 후 사용자가 입력한 텍스트 프롬프트 및 컨디셔닝 맵과 결합합니다. 이때 전체 그림을 다시 그리는 것이 아니라, 마스킹된 영역의 노이즈만을 부분적으로 걷어내는 인페인팅(Inpainting) 알고리즘이 적용됩니다. 추론이 끝나 디코딩된 픽셀 맵은 Krita의 새로운 투명 레이어로 자동 반환되어, 원본 이미지를 전혀 손상하지 않고 캔버스 위에 중첩됩니다.

이러한 구조 덕분에 아티스트는 완성된 이미지가 마음에 들지 않을 경우 레이어를 숨기거나 불투명도를 조절할 수 있으며, 캔버스 위에서 곧바로 일반 브러시로 덧칠한 뒤 다시 한번 확산 루프를 돌릴 수 있습니다. 이는 AI 생성을 '완제품 납품'이 아니라 '브러시 획 하나를 긋는 과정'의 일부로 격하시킴으로써, 창작자가 도구에 대한 완벽한 통제권을 행사하도록 돕습니다.

캔버스 내 국소 영역 인페인팅 및 합성 파이프라인
선택 영역 지정올가미 또는 브러시로 수정 부위 마스킹
→
조건 맵 추출깊이·포즈·선화 레이어를 ControlNet 입력으로 변환
→
로컬 확산 추론백엔드 확산 모델이 국소 영역 노이즈 제거
→
레이어 병합새 레이어로 결과물이 복귀되어 즉각 브러시 수정
선택 영역 지정부터 마스크 추출, 잠재 공간 복원, 캔버스 블렌딩에 이르는 순환 흐름입니다.

2-1. ControlNet과 IP-Adapter의 네이티브 통합

단순 텍스트 기반 제어의 한계를 극복하기 위해 플러그인은 ControlNet과 IP-Adapter 아키텍처를 레이어 시스템과 1:1로 맵핑했습니다. 일러스트 작업자가 캔버스 내부에 별도의 레이어를 만들고 캐릭터의 뼈대(OpenPose)를 배치하거나 스케치 선화(Lineart), 깊이 맵(Depth)을 채워 넣으면, 플러그인이 이를 해당 ControlNet 유닛의 컨디셔닝 입력으로 자동 할당합니다.

  • 다중 제어 레이어 동시 구동: 배경 레이어에는 깊이 정보를, 캐릭터 레이어에는 포즈 정보를 따로 지정하여 하나의 생성 프레임 안에서 다중 ControlNet 파이프라인을 복합적으로 연산합니다.
  • IP-Adapter 스타일 전이: 참조하고 싶은 화풍이나 인물 사진을 참조 레이어에 올려두면, 해당 이미지의 잠재 임베딩만을 추출해 프롬프트 없이도 일관된 화풍을 유지하도록 유도합니다.
  • 세그멘테이션 맵 지원: 1.53.0 버전에서 추가된 Anima 세그멘테이션처럼, 특정 색상 영역을 객체 클래스로 인식시켜 복잡한 군중이나 복합 사물의 경계를 정밀하게 분할 생성합니다.

이 모든 과정이 별도의 설정 창 없이 Krita 우측 도크(Dock) 패널 안에서 클릭 몇 번으로 동기화되므로, 디지털 페인터가 기존에 다루던 레이어 마스크 워크플로를 100% 그대로 재활용할 수 있습니다.

3. 레이어 기반 프롬프트와 정밀 제어의 실무적 강점

전통적인 웹 UI 기반 Stable Diffusion 도구들은 캔버스 전체에 적용되는 글로벌 긍정·부정 프롬프트에 의존했습니다. 이 방식은 "붉은 머리의 기사가 푸른 잔디밭에서 황금색 갑옷을 입고 있다"와 같은 문장을 입력했을 때, 머리 색이 갑옷에 번지거나 잔디밭 색상이 하늘에 침범하는 프롬프트 오염(Bleeding) 현상을 자주 겪었습니다.

Krita AI Diffusion은 레이어별 프롬프트 분할(Regional Prompting) 기법을 캔버스 인터페이스에 녹여내어 이 문제를 우아하게 해결했습니다. 사용자는 기사가 위치한 레이어에는 "황금색 갑옷을 입은 붉은 머리 기사"라는 설명을 부여하고, 배경 레이어에는 "푸른 잔디밭과 맑은 하늘"이라는 프롬프트를 독립적으로 배정할 수 있습니다. 확산 모델은 각 영역의 어텐션 맵을 계산할 때 지정된 레이어의 텍스트 토큰만을 집중적으로 참조합니다.

또한 그림의 외곽을 확장하는 아웃페인팅(Outpainting) 작업 역시 캔버스 크기 확장 도구와 유기적으로 맞물립니다. Krita의 캔버스 크기 변경 도구로 작업 영역을 좌우로 넓힌 뒤, 빈 여백을 선택하고 아웃페인팅 버튼을 누르면 플러그인이 기존 이미지의 가장자리 화풍과 조명을 분석하여 매끄러운 연장선을 자동으로 채워 넣습니다. 경계선이 어색하게 남을 경우 블러 브러시로 경계를 가볍게 문지른 뒤 다시 인페인팅을 돌리면 완벽한 연속성을 얻을 수 있습니다.

4. Krita 6과 Qt6 마이그레이션이 가져온 기술적 변곡점

1.54.0-pre 버전의 기술적 하이라이트는 Krita 6과 Qt6으로의 전면 이전입니다. Krita 프로젝트는 오랜 기간 Qt5 프레임워크에 기반을 두고 있었으나, 최신 운영체제들의 고해상도 HiDPI 지원, 다중 GPU 렌더링 파이프라인 최적화, 그리고 Wayland 및 메탈(Metal) 그래픽 백엔드 호환성을 위해 Krita 6 개발을 통해 Qt6 기반으로의 대전환을 진행해 왔습니다.

Krita AI Diffusion 역시 이러한 코어 엔진의 변화에 발맞추어 플러그인의 모든 C++ 및 파이썬 바인딩을 Qt6 규격으로 재작성했습니다. 이로 인해 수천 번의 붓질과 고해상도 확산 연산이 캔버스 위에서 동시에 일어날 때 발생하던 UI 프리징 현상이 크게 완화되었습니다. 메모리 관리 구조가 개선되면서 24GB 이상의 VRAM을 점유하는 대형 SDXL 및 신규 파운데이션 모델 추론 도중에도 Krita 본체의 응답성이 유지됩니다.

이와 함께 최신 오픈소스 멀티모달 모델인 Qwen Image 2.1 지원이 공식 추가되었습니다. 기존의 Stable Diffusion 1.5, SDXL 계열 외에도 중국어 및 다국어 텍스트 이해력이 뛰어난 Qwen 계열 이미지 모델을 백엔드로 선택할 수 있게 됨으로써, 텍스트 렌더링이나 복잡한 동양적 복식 묘사 등에서 훨씬 높은 품질의 초기 결과물을 얻을 수 있는 기반이 마련되었습니다.

5. 로컬 하드웨어 구성과 설치 및 실행 프로토콜

Krita AI Diffusion은 엔드 투 엔드 로컬 구동을 지향하는 만큼, 사용자 시스템의 GPU 사양과 소프트웨어 종속성에 민감합니다. 플러그인을 온전히 운용하기 위해서는 공식 문서(docs.interstice.cloud)가 권장하는 최소 사양과 설치 파이프라인을 숙지해야 합니다.

5-1. 시스템 요구 사양

원활한 생성을 위해서는 NVIDIA 계열의 외장 그래픽카드가 권장됩니다. 플러그인은 로컬 백엔드로서 ComfyUI 기반의 환경을 자동으로 구성하거나, 이미 시스템에 설치된 기존 서버에 포트를 열어 연결하는 방식을 모두 지원합니다.

  • 최소 사양: NVIDIA RTX 2060 이상 (VRAM 6GB 이상), SD 1.5 기반 512x512 렌더링 지원
  • 권장 사양: NVIDIA RTX 3060 / 4070 이상 (VRAM 12GB~16GB), SDXL 및 다중 ControlNet 동시 연산
  • 플랫폼 호환성: Windows 10/11, Linux(우분투 등 주요 배포판). macOS의 경우 Apple Silicon(MPS)을 통한 구동은 가능하나, 1.54.0-pre 릴리스 노트에 명시되었듯 최적화 부족으로 인한 성능 저하가 존재함

5-2. 환경 구축 단계

기존 Krita 5 사용자는 플러그인 1.54.0-pre를 적용하기 전에 반드시 Krita 6 개발 빌드(권장: Krita 6.0.4)를 먼저 설치해야 합니다. 플러그인 아카이브 파일(krita_ai_diffusion-1.54.0-pre.zip)을 내려받은 뒤 Krita 내부의 파이썬 플러그인 관리자를 통해 압축 파일을 직접 임포트합니다.

# 독립형 ComfyUI 백엔드를 직접 구성하여 연결할 경우의 기본 구동 예시
python main.py --listen 127.0.0.1 --port 8188 --preview-method auto

플러그인을 활성화한 후 Krita의 설정(Settings) -> 도크(Dockers) 메뉴에서 AI Image Diffusion 패널을 활성화하면 우측 도크에 인터페이스가 나타납니다. 초기 구동 시 로컬 백엔드 설치 마법사가 실행되어 필요한 PyTorch 종속성과 기본 모델(SD 1.5 또는 SDXL 기본 체크포인트), 그리고 ControlNet 가중치를 로컬 드라이브로 자동으로 다운로드하여 배치합니다.

6. 현시점의 명확한 한계와 주의사항

로컬 AI 드로잉 툴이 제공하는 강력한 자유도 이면에는 오픈소스 프리뷰 버전이 안고 있는 고유한 기술적 제약들이 존재합니다. 이를 사전에 파악하지 못하고 프로덕션 환경에 섣불리 도입할 경우 예기치 않은 데이터 손실이나 워크플로 중단을 겪을 수 있습니다.

첫째, 버전 간 비호환성 문제입니다. 1.54.0-pre는 Krita 5와의 하위 호환성을 완전히 단절했습니다. 기존에 Krita 5.3.x 환경에서 방대한 브러시 프리셋과 단축키 환경을 구축해 둔 작업자라면, 안정화되지 않은 Krita 6 프리뷰 버전으로 섣불리 판올림했다가 기존 작업 문서나 타 서드파티 플러그인이 오작동하는 위험을 감수해야 합니다. 따라서 실무 프로젝트를 진행 중인 환경이라면 Krita 5 기반의 v1.53.0 안정판을 당분간 유지하는 것이 합리적입니다.

둘째, macOS 환경에서의 심각한 하드웨어 가속 병목입니다. 메탈 성능 셰이더(MPS)를 통한 PyTorch 백엔드 최적화가 NVIDIA CUDA 환경에 비해 여전히 성숙하지 못하여, 고해상도 인페인팅이나 복합 모델 추론 시 시스템 발열과 비정상적인 지연이 발생할 수 있습니다. 애플 실리콘 맥을 주 기기로 사용하는 디자이너라면 안정적인 패치가 나올 때까지 주의가 요구됩니다.

셋째, VRAM 관리의 한계입니다. Krita의 고해상도 캔버스(예: 4K 이상, 수십 개의 레이어) 위에서 확산 모델을 연속으로 호출할 경우, 그래픽 메모리 파편화로 인해 드라이버 레벨에서 Out of Memory(OOM) 오류가 발생하며 캔버스가 강제 종료될 수 있습니다. 작업 중간마다 단축키로 Krita 문서를 저장하는 습관이 필수적입니다.

7. 온디바이스 생성 AI가 재정의하는 디지털 아트의 미래

Krita AI Diffusion 1.54.0-pre의 출현은 생성 AI가 가야 할 진정한 종착지가 어디인지를 명확하게 보여줍니다. 그동안 많은 상용 AI 기업들은 웹 브라우저 기반의 구독형 서비스를 내세우며 창작자를 데이터 수집의 대상이자 단순한 프롬프트 입력자로 한정 지으려 했습니다. 하지만 예술적 완성도는 수만 번의 프롬프트 재추첨이 아니라, 붓끝의 미세한 곡선과 레이어 사이의 색채 조율이라는 물리적이고 직관적인 행위에서 탄생합니다.

오픈소스 생태계는 Krita와 ComfyUI, 그리고 Acly와 같은 기여자들이 일구어낸 연동 플러그인을 통해 AI 기술을 예술가의 손에 쥐어진 정교한 브러시의 위치로 되돌려 놓았습니다. 외부 네트워크 연결이 끊긴 오프라인 환경에서도, 값비싼 클라우드 과금 없이 내 책상 위의 그래픽카드만으로 무한한 시각적 변형을 실험할 수 있는 시대가 열렸습니다. Krita 6과 Qt6이라는 현대적 토대 위에서 새롭게 도약한 Krita AI Diffusion은 디지털 페인팅과 생성 신경망의 유기적 결합을 입증하는 가장 강력한 증거입니다.

자주 묻는 질문

Q. Krita 5 버전을 사용 중인데 1.54.0-pre로 업데이트해도 되나요?
A. 업데이트하면 안 됩니다. 1.54.0-pre 버전은 Krita 6 및 Qt6 환경으로 마이그레이션되어 Krita 5 환경에서는 작동하지 않습니다. Krita 5를 계속 쓰시려면 1.53.0 버전을 유지하셔야 합니다.

Q. 인터넷이 연결되지 않은 오프라인 환경에서도 사용할 수 있나요?
A. 가능합니다. 플러그인과 필요한 모델 체크포인트, ControlNet 가중치를 처음에 로컬 드라이브로 내려받아 세팅해 두면 이후에는 외부 인터넷 연결 없이 로컬 GPU 연산만으로 완전히 구동됩니다.

Q. MacBook(macOS) 환경에서도 원활하게 돌아가나요?
A. 구동 자체는 가능하지만 개발팀 공식 안내에 따르면 macOS 환경에서는 성능 저하가 보고되어 있습니다. 최적의 성능과 속도를 얻으려면 CUDA 가속을 지원하는 NVIDIA GPU 기반의 윈도우나 리눅스 환경을 권장합니다.

원본

https://github.com/Acly/krita-ai-diffusion

https://github.com/Acly/krita-ai-diffusion/releases

https://hellogithub.com/en/repository/Acly/krita-ai-diffusion

함께 보면 좋은 글

댓글 0개