맥북에 아이폰을 꽂아 27B 모델을 돌린다, backburner 분산 추론 분석
24GB 통합 메모리를 탑재한 맥북에서 27B 규모의 대형 언어 모델을 여유롭게 구동하려면 수백만 원짜리 상위 기종으로 기변해야만 할까요?
이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.
✦ KR 주제: 아이폰과 맥북의 USB-C 분산 LLM 추론 아키텍처
✦ KR 핵심 요약: backburner는 10Gb/s USB-C 케이블로 맥북과 아이폰을 연동해 Qwen3.8-27B 모델을 분할 구동하는 오픈소스 분산 추론 엔진입니다. 맥북이 1~40층, 아이폰이 41~64층을 담당하는 파이프라인 구조를 통해 16k~48k 문맥의 프리필 속도를 29~44% 단축시켰습니다. 또한 64k를 초과하는 오래된 문맥 캐시를 아이폰 메모리에 오프로딩함으로써 최대 22.9만 토큰까지 무손실로 문맥 창을 확장합니다.
🌐 Global Takeaway: backburner enables distributed local inference of Qwen3.8-27B by pipelining transformer layers across a Mac and an iPhone over a 10 Gb/s USB-C link. By offloading layers 41-64 and historical KV caches beyond 64k tokens to the iPhone, it cuts prompt prefill latency by up to 44% and expands total context capacity up to ~229k tokens without precision loss.
아래 그림은 맥북과 아이폰이 USB-C 통신을 통해 27B 모델의 연산 계층과 문맥 캐시를 나누어 처리하는 구조와 추론 흐름을 보여줍니다.
1. 24GB 맥북의 한계를 아이폰 USB-C로 뚫다: backburner의 등장
로컬 환경에서 거대 언어 모델(LLM)을 직접 구동하려는 개발자들에게 애플 실리콘(Apple Silicon) 맥북은 매우 매력적인 선택지입니다. CPU와 GPU가 방대한 단일 주소 공간을 공유하는 통합 메모리(Unified Memory) 구조 덕분에 고가의 상용 그래픽 카드를 여러 장 구성하지 않고도 수십 기가바이트 크기의 파라미터를 메모리에 한 번에 올릴 수 있기 때문입니다. 그러나 24GB 통합 메모리를 갖춘 맥북 프로나 맥북 에어 환경에서는 27B에서 32B급 모델을 다룰 때 필연적으로 심각한 벽에 부딪히게 됩니다. 모델 가중치 자체를 4비트나 8비트로 압축해 올리더라도, 입력 프롬프트가 길어지면서 생성되는 키-값 캐시(KV Cache)가 수 기가바이트 이상 메모리를 잠식하여 시스템 가용량을 초과하기 일쑤입니다.
이러한 메모리 한계를 극복하기 위해 통상적으로 권장되는 해결책은 48GB, 64GB, 혹은 128GB 이상의 메모리를 장착한 고가 맥 스튜디오나 맥북 프로 상위 기종을 새로 구매하는 것이었습니다. 하지만 2026년 10월 24일 공개되어 깃허브(GitHub)에서 1,100개 이상의 스타를 받으며 큰 반향을 일으킨 오픈소스 프로젝트 backburner는 완전히 다른 관점에서 접근했습니다. 사용자의 주머니 속에 잠자고 있는 최신 아이폰(iPhone)을 10Gb/s 규격의 USB-C 케이블로 맥북에 직결하여 연산 장치 및 메모리 확장 모듈로 전환하는 분산 추론 아키텍처를 선보인 것입니다.
backburner는 맥북이 Qwen3.8-27B 모델을 단독으로 감당하지 않고, 모델의 레이어와 문맥 메모리를 맥북과 아이폰 사이에 정밀하게 쪼개어 분담시키는 방식을 택했습니다. 단순히 파일을 주고받거나 원격 서버로 API 호출을 보내는 수준이 아니라, 단일 모델의 순전파(Forward Pass) 연산 파이프라인을 두 하드웨어 사이에서 실시간으로 엮어냅니다. 그 결과 16,000~48,000 토큰에 달하는 긴 프롬프트를 읽어 들이는 프리필(Prefill) 처리 속도가 29%에서 최대 44%까지 대폭 개선되었으며, 문맥 수용 능력 또한 비약적으로 확장되었습니다.
- 최대 64k 토큰 한계
- 장문 프리필 시 연산 병목
- 메모리 부족 시 양자화 손실
- 최대 22.9만 토큰 지원
- 프리필 처리 속도 최대 44% 단축
- 동일한 그리디 디코딩 결과 유지
1-1. 단일 기기 로컬 추론의 병목 현상
대규모 언어 모델 추론에서 병목은 크게 두 단계에서 발생합니다. 첫 번째는 수천 자 이상의 문서나 코드베이스, 이전 대화 기록 전체를 모델에 한 번에 입력할 때 일어나는 '프롬프트 프리필' 단계입니다. 이 단계는 연산 집약적(Compute-bound) 특성을 띠므로 장착된 프로세서의 코어 수와 텐서 처리 능력이 전체 지연 시간을 결정합니다. 두 번째는 한 글자씩 다음 토큰을 순차적으로 뱉어내는 '토큰 디코딩' 단계인데, 여기서는 모델 가중치와 KV 캐시를 매 스텝마다 메모리에서 칩으로 읽어와야 하므로 메모리 대역폭(Memory Bandwidth)이 지연을 지배합니다.
24GB 통합 메모리 환경의 맥북에서 Qwen3.8-27B 같은 대형 모델을 실행할 경우, 모델 가중치만으로 이미 15GB 내외의 공간을 차지합니다. 남은 7~9GB 공간에 운영체제 구동 필수 메모리와 KV 캐시를 함께 구겨 넣어야 하므로, 긴 문맥을 처리할수록 메모리 압박이 심해져 스와핑 현상이 발생하거나 아예 메모리 부족(OOM) 오류로 프로세스가 강제 종료됩니다. backburner는 바로 이 병목 지점을 정확히 타격하여, 최신 아이폰에 탑재된 A시리즈 칩셋의 강력한 그래픽 처리 장치(GPU)와 뉴럴 엔진(Neural Engine)을 외장 가속 엔진으로 활용하도록 설계되었습니다.
2. 레이어 파이프라인 분할: 맥과 아이폰 GPU가 협업하는 구조
backburner의 핵심 동작 메커니즘은 트랜스포머(Transformer) 블록의 레이어 수준 파이프라이닝(Pipelining)입니다. Qwen3.8-27B 모델은 총 64개의 트랜스포머 레이어로 구성되어 있습니다. backburner 환경에서 맥북은 모델의 초기 계층인 1번부터 40번 레이어까지를 전담하고, 아이폰은 나머지 후반부인 41번부터 64번 레이어의 연산을 전담합니다.
사용자가 긴 문맥을 담은 프롬프트를 전달하면, 맥북은 입력 토큰들을 적절한 배치(Batch) 단위로 분할하여 처리하기 시작합니다. 맥북의 GPU와 CPU가 1~40층에 걸친 정규화(LayerNorm), 자가 어텐션(Self-Attention), 다층 퍼셉트론(MLP) 연산을 순차적으로 수행합니다. 40번째 레이어의 연산이 끝나는 즉시 산출된 중간 은닉 상태(Hidden States) 텐서가 10Gb/s 대역폭을 지원하는 USB-C 데이터 버스를 통해 아이폰의 GPU 메모리로 스트리밍됩니다. 아이폰은 전달받은 텐서를 입력값으로 넘겨받아 41번째부터 64번째 레이어까지의 순전파 연산을 완수하고, 마지막 최종 로짓(Logits)을 계산하여 맥북으로 되돌려 보냅니다.
# backburner 클론 및 서브모듈 동기화
git clone --recursive https://github.com/StayLameBro/backburner.git
cd backburner
# 맥 호스트 빌드 및 로컬 환경 준비
./install.sh --target mac
이 과정에서 두 기기는 직렬로 멈춰 서서 대기하는 구조가 아니라, 토큰 배치를 연속적으로 밀어 넣는 파이프라인 병렬화 방식으로 맞물립니다. 맥북이 두 번째 토큰 배치의 1~40층을 연산하는 동안 아이폰은 직전에 전달받은 첫 번째 배치의 41~64층 연산을 수행합니다. 두 기기의 프로세서가 동시에 100%에 가까운 부하를 유지하며 유휴 시간 없이 작동하도록 스케줄링됨으로써 전체 프리필 처리 지연을 획기적으로 낮출 수 있습니다.
2-1. llama.cpp 포크와 애플 실리콘 전용 커널 최적화
이러한 분산 파이프라이닝을 실현하기 위해 backburner는 순수 상용 프레임워크 대신 널리 쓰이는 C++ 기반 LLM 추론 엔진인 llama.cpp의 포크 버전(StayLameBro/backburner-llama.cpp)을 기반 엔진으로 구축했습니다. 단순히 통신 모듈만 덧붙인 것이 아니라, 애플 실리콘 아키텍처의 연산 잠재력을 바닥까지 끌어내기 위한 저수준 하드웨어 커널들이 대거 통합되어 있습니다.
| 최적화 기술 항목 | 구현 계층 | 세부 역할 및 이점 |
|---|---|---|
| SME2 커널 최적화 | CPU 확장 명령어 세트 | 스트리밍 매트릭스 확장을 통한 행렬 곱셈 연산 처리 가속 |
| Metal Fusions | Apple GPU 파이프라인 | 메모리 접근 왕복을 줄이는 저수준 셰이더 커널 융합 |
| DFlash2 투기적 디코딩 | 추론 엔진 제어기 | 보조 모델 없이 다중 후보 토큰을 검증해 생성 속도 향상 |
| USB-C 패킷 인터리빙 | 기기 간 전송 계층 | 10Gbps 링크 상에서 텐서 전송과 동기화 지연 최소화 |
특히 주목할 부분은 맥 단독 환경에서도 성능 개선을 이끌어내는 고유 최적화 기법들입니다. ARM v9 아키텍처의 핵심인 SME2(Scalable Matrix Extension 2) 명령어를 적극적으로 활용한 어텐션 커널과, 메모리 대역폭 낭비를 억제하는 메탈(Metal) 커널 융합(Fusion) 기술이 적용되어 있습니다. 여기에 DFlash2 투기적 디코딩(Speculative Decoding) 알고리즘이 맞물려, 아이폰과 통신하지 않는 단독 모드에서도 토큰 생성 효율을 극대화하도록 정밀하게 튜닝되어 있습니다.
3. 메모리 계층 확장: 64k를 넘어 22.9만 토큰까지 늘리는 방식
backburner가 제공하는 가장 파격적인 이점은 연산 분산을 통한 속도 향상에 그치지 않고, 시스템 전체의 가용 문맥 창(Context Window) 용량을 물리적으로 폭발시키는 데 있습니다. 통상적으로 24GB 통합 메모리를 장착한 맥북에서 8비트 정밀도로 양자화된 Qwen3.8-27B 모델을 적재할 경우, 모델 파라미터가 차지하는 공간을 제외하면 문맥 캐시가 들어설 자리는 최대 64,000(64k) 토큰 수준에 불과합니다.
이 한계를 넘어서는 순간 시스템은 극심한 스와핑에 빠지거나 강제 종료를 피할 수 없습니다. 하지만 backburner는 64k를 초과하는 장기 문맥 영역을 맥북이 아닌 연결된 아이폰의 램(RAM) 영역으로 투명하게 이관(Offloading)합니다. 즉, 0번부터 64k 토큰까지의 최신 문맥 정보는 맥북의 고속 통합 메모리에 보관하여 빈번한 참조를 신속하게 처리하고, 64k 토큰을 넘어서는 과거의 장기 히스토리 캐시는 아이폰의 내부 메모리로 밀어내는 계층화된 캐시 관리 방식을 구현했습니다.
3-1. A시리즈 GPU와 뉴럴 엔진의 복합 캐시 어텐션 연산
아이폰으로 오프로딩된 과거 문맥 데이터는 단순히 죽은 채로 적재되어 있는 더미 데이터가 아닙니다. 모델이 새로운 토큰을 생성하거나 다음 프롬프트를 처리할 때, 모델은 전체 문맥에 대해 어텐션 맵(Attention Map)을 다시 계산해야 합니다. backburner는 맥북이 자신의 64k 캐시를 대상으로 어텐션을 계산하는 동안, 아이폰은 자신이 들고 있는 오래된 문맥 블록에 대해 자체 연산 장치를 가동하여 독립적으로 어텐션을 수행하도록 만듭니다.
"backburner 서버는 부팅 시점에 아이폰의 여유 메모리 공간을 정밀하게 측정하여 전체 시스템의 문맥 한도를 자동으로 재설정합니다. iPhone 17 Pro Max와 연결할 경우 8비트 양자화 조건에서 196k에서 최대 22.9만 토큰에 이르는 초대형 문맥 공간이 확보됩니다."
이 과정에서 아이폰의 하드웨어 리소스는 상황에 맞춰 치밀하게 나뉘어 할당됩니다. 대량의 입력을 한 번에 계산해야 하는 프롬프트 프리필 단계에서는 아이폰의 내장 GPU가 과거 문맥에 대한 어텐션 행렬 연산을 전폭적으로 도맡습니다. 반면 단일 토큰을 연속적으로 써 내려가는 디코딩 단계에서는 아이폰의 GPU뿐만 아니라 초저전력으로 고속 행렬 연산이 가능한 16코어 뉴럴 엔진(NPU)을 함께 동원하여 전력 소모를 억제하면서도 일정한 레이턴시를 유지합니다. 저장 공간의 단순 확장을 넘어, 분산 메모리 위에서 연산 자체를 분산 처리하는 '지능형 메모리 오프로딩'을 구현한 셈입니다.
4. 실측 벤치마크: 프리필 속도 44% 향상과 토큰 정확도 검증
하드웨어 간 분산 추론에서 가장 우려되는 지점은 통신 오버헤드로 인한 실제 성능 저하와 연산 분할 과정에서 발생할 수 있는 정밀도 손실(Drift)입니다. backburner 프로젝트의 공식 벤치마크 수치는 이러한 기술적 우려를 명확한 데이터로 불식시킵니다. 테스트는 24GB 통합 메모리를 갖춘 MacBook Pro(M4 Pro 탑재)와 A19 Pro 칩셋이 탑재된 iPhone 17 Pro Max, 그리고 iPhone 16 Pro Max 기기를 상대로 진행되었습니다.
프롬프트 프리필 단계의 벤치마크 결과, 512 토큰 이하의 짧은 프롬프트에서는 USB-C 링크를 통한 통신 동기화 오버헤드로 인해 성능 이점이 크지 않았습니다. 그러나 코딩 에이전트가 방대한 소스 코드 파일을 읽거나 대규모 툴 실행 결과를 반환받아 처리하는 16,000~48,000(16k~48k) 토큰 구간에 진입하면 극적인 격차가 발생했습니다. 맥북 단독 실행 대비 프리필 소요 시간이 29%에서 최대 44%까지 대폭 단축되는 실측 결과가 기록되었습니다. 에이전트 기반 작업 환경에서 대화가 누적될수록 발생하던 긴 대기 시간이 절반 가까이 줄어드는 체감 성능 향상을 보인 것입니다.
더욱 인상적인 대목은 연산 결과의 수학적 무결성입니다. 분산 환경에서 부동소수점 연산 순서가 뒤바뀌거나 양자화 계층 간 변환 오차가 누적되면 단일 기기 실행과 다른 엉뚱한 답변을 내놓는 문제가 발생하기 쉽습니다. 그러나 backburner의 그리디(Greedy) 디코딩 테스트 결과, 단일 맥북에서 구동했을 때와 아이폰을 결합했을 때의 출력 토큰이 100% 완벽하게 일치했습니다.
- 8k 토큰 입력 조건: 256개 생성 토큰 중 256개 일치 (256/256)
- 32k 토큰 입력 조건: 256개 생성 토큰 중 256개 일치 (256/256)
- 140k 초장기 문맥 조건: 32개 생성 토큰 중 32개 일치 (32/32)
이러한 결과는 10Gb/s 데이터 링크를 통한 텐서 교환이 손실 압축이나 근사치 계산에 의존하지 않고, 비트 수준의 엄밀한 파이프라이닝 하에서 안정적으로 수행되고 있음을 객관적으로 입증합니다.
5. 기존 온디바이스 메모리 확장 기법과의 비교
로컬 AI 환경에서 기기의 물리적 메모리 한계를 극복하려는 시도는 이전에도 여러 갈래로 존재해 왔습니다. 대표적으로 SSD의 초고속 읽기 성능을 활용해 가중치나 전문가(Expert) 블록을 필요할 때마다 스왑해 오는 flash-moe나 Slotstream, SwiftLM 같은 기법들이 대표적입니다. 하지만 이들 기존 기법과 backburner는 아키텍처 설계 사상과 지향점에서 근본적인 차이를 지닙니다.
SSD 기반 스트리밍 기술은 시스템 메모리가 6GB나 16GB에 불과하더라도 수백 기가바이트에 달하는 MoE(Mixture of Experts) 모델을 구동할 수 있다는 압도적인 용량 확장성을 자랑합니다. 그러나 NVMe SSD가 아무리 빠르더라도 메모리 반도체(LPDDR5X)의 테라바이트급 대역폭에는 미치지 못하므로, 토큰 생성 속도가 초당 5~6단어 수준으로 크게 제한되는 치명적인 성능 저하를 감수해야 합니다. 또한 장시간의 대규모 추론 과정에서 플래시 메모리에 가해지는 지속적인 쓰기·읽기 사이클은 SSD 수명(TBW)을 빠르게 소모시키는 물리적 부담을 안깁니다.
반면 backburner는 느린 보조기억장치를 가상 메모리로 전용하는 것이 아니라, 고속 LPDDR 메모리와 강력한 모바일 GPU를 온전히 갖춘 또 다른 '독립 연산 기기'를 결합하는 헤테로지니어스 분산 컴퓨팅(Heterogeneous Distributed Computing) 모델입니다. 데이터를 단순히 저장해 두었다가 읽어오는 것이 아니라, 연산 작업 자체를 타깃 기기로 넘겨 그 기기의 내부 메모리 대역폭을 온전히 활용하도록 만듭니다. 그 결과 대역폭 병목을 최소화하면서 오히려 연산 처리 속도를 높이고, 맥북 내부 SSD에 대한 물리적 마모 없이 20만 토큰 이상의 초장기 문맥을 매끄럽게 처리할 수 있는 차별화된 성능을 확보합니다.
6. backburner 환경 구성과 실제 실행 가이드
backburner 시스템을 구축하기 위해서는 하드웨어와 소프트웨어 양쪽에서 정확한 연결 설정이 수반되어야 합니다. 가장 중요한 필수 준비물은 맥북과 아이폰 간의 10Gb/s 전송 속도를 보장하는 공식 규격 USB-C 3.2 Gen 2 케이블입니다. 일반 번들 충전 케이블(USB 2.0, 480Mb/s 규격)을 사용할 경우 대역폭 부족으로 인해 극심한 데이터 병목이 발생하여 분산 파이프라인이 정상적으로 동작하지 않습니다.
아이폰 측에는 모델의 41~64층 레이어를 적재하고 백그라운드에서 추론 데몬을 실행할 Backburner iOS 앱이 설치되어 있어야 합니다. 이 앱은 현재 앱스토어 정식 배포가 아닌 알트스토어(AltStore) 또는 Xcode를 통한 사이드로딩(Sideloading) 형태로 설치를 지원합니다.
# 맥북 터미널에서 backburner 서버 구동
# 아이폰이 USB-C로 인식된 상태에서 자동 탐색 실행
./build/bin/backburner-server \
--model ./models/qwen3.8-27b-instruct-q8_0.gguf \
--ctx-size 131072 \
--device-iphone auto \
--port 8080
서버가 구동되면 콘솔 화면에 연결된 아이폰의 칩셋 모델(예: A19 Pro)과 현재 가용한 여유 메모리 용량이 출력됩니다. 서버는 측정된 아이폰 메모리에 맞춰 기본 맥북 할당량인 64k를 넘어선 추가 문맥 한도를 자동으로 배분합니다. 이후 사용자는 기존에 사용하던 웹 UI, 터미널 클라이언트, 혹은 로컬 코딩 에이전트 도구의 API 주소를 http://localhost:8080/v1로 지정하여 OpenAI 호환 규격으로 즉시 분산 추론을 활용할 수 있습니다.
7. 연결 안정성과 하드웨어 요구사항: 실사용 시 주의할 한계
backburner가 제시하는 분산 컴퓨팅의 효용성은 매우 강력하지만, 일상적인 프로덕션 환경에 투입하기 전에 인지해야 할 현실적인 제약과 하드웨어적 한계점들이 분명히 존재합니다.
첫 번째 제약은 물리적 케이블 연결과 모바일 운영체제의 백그라운드 관리 정책입니다. iOS는 장시간 높은 부하를 발생시키는 서드파티 프로세스를 메모리 보호 및 배터리 절약 차원에서 강제로 동결(Freeze)하거나 종료(Terminate)시키는 엄격한 메모리 감시자(Jetsam) 정책을 갖고 있습니다. 따라서 Backburner 앱은 포그라운드(화면이 켜진 상태)를 유지하거나 상시 실행 권한이 유지되는 개발자 모드 환경에서 구동되어야 안정적인 세션이 유지됩니다. 케이블 연결이 물리적으로 순간 단락되거나 접촉 불량이 발생할 경우 추론 세션 전체가 중단되므로 고정된 데스크 환경이 권장됩니다.
두 번째는 배터리 소모와 발열 관리 문제입니다. 41~64층 연산과 장기 문맥 어텐션을 지속해서 수행할 경우, 아이폰의 GPU와 NPU가 풀로드 상태로 구동되면서 본체에 급격한 발열이 누적됩니다. 아이폰은 별도의 냉각 팬이 없는 패시브 쿨링 구조이므로, 장시간 연속으로 추론을 돌릴 경우 칩셋을 보호하기 위한 서멀 쓰로틀링(Thermal Throttling)이 작동하여 연산 속도가 점진적으로 저하될 수 있습니다. 비록 USB-C 연결을 통해 맥북으로부터 지속적인 전력을 공급받더라도, 고성능 추론 지속에 따른 배터리 셀의 온도 상승과 발열 해소 환경을 세심하게 고려해야 합니다.
8. 데스크톱과 모바일의 융합 추론이 던지는 시사점
backburner 프로젝트는 개인 컴퓨팅 환경에서 로컬 인공지능을 다루는 방식에 완전히 새로운 패러다임을 제시합니다. 지금까지의 하드웨어 업그레이드는 기존 데스크톱이나 랩톱을 처분하고 더 큰 단일 기기를 장만하는 수직적 확장(Scale-up)에 전적으로 의존해 왔습니다. 하지만 사용자의 개인 디바이스 생태계에는 이미 강력한 신경망 가속 엔진과 고속 LPDDR 메모리를 탑재한 스마트폰, 태블릿 등이 유휴 상태로 공존하고 있습니다.
초고속 데이터 전송 규격인 USB 4와 Thunderbolt, USB 3.2가 보편화되면서, 기기 간의 물리적 경계는 점차 희미해지고 있습니다. 단 10Gb/s의 대역폭만으로도 대규모 언어 모델의 가중치 계층과 문맥 캐시를 실시간으로 교환하며 29~44%의 프리필 가속과 수십만 토큰에 이르는 문맥 확장을 무손실로 달성할 수 있음을 backburner가 성공적으로 입증해 냈습니다.
앞으로 로컬 AI 프레임워크의 진화 방향은 단일 칩의 성능 경쟁에 머물지 않고, 책상 위에 놓인 맥북, 주머니 속 아이폰, 가방 안의 아이패드가 물리적 케이블이나 초광대역 무선 링크를 통해 하나의 거대한 통합 연산 클러스터로 결합되는 헤테로지니어스 온디바이스 에코시스템으로 나아갈 것입니다. backburner는 그러한 미래형 개인 분산 AI 인프라가 이미 손끝에 닿아 있음을 보여주는 가장 흥미롭고 실질적인 이정표입니다.
자주 묻는 질문
Q. 일반 아이폰 번들 케이블로도 backburner를 사용할 수 있나요?
A. 사용할 수 없습니다. 아이폰 기본 번들 충전 케이블은 대다수 USB 2.0(480Mb/s) 규격이어서 텐서 전송 대역폭이 턱없이 부족합니다. 반드시 10Gb/s 이상의 전송 속도를 공식 지원하는 USB-C 3.2 Gen 2 정품 케이블을 사용해야 정상적인 분산 파이프라이닝이 동작합니다.
Q. 추론 결과가 맥북 단독으로 돌렸을 때와 달라지거나 부정확해지지 않나요?
A. 전혀 달라지지 않습니다. 공식 벤치마크 결과 그리디 디코딩 조건에서 8k, 32k, 140k 등 장단기 문맥 전 구간에 걸쳐 단일 기기 실행과 100% 동일한 토큰 출력이 수학적으로 검증되었습니다.
Q. 아이폰 외에 아이패드나 다른 안드로이드 기기도 연결할 수 있나요?
A. 현재 backburner 공식 저장소의 엔진은 Apple 실리콘 M 시리즈 Mac과 A 시리즈 칩셋 기반 iOS 기기에 최적화된 C++ 커널 및 Metal 셰이더로 구성되어 있습니다. 따라서 현재 구현체는 Mac과 iPhone/iPad 환경을 우선적으로 지원합니다.
원본
https://github.com/StayLameBro/backburner
https://www.baseload.co.kr/blog/2026-07-08-macbook-local-llm-by-model/



댓글 0개