laya — 1GB로 도는 로컬 결정 모델
안녕하세요. 야금야금입니다.
"JEV가 로컬에서 돌아간다고?", "맥에서 1GB만 쓰고 그 속도가 나온다고?" — 중국 개발자가 공개한 laya 시리즈, 로컬 결정 모델을 정리합니다.
✔️ laya-coreml·laya-mlx — JEV식 "타입 결정" 모델의 로컬 포트
✔️ 생성 토큰 0개 — 선택·점수·예/아니오 확률만 반환
✔️ M3 Max 기준 짧은 결정 5~14ms, 메모리 최대 약 1GB
JEV 스타일이 뭔데요
문장을 만들지 않고 결정만 내립니다
1타입 결정 모델
선택·점수·예/아니오 세 가지 답 타입
laya는 텍스트 생성이 아예 없는 typed decision 모델입니다 — 질문을 넣으면 choice(선택지 중 확률), score(서열 점수), noul(예/아니오) 형태로만 답합니다. 앞서 소개한 HyperEdit의 Jev와 같은 사상이라 "JEV가 로컬에서?"라는 제목이 붙은 겁니다. 자동회귀 디코딩이 없어서 파싱할 JSON도, 생성 비용도 없습니다.
맥에서의 속도
Core ML·MLX 둘 다 준비됐습니다
2두 가지 로컬 런타임
Neural Engine 또는 MLX로 구동
laya-coreml은 Apple Neural Engine으로 ~5ms급 짧은 결정, laya-mlx는 MLX 네이티브로 7~14ms를 냅니다(M3 Max 측정). MLX 피크 할당이 약 687~943MiB라 "최대 1기가램"이라는 스레드 설명과 맞아떨어집니다. PyTorch·Transformers 없이 돌고, 한 번 받으면 완전 오프라인입니다. Unsloth로 튜닝하는 경로도 열려 있어 로컬 JEV 대안이 쏟아질 신호로 읽힙니다.
자주 묻는 질문
Q. laya가 뭔가요?
A. 선택·점수·예/아니오만 내리는 로컬 결정 모델입니다.
Q. 맥에서 어떻게 도나요?
A. laya-coreml(ANE)·laya-mlx(MLX)로 돌아갑니다.
Q. 메모리는요?
A. 최대 약 1GB 수준입니다.
마무리
오늘은 로컬 JEV식 결정 모델 laya를 정리했습니다.
맥을 쓰신다면 github.com/mizorewww/laya-coreml을 clone해서 데모 스네이크부터 돌려보세요.



댓글 0개