스프쌤
스레드

Cerebras x Gemma4 31B

✍ @dextune⏱ 8분 소요2026-09-16👁
← 목록으로 돌아가기

스레드에서 "1,000 TPS"라며 놀란 그 모델, 공식 측정값은 오히려 그보다 높다는 이야기부터 시작해보자.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: Cerebras에서 구동되는 Gemma 4 31B의 추론 속도와 멀티모달 활용

✦ KR 핵심 요약: Gemma 4 31B는 Cerebras Inference에서 초당 1,800토큰 이상, 측정 기준 1,851 tok/s로 동작하며 첫 토큰을 1.5초에 반환한다. 30.7B dense 멀티모달 모델로 131K 컨텍스트를 지원해 이미지가 포함된 에이전트 워크플로의 지연을 크게 줄인다.

🌐 Global Takeaway: Gemma 4 31B running on Cerebras delivers over 1,800 output tokens per second with a 1.5-second first token, making image-driven agent loops feel interactive. The real gain is not raw text speed but the collapse of latency in repetitive multimodal workflows.

1,000 TPS 체감과 1,851 TPS 측정치

스레드 원문은 "진짜 미친듯이 빠르긴 하네. 1,000 TPS 라니"라는 짧은 감탄으로 시작한다. 여기서 TPS는 통상 초당 생성 토큰 수(tokens per second)를 가리킨다. 문제는 이 숫자가 어디서 나온 측정값이냐는 점이다.

Cerebras가 2026년 6월 29일 공개한 글에 따르면 Gemma 4 31B는 Cerebras Inference에서 초당 1,800 토큰 이상으로 동작한다. Artificial Analysis 측정 기준 출력 속도는 1,851 tok/s였고, 회사는 이를 일반적인 GPU 엔드포인트 대비 35배 수준이라고 표현한다. 같은 모델을 다루는 후속 실험 글에서는 약 2,300 tok/s 환경에서 앱을 만들어봤다는 언급도 나온다. 즉 스레드의 1,000 TPS와 공식 발표의 1,8xx TPS는 측정 조건이 다른 숫자로 보는 편이 자연스럽다. 확인되는 범위에서는 공식 벤치마크가 더 높은 값을 제시한다고 정리하는 것이 안전하다.

첫 토큰 1.5초가 만드는 차이

속도 지표에서 자주 놓치는 것이 지연 시간이다. Cerebras는 Gemma 4 31B가 추론 과정을 포함해 첫 답변 토큰을 1.5초 만에 반환한다고 설명한다. 총 처리량이 높다는 것과 첫 반응이 빠르다는 것은 다른 이야기이고, 사용자가 "빠르다"고 느끼는 지점은 대개 후자다. 스레드에서 감탄이 나온 배경에도 이 체감 지연이 자리하고 있을 가능성이 크다.

Gemma 4 31B, 어떤 모델인가

Gemma 4 31B는 Google DeepMind의 오픈 가중치 멀티모달 모델이다. Cerebras 플랫폼에 올라온 첫 Google DeepMind 모델이자 첫 멀티모달 모델이라는 점이 이번 발표의 핵심이다. 회사가 공개한 주요 사양은 다음과 같다.

항목 내용
모델 규모 30.7B 파라미터 dense (모든 파라미터가 매 추론에 참여)
입력 형태 텍스트 + 이미지 (스크린샷, 문서, 차트, UI 상태 등)
컨텍스트 131K 토큰
언어 140개 이상
튜닝 인스트럭션 튜닝, JSON 출력·함수 호출·에이전트 워크플로 지향
공개 속도 1,800 tok/s 이상 (Artificial Analysis 측정 1,851 tok/s)
첫 토큰 추론 포함 1.5초

Dense 모델이라는 점은 실무에서 의미가 있다. MoE처럼 일부 전문가만 활성화하는 구조가 아니라 매 토큰마다 전체 파라미터가 계산에 들어가기 때문에, 속도 우위가 특정 입력 유형에만 국한되지 않고 비교적 균일하게 나타난다고 해석할 여지가 있다. 다만 이는 구조에 대한 일반적인 설명이고, 실제 워크로드별 편차는 별도 측정이 필요하다.

멀티모달이 빨라지면 생기는 일

텍스트만 빠른 모델과 이미지까지 빠른 모델은 활용 범위가 다르다. Cerebras는 이 모델로 스크린샷 기반 컴퓨터 사용(computer use), 이미지가 끼어드는 에이전트 워크플로, OCR, 문서 이해, 이미지 검색, 객체 탐지, UI 이해, 영상 프레임 분석 같은 용도를 제시한다. 후속 글에서는 문서 처리, 이미지 이해, 영상 분석 세 가지 앱을 일주일간 직접 만들어봤다는 내용도 공개됐다.

요점은 반복 루프다. 비전 모델을 에이전트에 붙이면 화면을 캡처하고, 모델이 읽고, 다시 조작하는 과정이 매 단계마다 이미지 추론을 요구한다. GPU 환경에서 이 루프가 느리면 사용자는 결과를 기다리는 대신 다른 일을 하게 된다. 속도가 올라가면 루프가 대화 리듬 안으로 들어온다.

"Gemma 4, Google DeepMind's family of open models, was built to bring advanced reasoning and multimodal capabilities at developer-friendly sizes. Pairing these capabilities with Cerebras's wafer-scale technology provides developers with an exciting platform for running extremely fast visual and agentic workflows." — Olivier Lacombe, Product Lead, Gemma

모델 자체는 공개 가중치로 풀린 계열이고, Cerebras는 여기에 웨이퍼 스케일 하드웨어를 얹어 속도를 끌어올리는 조합을 택했다. 모델 성능과 서빙 속도를 분리해서 보는 시각이 필요한 이유다.

핵심 정리

  • 스레드에서 화제가 된 모델은 Gemma 4 31B이며, Cerebras Inference에서 초당 1,800 토큰 이상으로 구동된다. Artificial Analysis 측정값은 1,851 tok/s다.
  • 이 모델은 Cerebras 플랫폼 최초의 Google DeepMind 모델이자 최초의 멀티모달 모델이다. 30.7B dense, 131K 컨텍스트, 140개 이상 언어를 지원한다.
  • 2026년 6월 30일 퍼블릭 프리뷰로 공개됐고, chat.cerebras.ai에서 직접 시도해볼 수 있다는 안내가 함께 나왔다.
  • 속도의 실질적 효과는 텍스트 생성 속도보다 이미지·화면이 개입하는 반복 루프의 지연 감소에서 나타난다.

실무 적용 포인트

첫째, 지표를 구분해서 읽어야 한다. 총 출력 토큰 속도와 첫 토큰 지연은 다른 문제다. 배치 처리량이 중요한 파이프라인이라면 tok/s를, 대화형 인터페이스라면 첫 토큰 시간을 우선 지표로 잡는 편이 현실적이다.

둘째, 멀티모달 루프부터 검증하는 것이 효율적이다. 문서 스캔 → 구조화 JSON 추출, 스크린샷 → UI 상태 판독, 영상 프레임 → 이벤트 요약처럼 이미지가 반복적으로 들어가는 작업이 속도 이득을 가장 크게 체감하는 구간이다. Cerebras가 예시로 든 용도도 이 범주에 몰려 있다.

셋째, 131K 컨텍스트와 함수 호출 지원은 에이전트 설계에 직접 영향을 준다. 긴 문서를 잘라 넣는 대신 한 번에 넣고, 도구 호출 결과를 대화 이력에 누적하는 방식이 현실적인 선택지가 된다. 다만 실제 비용과 호출 한도는 서비스 정책에 따라 달라지므로 도입 전 콘솔에서 확인해야 한다.

넷째, 퍼블릭 프리뷰 단계라는 점을 감안해야 한다. 프리뷰는 사양이나 접근 조건이 바뀔 수 있는 구간이므로, 프로덕션 의존도를 정하기 전에 대체 경로를 함께 두는 것이 안전하다.

마무리

"1,000 TPS"라는 한 줄은 과장이 아니라 방향을 가리키는 신호에 가깝다. 공식 수치는 그보다 높고, 더 중요한 변화는 이미지가 들어간 워크플로가 기다림 없는 속도로 돌아간다는 데 있다. 무엇을 만들어볼지 고민 중이라면, 화면과 문서를 반복해서 읽어야 하는 작업부터 꺼내보는 것이 좋은 출발점이다.

스레드 첨부 이미지
원본 스레드 첨부 이미지

자주 묻는 질문

Q. 스레드에는 1,000 TPS라고 되어 있는데 왜 글에서는 1,800 TPS라고 하나?
A. 스레드의 숫자는 작성자의 체감 또는 개별 측정 환경에서 나온 값으로 보인다. Cerebras 공식 발표는 초당 1,800토큰 이상, Artificial Analysis 측정 기준 1,851 tok/s를 제시한다. 측정 조건이 다르므로 두 숫자를 같은 기준으로 비교하기는 어렵고, 확인되는 범위에서는 공식 벤치마크가 더 높다.

Q. Gemma 4 31B는 어떤 입력을 처리할 수 있나?
A. 텍스트와 이미지를 함께 입력할 수 있다. Cerebras는 스크린샷, 문서, 차트, UI 상태 같은 이미지를 넣는 용도로 OCR, 문서 이해, 이미지 검색, 객체 탐지, UI 이해, 영상 프레임 분석을 예시로 든다. 131K 컨텍스트와 140개 이상 언어 지원도 함께 언급된다.

Q. 지금 바로 사용해볼 수 있나?
A. 2026년 6월 30일 퍼블릭 프리뷰로 공개됐고, Cerebras는 chat.cerebras.ai에서 시도해볼 수 있다고 안내했다. 다만 프리뷰 단계이므로 접근 조건이나 사양은 바뀔 수 있어 도입 전 콘솔에서 정책을 확인하는 것이 좋다.

원본

https://www.threads.com/@dextune/post/DaJjVeAkqe2

함께 보면 좋은 글

댓글 0개