출처
에이전트가 코드를 써주는 것과, 정해진 절차를 지켜서 쓰는 것은 전혀 다른 문제다.
이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.
✦ KR 주제: 슈퍼파워스와 Quorum 평가 랩으로 본 코딩 에이전트 워크플로 검증
✦ KR 핵심 요약: 슈퍼파워스는 obra/superpowers 저장소를 통해 설치되고 Prime Radiant 블로그 글로 출시 배경이 공개되며, 평가 저장소 superpowers-evals의 Quorum은 실제 코딩 에이전트 CLI를 구동해 사용자형 대화와 시나리오 기준, 결정론적 후검사로 워크플로 준수를 채점한다.
🌐 Global Takeaway: Superpowers ships through a single GitHub repo, while its companion Quorum eval lab drives real coding-agent CLIs and grades them on workflow compliance using scenario criteria and deterministic post-checks.
에이전트가 코드를 써주는 것과, 정해진 절차를 지켜서 쓰는 것은 전혀 다른 문제다. 원문 스레드는 이 차이를 겨냥한 프로젝트들을 나란히 놓는다. 슈퍼파워스 본체 저장소, 그 출시를 설명하는 블로그 글, 그리고 본체가 실제로 절차를 지키는지 측정하는 평가 랩이다. 확인되는 범위에서 이 글은 세 접점의 연결 구조를 정리한다.
슈퍼파워스: 진입점은 GitHub 저장소 하나
원문이 제시하는 첫 번째 링크는 obra/superpowers 저장소다. 여기가 설치 지점이다. 두 번째 링크는 Prime Radiant 블로그의 출시 글이며, URL 경로에 superpowers-6이 포함되어 있어 어떤 버전대를 설명하는 문서인지 경로만으로도 짐작할 수 있게 한다. 세 번째 링크는 prime-radiant-inc 조직의 superpowers-evals 저장소로, 본체와는 별개 저장소다.
정리하면 접점은 세 개다. 배포(설치), 설명(출시 글), 검증(평가 랩). 이 셋이 서로 다른 저장소와 도메인에 흩어져 있다는 사실 자체가 프로젝트의 성격을 보여준다. 본체는 설치 경로를 단순하게 유지하고, 무거운 검증은 별도 저장소에서 감당하는 분업 구조다. 도구를 소개하는 글과 도구의 품질을 재는 글이 분리되어 있다는 점은, 적어도 이 생태계가 평가를 부가 기능이 아니라 독립된 작업으로 취급한다는 신호로 읽힌다.
Quorum: 실제 CLI를 몰아서 채점한다
평가 저장소의 소개 문구는 무엇을 하는지 직설적으로 밝힌다.
Quorum drives and grades real coding-agent CLIs (Claude, Codex, Antigravity, Gemini, Hermes, Kimi, OpenCode, Pi, and Copilot).
핵심은 “real”이라는 단어다. 목업이나 시뮬레이션이 아니라 실제 코딩 에이전트 CLI를 구동한다. 그리고 QA 에이전트가 사용자처럼 대화를 이끌고, 미리 정해 둔 시나리오 기준과 결정론적 후검사(deterministic post-checks)로 결과를 채점한다. 저장소 스스로를 “행동 평가 랩(behavioral eval lab)”이라고 부르는 이유가 여기에 있다. 모델이 무엇을 말했는지가 아니라, 어떤 순서로 무엇을 했는지를 본다는 뜻이다.
저장소 구조에서 읽히는 설계
디렉터리 목록만 봐도 실험 설계가 드러난다. scenarios, suites, arms, coding-agents, container, results, fixtures/template-repo, os-targets, estimates, packages/dashboard가 나란히 놓여 있다. 시나리오를 정의하고(suites, scenarios), 에이전트별 실행 환경을 만들고(container, coding-agents, os-targets), 결과를 축적하고(results), 대시보드로 확인한다(packages/dashboard)는 흐름이 이름에서 그대로 읽힌다. 커밋 수는 2,006개로 표시된다.
results 아래 폴더 이름 하나를 예로 들면 triggering-test-driven-development-antigravity-...-d1ec 형태다. 시나리오 이름, 대상 에이전트, 실행 식별자가 이어 붙는 관례가 있는 것으로 보인다. 확인되는 범위에서 이런 명명은 실험을 재현하고 비교하기 위한 최소 장치다. 어떤 시나리오를 어떤 에이전트가 언제 돌렸는지가 경로 하나에 남기 때문이다.
| 구분 | 슈퍼파워스 본체 | 평가 랩(Quorum) |
|---|---|---|
| 저장소 | obra/superpowers | prime-radiant-inc/superpowers-evals |
| 역할 | 설치·배포 진입점 | 행동 평가·채점 |
| 확인되는 초점 | 사용자가 실제로 쓰는 도구 | 워크플로 준수 여부 측정 |
| 근거 | 원문 링크 | 저장소 소개 문구·디렉터리 구조 |
핵심 정리
- 슈퍼파워스는 obra/superpowers 저장소를 통해 배포되고, 출시 배경은 Prime Radiant 블로그 글로 함께 공개된다.
- 평가 도구 Quorum은 실제 코딩 에이전트 CLI를 구동해 사용자형 대화를 만들고, 시나리오 기준과 결정론적 후검사로 워크플로 준수를 채점한다.
- 대상 에이전트 목록에는 Claude, Codex, Antigravity, Gemini, Hermes, Kimi, OpenCode, Pi, Copilot이 확인된다.
- 저장소 구조(suites, scenarios, results, dashboard)는 정의 → 실행 → 축적 → 시각화로 이어지는 평가 파이프라인을 시사한다.
실무 적용 포인트
- 도구 도입 전에 “무엇을 보장하는가”를 먼저 정하라. 설치가 쉬운 도구일수록, 팀이 기대하는 절차를 문서로 합의해 두어야 효과를 측정할 수 있다.
- 자체 시나리오를 갖춰라. Quorum의 구조를 그대로 쓸 필요는 없지만, 시나리오 이름과 결과 폴더를 남기는 관례는 사내 평가에도 이식할 만하다.
- 결정론적 검사를 섞어라. 모델의 자기 보고만으로 채점하면 신뢰도가 흔들린다. 후검사(post-check)를 붙이는 설계가 이를 보완한다.
- 에이전트를 바꿀 때 같은 시나리오로 비교하라. 대상 CLI가 여러 개라는 것은 교체·병행 시점에 비교 기준이 필요하다는 뜻이다.
- 평가 결과를 저장소에 남겨라. results 디렉터리처럼 실행 흔적을 커밋해 두면 회귀를 눈으로 잡을 수 있다. 다만 credentials.yaml 같은 파일 명칭이 보이는 만큼, 공개 저장소 운영 시 비밀값 분리는 별도로 점검해야 한다.
참고 링크
- 슈퍼파워스 설치: https://github.com/obra/superpowers
- 출시 글(Prime Radiant 블로그): https://primeradiant.com/blog/2026/superpowers-6.html
- 평가 도구: https://github.com/prime-radiant-inc/superpowers-evals
- 원문 스레드: https://www.threads.com/@unclejobs.ai/post/DZuUKwbiaXi
이 글은 위 링크에서 확인되는 범위만 다룬다. 설치 명령이나 릴리스 날짜처럼 원문에서 직접 확인하지 못한 항목은 실제 도입 전에 각 저장소의 안내 문서를 직접 확인하는 편이 안전하다.
자주 묻는 질문
Q. 슈퍼파워스는 어디에서 설치하나요?
A. 원문이 제시하는 설치 진입점은 github.com/obra/superpowers 저장소입니다. 구체적인 설치 명령은 원문에 제시되어 있지 않으므로, 저장소의 안내 문서를 직접 확인하는 것이 안전합니다.
Q. Quorum은 정확히 무엇을 채점하나요?
A. 저장소 소개에 따르면 실제 코딩 에이전트 CLI를 구동한 뒤, QA 에이전트가 사용자처럼 대화를 이끌고 시나리오별 사전 기준과 결정론적 후검사(post-check)를 통해 워크플로 준수 여부를 평가합니다.
Q. 어떤 코딩 에이전트를 대상으로 하나요?
A. 확인되는 범위에서는 Claude, Codex, Antigravity, Gemini, Hermes, Kimi, OpenCode, Pi, Copilot이 대상 목록에 포함되어 있습니다.



댓글 0개