스프쌤
스레드

AI 스킬을 eval 없이 배포하는 거,

✍ @vyblor⏱ 8분 소요2026-09-07👁
← 목록으로 돌아가기

"AI 스킬을 eval 없이 배포하는 거, 그냥 도박이야." 이 한 문장은 과장이 아니다. 스킬은 문서가 아니라 에이전트의 행동을 바꾸는 코드이기 때문이다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: eval 없는 AI 에이전트 스킬 배포의 위험과 검증 방법

✦ KR 핵심 요약: 스킬은 참고 문서가 아니라 에이전트의 행동을 바꾸는 코드에 가깝다. 그런데도 대다수 스킬은 eval 없이 배포되며, 에이전트의 비결정성 때문에 실패 원인조차 구분되지 않는다. 따라서 트리거 테스트와 적용/미적용 비교, 반복 실행을 통해 효과를 측정해야 한다.

🌐 Global Takeaway: Never ship agent skills without evals: treat SKILL.md as code, test whether it actually triggers and improves outcomes, and keep comparing with-versus-without runs before every release.

"AI 스킬을 eval 없이 배포하는 거, 그냥 도박이야." 짧은 문장이지만, 최근 AI 에이전트 생태계에서 가장 정확한 경고 중 하나다. Google DeepMind의 Philipp Schmid가 AI Engineer 강연에서 "Don't Ship Skills Without Evals"라는 제목으로 다룬 문제의식과 정확히 같은 지점을 찌른다. 코드는 테스트 없이 배포하지 않으면서, 에이전트의 행동을 바꾸는 스킬은 몇 번 돌려 보고 "괜찮네" 수준의 감으로 배포한다는 것이다.

왜 '도박'이라는 표현이 과장이 아닌가

에이전트는 비결정적이다. 같은 프롬프트를 넣어도 실행마다 다른 경로로 문제를 푼다. 그래서 스킬을 붙인 에이전트가 실패했을 때, 그것이 모델의 한계인지, 스킬 설계의 결함인지, 스킬이 아예 호출되지 않은 것인지, 아니면 우연히 한 번 실패한 것인지 구분할 방법이 없다. 구분이 안 되면 개선도 안 된다.

스킬을 만드는 일이 지나치게 쉽다는 점도 문제를 키운다. 에이전트에게 "지금까지 작업한 내용을 바탕으로 재사용 가능한 스킬을 만들어 줘"라고 요청하면 몇 초 만에 절차와 예외 처리, 모범 사례가 담긴 문서가 나온다. 사람이 훑어보면 그럴듯하다. 그러나 문장이 그럴듯한 것과 실제 성능을 개선하는 것은 전혀 다른 문제다.

현실은 더 나쁘다. 확인되는 범위에서 커뮤니티 조사는 6,300여 개 저장소에서 47,000개가 넘는 스킬을 찾아냈지만, eval을 갖춘 사례는 거의 없었고 상당수는 AI가 생성한 것이었다. SkillBench가 색인한 5만 개 이상의 스킬 중 eval을 갖춘 것은 거의 없었다는 지적도 같은 맥락이다. 즉 "그럴듯한 SKILL.md"는 넘쳐나는데, 그것이 실제로 성능을 올린다는 증거는 거의 없다.

테스트 없이 코드를 배포하지 않으면서, 왜 스킬은 eval 없이 배포하는가. — Philipp Schmid의 문제 제기로 인용되는 표현

Skill은 참고 문서가 아니라 행동을 바꾸는 코드다

Anthropic의 Agent Skills 규격이 사실상 표준이 되면서 Claude Code, Gemini CLI, Codex 같은 하네스가 같은 구조를 읽는다. 최소 단위는 SKILL.md 하나이고, frontmatter(name, description)와 body, 그리고 선택적인 resources(scripts/, examples/, references/)로 구성된다. 에이전트는 평소 description만 보고 있다가 관련 작업이 들어오면 body를 읽고, 세부가 필요하면 참조 파일까지 내려간다. 이 progressive disclosure 구조 덕분에 컨텍스트를 아끼면서 깊은 지식을 담을 수 있다.

SKILL.md의 세 부분

frontmatter의 description은 단순 소개문이 아니라 트리거다. 에이전트가 이 스킬을 언제 로드할지 판단하는 근거이므로, 여기가 모호하면 body가 아무리 좋아도 스킬은 실행되지 않는다. body에는 API 사용법, 패턴, 함정 같은 실제 지시문이 들어가고, scripts/와 references/는 필요할 때만 읽히는 보조 자료다. 그래서 스킬은 일반 문서보다 프로덕션 코드나 정책 코드에 가깝게 다뤄야 한다. 어떤 상황에서 호출하고, 어떤 파일을 읽고, 어떤 명령을 실행하고, 무엇을 하지 않을지를 규정하기 때문이다.

eval이 없으면 실패 원인조차 알 수 없다

Schmid는 실패의 절반가량이 스킬 내용이 아니라 호출 단계에서 발생한다고 지적한다. description이 모호하면 에이전트가 스킬을 아예 읽지 않거나, 반대로 무관한 작업에서 잘못 트리거한다. 이 문제는 body를 아무리 다듬어도 고쳐지지 않고, 반복 실행과 측정을 통해서만 드러난다.

실패 지점 전형적인 증상 확인 방법
트리거 스킬이 호출되지 않음 같은 과제를 스킬 유무로 비교
과잉 트리거 무관한 작업에서 스킬 로드 관련 없는 과제 세트로 부작용 측정
내용 호출은 되지만 결과가 나쁨 반복 실행 후 성공률 비교
모델 한계 스킬 없이도 실패 베이스라인 실행으로 분리

성능 수치도 참고할 만하다. SkillBench 1.1의 100여 개 과제 기준으로 스킬은 평균 약 15%의 성능 향상을 보였다고 알려져 있다. 다만 이는 특정 벤치마크의 평균값이므로 모든 스킬이 같은 효과를 낸다고 일반화할 수는 없다. 중요한 것은 평균이 아니라 "내 스킬이 내 과제에서" 효과가 있는지다.

eval은 무엇으로 구성하는가

최소한 세 가지가 필요하다. 첫째, 스킬이 호출돼야 하는 과제와 호출되면 안 되는 과제를 함께 담은 세트. 둘째, 결과를 판정할 기준. 셋째, 우연을 걸러낼 반복 실행이다. Schmid의 가이드와 SkillsBench 논문을 정리한 글들에서도 강조하는 지점은 같다. 평가 없이 "좋아 보인다"는 판단은 근거가 아니며, 비교 가능한 조건에서 측정한 차이만 근거가 된다. 스킬 적용 전후를 같은 과제로 비교하지 않으면, 개선인지 착시인지 판별할 수 없다.

핵심 정리

  • SKILL.md가 그럴듯해 보인다는 이유만으로 배포해서는 안 된다. 실제로 에이전트의 행동과 결과를 개선하는지 반복 평가해야 한다.
  • 좋은 스킬은 절차를 길게 설명하는 문서가 아니라 호출 조건, 목표, 제약을 명확히 정의하고 세부 자료를 분리한 구조다.
  • 스킬 적용/미적용을 비교해야 하며, 모델 자체가 충분히 잘하게 됐다면 스킬은 제거하되 eval은 남겨야 한다.
  • 실패의 상당 부분은 내용이 아니라 트리거에서 발생하므로, description부터 테스트해야 한다.

실무 적용 포인트

  1. 스킬을 만들었으면 먼저 트리거 테스트를 한다. 호출돼야 할 과제와 호출되면 안 되는 과제를 함께 넣고, 의도한 때만 로드되는지 확인한다.
  2. 같은 과제를 스킬 있는 버전과 없는 버전으로 나눠 반복 실행한다. 한 번의 성공은 근거가 되지 못한다.
  3. 실패 로그를 트리거 실패, 내용 실패, 모델 한계로 분류해 기록한다. 분류가 되어야 다음 수정이 방향을 갖는다.
  4. eval을 일회성 이벤트가 아니라 CI에 가까운 루틴으로 둔다. 스킬을 수정할 때마다 같은 과제 세트를 다시 돌린다.
  5. 모델 업데이트로 스킬 없이도 통과하는 과제가 생기면 스킬은 줄이고 eval은 유지한다. eval은 스킬이 아니라 품질에 대한 자산이다.
  6. 사내 컨벤션, SDK 사용법, 배포 절차처럼 반복되는 지식부터 스킬화하고, 그중 효과가 측정된 것만 공유한다.

마무리

"eval 없이 배포하는 건 도박"이라는 말은 개발 문화에 대한 지적이기도 하다. 스킬을 만드는 일은 몇 초면 되지만, 그 스킬이 에이전트의 행동을 바꾸는 코드라는 사실을 인정하는 순간 필요한 일은 테스트다. 확인되는 근거는 일관된다. 스킬은 평균적으로 도움이 되지만, 검증 없는 스킬은 도움이 됐는지조차 알 수 없다. 배포 전에 최소한의 비교 실험을 설계하는 것, 그것이 도박과 엔지니어링을 가르는 차이다.

자주 묻는 질문

Q. eval 없이 배포한 스킬은 왜 위험한가?
A. 에이전트가 비결정적이라 같은 요청에도 결과가 달라진다. 실패했을 때 스킬 내용의 문제인지, 트리거가 안 된 것인지, 모델의 한계인지, 우연한 실패인지 구분할 수 없어 개선 방향을 잡을 수 없다.

Q. 스킬 평가에서 가장 먼저 확인할 것은?
A. 트리거다. 실패의 절반가량이 내용이 아니라 호출 단계에서 발생한다고 지적된다. 호출돼야 할 과제와 호출되면 안 되는 과제를 함께 넣어 description이 의도대로 작동하는지 먼저 본다.

Q. 스킬이 효과가 있는지는 어떻게 판단하나?
A. 같은 과제를 스킬 적용 버전과 미적용 버전으로 나눠 반복 실행하고 성공률 차이를 비교한다. SkillBench 1.1의 100여 개 과제 기준 평균 약 15% 향상이라는 보고가 있지만, 이는 벤치마크 평균이므로 내 과제에서의 비교가 우선이다.

원본

https://www.threads.com/@vyblor/post/Da7GKh9EXCu

함께 보면 좋은 글

댓글 0개