스프쌤
스레드

PageIndex에서 임베딩 비용이 0원인 거 알고 계셨어요?

✍ @think.5x⏱ 7분 소요2026-10-14👁
← 목록으로 돌아가기

임베딩 비용 0원이라는 문구만 보고 도입을 결정하기 전에, 그 비용이 어디로 이동했는지부터 확인해야 합니다.

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: 벡터 DB를 없앤 RAG 프레임워크 PageIndex와 임베딩 비용 0원의 실제 의미

✦ KR 핵심 요약: PageIndex는 임베딩과 벡터 DB를 전제로 하지 않고 LLM 추론으로 긴 문서를 탐색합니다. 임베딩 비용은 0원이 되지만 추론 비용과 문서 구조 설계 부담은 남습니다.

🌐 Global Takeaway: Removing the vector database does not remove cost; it shifts spending from embeddings and infrastructure to inference-time reasoning. The trade-off only pays off when document structure is clear and query volume is manageable.

RAG를 도입하려는 팀이 가장 먼저 마주치는 병목은 모델 성능이 아니라 파이프라인 유지비입니다. 문서를 잘라 임베딩으로 바꾸고, 벡터 DB에 적재하고, 원본이 바뀔 때마다 인덱스를 다시 만드는 작업이 계속 비용을 만들어냅니다. PageIndex는 이 순서를 그대로 따르지 않는 접근으로 소개됩니다. 원문 스레드에 따르면 이 프레임워크는 별 30,800개를 넘겼고, 벡터 DB 자체를 없앤 뒤 LLM 추론만으로 긴 문서를 탐색합니다.

별 30,800개를 넘긴 RAG 프레임워크인데, 벡터 DB 자체를 없앴습니다. LLM 추론만으로 긴 문서를 탐색합니다. — 원문 스레드 요약

임베딩 비용 0원이라는 표현의 범위

이 문구를 운영비 전체가 0원이라는 뜻으로 읽으면 오해입니다. 확인되는 범위에서 PageIndex는 임베딩 호출을 전제로 하지 않습니다. 임베딩 모델을 돌리지 않으니 토큰당 임베딩 과금도, 임베딩 결과를 담아둘 벡터 저장소도 필요하지 않습니다. 그래서 임베딩 항목만 놓고 보면 비용이 0원입니다.

반대로 문서를 읽고 판단하는 주체가 LLM이므로 추론 비용은 남습니다. 질문이 들어올 때마다 모델이 문서의 어느 부분을 볼지 판단하고, 필요하면 여러 번 열람합니다. 즉 비용 구조가 임베딩과 벡터 DB 운영, 생성을 합친 형태에서 추론과 생성 중심으로 옮겨가는 것이지 전체가 사라지는 것이 아닙니다. 어느 쪽이 유리한지는 문서 규모, 질의 빈도, 캐싱 설계에 따라 달라집니다.

여기에 하나 더 붙이면, 임베딩 비용은 사람이 눈으로 확인하기 쉬운 항목이라 절감 효과가 과대평가되기 쉽습니다. 반면 추론 비용은 질의 패턴에 따라 출렁이기 때문에 도입 전후를 같은 질문 세트로 비교하지 않으면 체감이 어긋납니다. 0원이라는 숫자는 회계상의 항목 하나가 사라졌다는 신호로 받아들이는 편이 정확합니다.

벡터 검색을 걷어내고 남은 것

임베딩 기반 검색은 질문과 문서 조각을 같은 벡터 공간에 놓고 가까운 것을 고릅니다. PageIndex가 택한 방식은 그 대신 모델이 문서 구조를 따라가며 읽을 위치를 스스로 정하는 쪽에 가깝습니다. 원문의 표현을 그대로 옮기면 LLM 추론만으로 긴 문서를 탐색하는 구조입니다. 문서 전체를 한 번에 넣을 수 없을 만큼 긴 경우, 잘라서 유사도로 붙이는 대신 목차를 훑고 필요한 절로 내려가는 방식이라고 이해하면 됩니다.

인덱싱 단계에서 사라지는 작업들

일반적으로 벡터 기반 RAG에서는 청크 크기, 오버랩, 임베딩 모델, 차원 수, 유사도 지표를 함께 설계해야 하고, 원본 문서가 갱신되면 해당 청크의 임베딩을 다시 계산해 인덱스에 반영합니다. 벡터를 쓰지 않는 구성에서는 이런 튜닝 항목 상당수가 질문 목록에서 빠집니다. 대신 문서를 어떤 단위로 나누고 어떤 계층으로 표현할지, 모델이 어떤 순서로 탐색할지에 설계 역량이 몰립니다. 없어진 작업이 사라진 것이 아니라 다른 지점으로 이동한 셈입니다.

비용과 운영 부담 비교

비교 항목 벡터 DB 기반 RAG (일반적 구성) PageIndex가 택한 방식
문서 인덱싱 임베딩 생성 후 벡터 저장 임베딩 없이 문서 구조를 활용
필수 인프라 벡터 DB 운영·백업·샤딩 확인되는 범위에서는 벡터 DB 불필요
원본 갱신 재임베딩 및 인덱스 반영 문서 구조 갱신 중심
질의 시점 비용 임베딩 + 유사도 검색 + 생성 LLM 추론 기반 탐색 + 생성
튜닝 포인트 청크·차원·유사도 지표 탐색 전략·문서 구조 설계
실패 양상 검색 누락, 청크 경계 손실 탐색 경로 이탈, 반복 열람

표는 구조 차이를 정리한 것이며, 실제 수치나 벤치마크 결과는 원문에서 확인되지 않습니다.

어떤 상황에서 유리한가

긴 보고서, 매뉴얼, 계약서처럼 목차와 절이 분명한 문서를 다룰 때 구조 기반 탐색은 사람이 읽는 순서와 비슷해집니다. 질의량이 적고 문서가 자주 바뀌는 환경이라면 재임베딩 파이프라인을 유지하지 않아도 된다는 점이 실무적으로 크게 작용합니다. 반대로 짧은 문서가 대량으로 흩어져 있고 초당 질의가 많은 서비스라면, 매 요청마다 모델이 탐색하는 방식은 비용과 지연 측면에서 불리할 수 있습니다. 이 판단은 확인되는 범위를 넘어서므로 자체 측정이 필요합니다.

또 하나 주의할 점은 정답의 근거를 제시하는 방식입니다. 유사도 검색은 어떤 청크가 선택됐는지 비교적 명확히 남지만, 추론 기반 탐색은 모델이 어떤 경로로 답을 찾았는지 로그를 봐야 알 수 있습니다. 감사나 검수가 중요한 문서를 다룬다면 탐색 과정을 기록으로 남길 수 있는지 미리 확인해 두는 편이 좋습니다.

핵심 정리

  • PageIndex는 별 30,800개를 넘긴 RAG 프레임워크로 소개되며, 벡터 DB를 두지 않는 구성을 택했습니다.
  • 임베딩 호출이 없으므로 임베딩 비용은 0원이지만, 탐색을 담당하는 LLM 추론 비용은 발생합니다.
  • 유사도 계산 대신 모델의 문서 탐색으로 검색을 대체한 것이 핵심 차이입니다.
  • 청킹과 차원, 유사도 지표 튜닝 부담이 줄어드는 대신 문서 구조와 탐색 전략 설계가 중요해집니다.

실무 적용 포인트

  1. 비용 비교는 항목을 분리해서 하세요. 임베딩비, 벡터 DB 운영비, 추론비, 재인덱싱 인건비를 따로 적어야 0원의 실제 의미가 보입니다.
  2. 문서 구조를 먼저 점검하세요. 목차와 섹션이 명확한 문서일수록 구조 기반 탐색이 안정적으로 동작합니다.
  3. 질의 로그로 검증하세요. 같은 질문 세트를 양쪽 구성에 던져 정답률과 응답 시간을 함께 비교하는 방식이 현실적입니다.
  4. 갱신 주기를 확인하세요. 원본이 자주 바뀌는 문서일수록 재임베딩 부담이 없는 구성의 이점이 커집니다.
  5. 파일럿 범위를 좁히세요. 전체 코퍼스가 아니라 대표 문서 한 묶음으로 먼저 측정한 뒤 확장 여부를 정하는 편이 안전합니다.

마무리

임베딩 비용 0원은 과장된 슬로건이라기보다 비용 구조가 어디로 이동했는지를 알려주는 문장입니다. 벡터 DB를 걷어낸 대신 추론이라는 값비싼 자원에 탐색을 맡겼다는 점을 함께 봐야 합니다. 도입 여부는 유행이 아니라 우리 문서의 형태와 질의 패턴으로 결정할 문제입니다.

스레드 첨부 이미지
원본 스레드 첨부 이미지

자주 묻는 질문

Q. 임베딩 비용이 0원이면 운영비도 0원인가요?
A. 아닙니다. 확인되는 범위에서 PageIndex는 임베딩 호출을 하지 않으므로 임베딩 과금과 벡터 저장소 비용이 사라질 뿐, 문서를 탐색하고 답을 만드는 LLM 추론 비용은 남습니다. 비용 구조가 이동한 것으로 보는 편이 정확합니다.

Q. 벡터 DB 없이 어떻게 긴 문서에서 관련 내용을 찾나요?
A. 원문은 LLM 추론만으로 긴 문서를 탐색한다고 설명합니다. 유사도로 후보 조각을 고르는 대신, 모델이 문서의 목차와 절 구조를 따라가며 읽을 위치를 스스로 정하는 방식으로 이해할 수 있습니다.

Q. 어떤 경우에 이 방식이 불리할 수 있나요?
A. 짧은 문서가 대량으로 흩어져 있거나 초당 질의가 많은 서비스라면 매 요청마다 모델이 탐색하는 비용과 지연이 부담이 될 수 있습니다. 반대로 목차가 분명한 긴 문서를 다루고 갱신이 잦은 환경에서는 재임베딩 부담이 없어 유리할 수 있습니다.

원본

https://www.threads.com/@think.5x/post/DYRXcLFE6yE

함께 보면 좋은 글

댓글 0개