Claude 웹페이지 요약 시 표와 그래프가 깨지는 원인과 해결책
동일한 주식 분석 리포트 URL을 전달했는데, Claude는 왜 텍스트 기사만 읽고 핵심 비교표와 그래프는 백지로 취급할까요?
이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.
✦ KR 주제: Claude 웹페이지 요약 실패 원인 분석과 시각 멀티모달 RAG 솔루션
✦ KR 핵심 요약: LLM에 웹페이지 URL을 전달할 때 발생하는 표 왜곡과 차트 누락은 2차원 시각 배치가 선형 텍스트로 단순화되면서 발생합니다. 버클리 연구팀의 오픈소스 PixelRAG처럼 화면을 직접 렌더링해 픽셀 단위로 처리하거나, 공식 확장 프로그램을 통해 브라우저 시각 맥락을 유지해야 왜곡 없는 데이터 추출이 가능합니다.
🌐 Global Takeaway: Text-based web scraping inherently loses 2D tabular spatial hierarchies and graphical infographics during DOM flattening. Visual RAG paradigms like UC Berkeley's PixelRAG resolve this bottleneck by rendering the full viewport into pixels for multimodal LLM comprehension.
아래 비교표는 텍스트만 추출하는 기존 방식과 화면 전체를 시각적으로 처리하는 방식의 데이터 보존 차이를 보여줍니다.
- DOM 텍스트만 선형 추출
- 표 행렬 구조 평탄화
- SVG/차트 데이터 누락
- 스크립트 미실행 시 빈 화면
- 헤드리스 브라우저 렌더링
- 2차원 좌표 및 배치 유지
- 인포그래픽·차트 시각 인식
- 최종 픽셀 멀티모달 입력
1. 웹페이지를 넘겼을 때 표와 그래프가 사라지는 이유
대규모 언어 모델(LLM)에 특정 웹페이지의 링크를 건네고 요약이나 분석을 요구하면, 겉보기에는 유려한 답변이 생성되지만 정작 핵심 데이터가 완전히 뒤바뀌는 현상을 자주 겪게 됩니다. 공시 보고서나 재무제표가 포함된 기사를 분석해 달라고 요청했는데 행과 열의 수치가 뒤섞여 잘못된 수치가 도출되거나, 본문 안의 인포그래픽과 추세 그래프 내용은 아예 언급조차 되지 않는 사례가 대표적입니다. 사용자는 브라우저 화면에서 모든 표와 도표를 선명하게 보고 있기 때문에 인공지능 역시 화면 전체를 직관적으로 이해할 것이라 기대하지만, 실제 파이프라인의 내부 작동 방식은 전혀 다릅니다.
웹 브라우저는 수많은 스타일시트(CSS), 스크립트(JavaScript), 렌더링 엔진의 레이아웃 계산을 거쳐 인간이 인식하기 쉬운 2차원 시각 결과물로 화면을 그립니다. 반면 일반적인 인공지능 보조 도구가 웹페이지 링크를 처리할 때 수행하는 1차 작업은 '화면을 보는 것'이 아니라, 해당 서버에서 내려온 HTML 문서나 API 응답의 원시 텍스트를 선형적으로 긁어모으는 크롤링에 가깝습니다. 이 과정에서 시각적으로 직관적이던 수많은 공간 정보가 완전히 제거됩니다.
결과적으로 인공지능은 데이터가 배치된 맥락을 보지 못한 채 텍스트 파편만을 조합하여 그럴듯한 문장을 만듭니다. 이는 모델 자체의 추론 능력이 부족해서라기보다는, 모델의 입력단에 도달하는 데이터 형태 자체가 원본 웹페이지의 본질적인 구조를 담아내지 못하는 구조적 결함에서 비롯됩니다.
1-1. 본문 직접 열람(Web Fetch)과 웹 검색(Web Search)의 혼선
사용자가 겪는 첫 번째 혼란은 인공지능이 실제로 해당 페이지의 본문을 온전히 읽은 것인지, 아니면 검색 엔진의 색인 조각을 훑어본 것인지 구분하기 어렵다는 점에서 출발합니다. Anthropic의 지원 문서와 기술 분석 자료에 따르면, Claude 환경에서 URL을 분석할 때는 사용자가 입력한 주소로 직접 접근하는 작업(Web Fetch)과 외부 검색 엔진의 결과를 조합해 답변하는 작업(Web Search)이 분리되어 작동합니다.
현재 웹 인터페이스에서는 별도의 검색 온/오프 토글 없이 모델이 필요에 따라 검색을 자율적으로 판단하여 실행하는 경우가 많습니다. 만약 목표 사이트가 복잡한 접근 제한을 걸어두었거나 스크립트 실행이 지연되면, 모델은 해당 주소의 실제 본문을 가져오는 데 실패하고 대신 외부 검색 색인에 노출된 기사 제목이나 타 사이트의 단편적인 요약문만 긁어모아 답변을 완성해 버립니다. 사용자는 인공지능이 링크의 원문을 정독했다고 착각하지만, 실제로는 파편화된 검색 스니펫을 기반으로 추측성 요약을 생성한 셈입니다.
2. 텍스트 파싱 과정에서 발생하는 2차원 공간 정보의 붕괴
웹 기술의 기본 뼈대인 HTML은 문서의 논리적 계층을 기술하는 언어이지, 시각적 배치 그 자체를 의미하지 않습니다. 복잡한 재무제표나 통계 데이터는 행과 열이 교차하는 그리드 형태로 브라우저 화면에 렌더링되지만, 텍스트 크롤러가 HTML DOM(Document Object Model) 트리에서 텍스트 노드만을 추출하는 순간 2차원 관계망은 하나의 긴 1차원 문자열로 납작하게 눌려버립니다(Flattening).
셀 병합(rowspan, colspan)이 다수 적용된 복합 표의 경우 문제는 더욱 심각해집니다. 크롤러는 각 셀이 화면상에서 어떤 열 머리글과 행 머리글에 종속되어 있는지에 대한 기하학적 위치를 무시한 채 단순히 마크업 태그가 나열된 순서대로 텍스트를 나열합니다. 그 결과 '2025년 영업이익' 아래에 있어야 할 수치가 '2024년 당기순이익' 텍스트 뒤에 달라붙는 치명적인 전치 오류가 발생합니다. 인공지능은 이렇게 망가진 1차원 텍스트 스트림을 순차적으로 읽을 수밖에 없으므로, 아무리 매개변수가 많은 최상위 모델이라도 원래의 상관관계를 정확히 복원해 내지 못합니다.
2-1. 캔버스와 SVG 기반 차트의 증발 현상
현대 웹사이트에서 제공되는 대부분의 데이터 시각화 차트는 일반 텍스트로 보관되지 않습니다. 인터랙티브 차트 라이브러리는 자바스크립트를 사용해 브라우저 메모리상에서 동적으로 캔버스(<canvas>)를 그리거나 복잡한 벡터 경로(<svg>)를 엮어냅니다. 단순 텍스트 추출 도구의 시각에서 캔버스 태그는 아무런 글자도 들어있지 않은 빈 껍데기에 불과하며, SVG 태그는 수많은 좌표 숫자 나열에 지나지 않습니다.
<!-- 크롤러가 마주하는 전형적인 차트 렌더링 영역 -->
<div class="chart-container">
<canvas id="revenue-trend-chart" width="800" height="400"></canvas>
</div>
위와 같은 태그에서 일반적인 텍스트 파서는 아무런 본문 텍스트도 건져내지 못합니다. 브라우저 화면에는 분기별 매출 성장세가 뚜렷한 꺾은선 그래프로 표시되고 있지만, 텍스트만 추출하는 에이전트의 입력단에는 그래프의 존재 자체가 누락됩니다. 따라서 인공지능에게 "이 기사에 나온 차트 추세를 분석해 줘"라고 요청하더라도, 도구는 차트의 존재를 알지 못하므로 엉뚱한 본문 문단을 긁어와 자의적인 해석을 덧붙이게 됩니다.
3. 시각 기반 문서 검색: 버클리 PixelRAG의 접근 방식
이러한 텍스트 기반 정보 추출의 근본적 한계를 돌파하기 위해 등장한 패러다임이 바로 화면 렌더링 기반의 시각적 검색 증강 생성(Visual RAG)입니다. 2026년 10월 14일 소셜 네트워크와 오픈소스 커뮤니티를 통해 주목받은 버클리 연구팀의 오픈소스 프로젝트 PixelRAG(Apache-2.0 라이선스)는 텍스트를 파싱하려는 시도 자체를 뒤집는 설계를 채택했습니다.
PixelRAG는 웹페이지의 HTML 코드를 억지로 텍스트 마크다운으로 변환하려 애쓰지 않습니다. 대신 실제 헤드리스 브라우저 환경에서 목표 웹페이지의 자바스크립트와 스타일시트를 완벽히 실행하여 사용자가 눈으로 보는 것과 동일한 고해상도 뷰포트 이미지를 캡처합니다. 이후 화면을 구성하는 각 요소를 시각적 패치 단위로 나누어 멀티모달 비전 모델에 직접 전달합니다.
이러한 시각 중심 아키텍처는 다음과 같은 기술적 이점을 보장합니다.
- 2차원 공간성 완벽 보존: 복합적인 셀 병합이나 다중 헤더를 가진 복잡한 표라도, 사람이 눈으로 보고 행과 열을 구분하듯 시각 모델이 직관적인 위치 관계를 통해 셀 데이터를 식별합니다.
- 도표 및 차트 데이터 통합 해석:
<canvas>나<svg>로 그려진 꺾은선 그래프, 막대 차트, 원형 다이어그램의 축 눈금과 범례 색상을 시각적으로 인지하여 수치적 의미를 직접 추출합니다. - DOM 난독화 및 동적 레이아웃 극복: 광고나 불필요한 내비게이션 바가 텍스트 코드를 어지럽히더라도, 시각적 레이아웃 계층에서 본문 영역의 바운딩 박스를 정확히 분리해 낼 수 있습니다.
텍스트 추출 도구가 '웹페이지의 원시 소스 코드'를 읽으려 했다면, PixelRAG와 같은 시각 기반 시스템은 '인간 사용자가 최종적으로 인지하는 완성된 화면'을 모델의 시신경에 직접 투사하는 방식을 취합니다.
4. 공식 환경에서의 대안: Claude in Chrome과 Cowork 세션
외부 오픈소스 프레임워크를 직접 구축하기 어려운 환경이라면, 공식 지원 도구인 Chrome 확장 프로그램을 활용해 브라우저 렌더링 컨텍스트를 유지하는 방법이 있습니다. Anthropic 지원 센터의 최신 공식 문서에 따르면, Chrome의 Claude 기능은 Pro, Max, Ultra, Team, Enterprise 등 활성 유료 요금제 사용자를 대상으로 제공되며, 브라우저 사이드 패널을 통해 Claude Cowork 및 Claude Code와 연계되어 동작합니다.
기존의 단순 웹 호출 방식과 달리, Chrome 사이드 패널은 사용자가 현재 열어둔 브라우저 탭의 실제 렌더링 상태를 공유받습니다. 즉, 자바스크립트 연산이 모두 끝나 화면에 정상적으로 표시된 페이지의 시각적·구조적 상태를 세션 안으로 끌고 들어와 작업을 수행할 수 있습니다.
4-1. 사이드 패널과 자동 승인 모드의 제약 사항
Chrome 사이드 패널 환경은 기본적으로 '자동 승인(Auto-approve)' 모드로 구동되어 작업의 연속성을 높이지만, 페이지의 특성에 따라 세심한 설정 확인이 필요합니다.
"Cowork 사이드 패널은 기본적으로 자동 승인 모드로 설정되어 있으므로 Claude는 계속 작동하고 작업에 승인이 필요할 때만 일시 중지됩니다. Enterprise 요금제에서는 조직 관리자가 클라우드의 Cowork과 Claude in Chrome을 명시적으로 활성화해야 사이드 패널을 정상 이용할 수 있습니다." — Anthropic 지원 센터 공식 문제 해결 가이드
만약 사이드 패널이 페이지의 표나 그래픽을 온전히 읽어오지 못한다면, 기술적으로 다음 항목들을 점검해야 합니다. 첫째, 싱글 페이지 애플리케이션(SPA)처럼 자바스크립트 리소스 소모가 큰 사이트는 렌더링이 완전히 끝날 때까지 데이터 스냅샷이 지연될 수 있습니다. 둘째, 브라우저 내 다른 확장 프로그램과의 충돌로 인해 웹페이지 DOM 상호작용 권한이 차단되었는지 확인해야 합니다. 셋째, Claude 지원 센터가 규정한 기본 차단 카테고리에 속하는 도메인이거나 사이트별 접근 권한이 꺼져 있는 경우 브라우저 뷰포트 정보가 에이전트에 전달되지 않습니다.
5. 텍스트 추출과 시각 기반 RAG의 기술 비교
문서 분석 시스템을 구축하거나 업무에 인공지능을 도입할 때, 텍스트 파싱 기반 파이프라인과 시각 기반 멀티모달 파이프라인 중 어떤 방식을 채택할지는 다루고자 하는 데이터의 성격에 따라 결정되어야 합니다. 두 방식의 장단점과 성능적 특성은 명확히 대비됩니다.
| 비교 항목 | 전통적인 텍스트 파싱 (HTML/DOM) | 시각 기반 RAG (PixelRAG / 스크린 캡처) |
|---|---|---|
| 입력 형태 | HTML 원시 코드, 정제된 텍스트 | 렌더링된 뷰포트 픽셀 이미지 (멀티모달) |
| 표(Table) 인식률 | 단순 격자는 양호하나 복합 병합 시 전치 오류 발생 | 셀의 기하학적 2차원 좌표를 유지하여 정확도 높음 |
| 차트/인포그래픽 | <canvas>, SVG 등 시각 요소 데이터 유실 |
축 눈금, 범례, 색상 차이를 분석하여 수치 판독 가능 |
| 동적 JS 지원 | 헤드리스 브라우저 없이는 클라이언트 렌더링 데이터 누락 | 브라우저 실행을 전제로 하므로 최종 렌더링 상태 포착 |
| 토큰 소모량 | 텍스트 길이 비례 (상대적으로 경제적) | 고해상도 이미지 패치 토큰 생성으로 토큰 소모 큼 |
| 처리 속도(레이턴시) | 밀리초(ms) 단위의 빠른 네트워크 응답 | 렌더링 및 비전 모델 추론으로 수 초(sec) 소요 |
정적인 텍스트 위주의 뉴스 기사나 기술 블로그 글이라면 텍스트 파싱만으로도 충분히 빠르고 경제적인 요약이 가능합니다. 그러나 금융 분석서, 임상시험 결과 보고서, 통계청 데이터 시각화 페이지처럼 표와 도표가 본문의 핵심 결론을 구성하는 웹페이지에서는 시각 기반 파이프라인을 사용하지 않고서는 구조적 왜곡을 피하기 어렵습니다.
6. 현업에서 링크 요약 오류를 방지하는 4단계 점검 수칙
개발자나 실무자가 Claude 및 유사 인공지능 도구에 URL을 전달해 작업을 지시할 때, 결과물의 신뢰성을 극대화하기 위한 실질적인 대응 절차가 필요합니다.
단계 1: 작업 범위 명시 및 접근 방식 강제
단순히 "이 링크 요약해 줘"라고 프롬프트를 입력하면 모델은 본문 접근 실패 시 자의적인 웹 검색으로 빈자리를 메우려는 경향을 보입니다. 프롬프트에 직접적인 제약 조건을 걸어야 합니다.
"제공한 URL의 본문을 직접 열어 읽고 핵심 조건과 통계를 정리해줘. 외부 검색 결과 요약으로 대체하지 말고, 본문 접근에 실패하거나 표 구조가 깨진다면 임의로 추측하지 말고 접근 불가 사유를 먼저 알려줘."
단계 2: 인증 장벽 및 세션 의존성 확인
사내 업무 인트라넷, 유료 구독 매체, 로그인이 필요한 서비스의 링크는 인공지능 크롤러가 접근할 수 없습니다. 시크릿 브라우저 창(로그아웃 상태)에서 해당 링크를 열었을 때 동일한 표와 화면이 보이는지 확인해야 합니다. 로그인 장벽이 있다면 링크 전달 대신 브라우저 사이드 패널을 쓰거나 수동 복사를 진행해야 합니다.
단계 3: 브라우저 렌더링 및 권한 상태 점검
Chrome 사이드 패널을 이용하는 경우, 복잡한 스크립트로 인해 로딩이 지연되고 있는지 점검합니다. 최신 Chrome 버전을 사용하고 있는지 확인하고, 필요하다면 캐시를 비우거나 불필요한 브라우저 탭을 닫아 메모리를 확보해야 합니다.
단계 4: 실패 시 원문의 정형화된 제공
자동 파싱이 표의 행렬을 뒤섞어버렸다면, 사용자가 직접 해당 영역을 캡처하여 이미지 파일로 첨부하거나 표 데이터를 탭 구분 텍스트(TSV) 혹은 마크다운 표 형식으로 복사해 대화창에 직접 붙여넣는 것이 가장 안전합니다. 문서가 방대하다면 섹션을 나누어 단계별로 검증을 요청하는 방식을 권장합니다.
7. 시각 기반 문서 검색(Visual RAG) 도입 시의 현실적 고려 사항
PixelRAG와 같은 시각적 접근법이 표와 차트의 왜곡 문제를 근본적으로 해결하는 강력한 대안으로 부상하고 있지만, 실제 프로덕션 환경에 전면 도입하기 전에는 몇 가지 실질적 제약을 감안해야 합니다.
가장 먼저 고려해야 할 요소는 컴퓨팅 비용과 토큰 소모량입니다. 이미지를 멀티모달 모델에 입력할 때, 고해상도 웹 화면 하나는 수천 개 이상의 비전 토큰으로 변환됩니다. 수십 페이지에 달하는 보고서를 시각 기반으로 전부 처리할 경우, 순수 텍스트 파싱 방식에 비해 API 호출 비용이 수배에서 수십 배까지 치솟을 수 있습니다.
두 번째는 인프라 유지보수 복잡도입니다. 텍스트 크롤링은 가벼운 HTTP 클라이언트로 구현할 수 있지만, 시각 기반 파이프라인은 Chromium 기반의 헤드리스 브라우저 클러스터를 상시 운용해야 합니다. 이는 서버 메모리 점유율을 크게 높이고 샌드박스 보안 관리의 부담을 가중시킵니다.
결국 최적의 시스템 설계는 '단순 텍스트 영역은 경량 파서로 처리하고, 복합 테이블 및 캔버스 차트 영역만 브라우저 렌더링 후 비전 모델로 라우팅하는 하이브리드 파이프라인'을 구축하는 것입니다. 링크를 건넸을 때 인공지능이 왜 표를 엉뚱하게 읽는지 그 기술적 배경을 명확히 이해하는 것이야말로, 자동화 도구의 환각을 방지하고 신뢰할 수 있는 데이터 분석 파이프라인을 구축하는 첫걸음입니다.
자주 묻는 질문
Q. Claude에게 URL을 주면 왜 웹 검색과 본문 읽기가 다르게 작동하나요?
A. 웹 검색은 외부 검색 엔진의 색인 조각과 요약 스니펫을 기반으로 답을 조합하는 반면, 본문 읽기(Web Fetch)는 해당 URL의 서버에 직접 접근해 페이지 내용을 가져오는 작업입니다. 사이트의 보안 설정이나 스크립트 지연으로 본문 읽기에 실패하면 모델이 임의로 검색 결과만을 조합해 부정확한 답변을 낼 수 있습니다.
Q. 표(Table)나 그래프가 포함된 웹페이지는 어떻게 분석을 맡겨야 가장 정확한가요?
A. 단순 URL 링크만 넘기기보다는, 화면을 직접 캡처한 이미지 파일을 대화창에 첨부하거나 복합 표 영역을 마크다운 표 형태로 복사해 직접 전달하는 것이 안전합니다. 또는 Claude in Chrome 확장 프로그램을 통해 브라우저 세션의 시각적 렌더링 컨텍스트를 유지한 상태로 분석을 지시하는 것이 좋습니다.
Q. 버클리 연구팀의 PixelRAG는 기존 크롤러와 무엇이 다른가요?
A. HTML 코드에서 텍스트 노드만 선형으로 긁어모으는 기존 방식과 달리, 헤드리스 브라우저로 실제 웹 화면을 렌더링하여 고해상도 픽셀 이미지로 변환한 뒤 멀티모달 비전 모델에 입력합니다. 이를 통해 표의 2차원 공간 좌표와 캔버스·SVG 차트 데이터를 유실 없이 보존합니다.



댓글 0개