VM0의 웹 스크래핑
에이전트에게 링크를 주면 그 페이지가 실제로 말하는 내용을 깔끔한 텍스트로 가져옵니다. 스크래핑 업체에 가입할 필요 없이.
웹 데이터 · 설정 없음 · 표준과 enhanced, 두 가지 과금 방식
공개 링크를 에이전트에게 건네면 페이지를 대신 읽어 줍니다. 내비게이션 메뉴와 쿠키 배너, 푸터가 아니라 본문 말이죠. 페이지를 깔끔한 텍스트로 받을 수도 있고, 다음에 무엇을 읽을지 정하는 게 목적이라면 링크 목록만 받을 수도 있습니다.
VM0가 Firecrawl 위에서 읽기를 돌리고 비용도 냅니다. 그래서 팀의 누구도 가입하거나 키를 보관하거나 두 번째 청구서를 맞춰 볼 일이 없습니다. 범위는 일부러 좁습니다. 요청 하나에 페이지 하나. 페이지를 찾는 일은 웹 검색의 몫이고, 로그인이나 클릭이 필요한 것은 원격 브라우저의 몫입니다.
웹 스크래핑이란
모든 조사는 검색 결과만으로는 부족해서 페이지가 실제로 무슨 말을 하는지 필요해지는 지점에 이릅니다. 그걸 제대로 해내기는 보기보다 어렵습니다. 페이지는 내용의 절반을 스크립트로 불러오고, 쓸 만한 텍스트는 메뉴와 배너와 광고 사이에 끼어 있습니다.
VM0가 그 비용을 서비스로 대신 부담합니다. 에이전트는 공개 링크 하나를 보내고, 읽고 요약할 수 있는 깔끔한 텍스트로 페이지를 받거나 그 페이지의 모든 링크 목록을 받습니다.
보통 방식으로는 읽히지 않는 페이지가 있습니다. 그런 페이지를 위한 더 강한 모드가 있고, 에이전트가 그걸 명시적으로 요청해야 합니다. 페이지당 비용이 더 크고, 워크플로가 그 모드를 골랐다면 그 사실이 보여야 하기 때문입니다.
웹 스크래핑 API라는 이름으로 찾는 것과 같은 것이고, Firecrawl 요금제와 직접 스크래퍼를 짜는 쪽을 저울질할 때 떠올리는 것과 같은 엔진입니다. 차이는 계정이 어디 있느냐입니다. 여기에는 가입도, API 키도, 월 요금제도 없고 페이지 단위로 크레딧을 냅니다.
웹 스크래핑으로 할 수 있는 일
에이전트가 이걸로 무엇을 할 수 있고, 그때 무엇이 돌아오는지.
범위와 한계
하지 못하는 일을 먼저 밝혀 둡니다. 범위 밖의 것을 전제로 워크플로를 짜는 일이 없도록.
공개 페이지만
로그인이 개입하지 않으므로 로그인 뒤, 유료 장벽 뒤, 봇 차단 뒤의 페이지는 범위 밖입니다. 그건 원격 브라우저가 할 일입니다.
한 번에 한 페이지
지정한 페이지를 읽습니다. 사이트의 나머지를 돌아다니지 않으므로 사이트 전체를 읽으려면 페이지마다 요청하고 페이지마다 비용을 내야 합니다.
비싼 모드는 선택입니다
대부분의 페이지는 보통 방식으로 잘 읽힙니다. 더 강한 모드는 비용이 크고 에이전트가 요청해야 하므로, 워크플로가 조용히 비싸지는 일은 없습니다.
돌아오는 것은 정보이지 지시가 아닙니다
웹 페이지의 텍스트는 읽을 대상으로 다뤄지고 따를 지시로는 결코 다뤄지지 않습니다. 적대적인 페이지가 에이전트를 다른 일로 꾀어내지 못하게 막는 지점입니다.
웹 스크래핑 비용
웹 서비스는 토큰이 아니라 호출당 크레딧으로 과금됩니다. 따로 맞춰 볼 공급업체 청구서가 없습니다.
zero scrape읽은 페이지 단위로 크레딧을 내고, 더 강한 모드는 보통 모드보다 비쌉니다. 아래에 깔린 Firecrawl 구독도 최소 금액도 없으므로, 주에 세 페이지를 읽는 워크플로는 주에 세 페이지 값만 냅니다.
설정과 접근
설정할 것 없음
연결할 것이 없습니다. Firecrawl 가입도, 붙여 넣을 키도, 커넥터 목록에 추가할 것도 없습니다. VM0 카탈로그의 Firecrawl 커넥터와 다른 점이 바로 이것입니다. 커넥터는 여러분의 Firecrawl 계정과 청구서 위에서 돌고, 이건 우리 쪽에서 돕니다.
누가 쓸 수 있나
웹 페이지 읽기는 여러분이 나눠 주는 권한이지 모든 에이전트가 기본으로 가진 능력이 아닙니다. 필요한 사람과 에이전트에게 필요한 기간만큼 주고, 그 에이전트가 할 수 있는 나머지는 건드리지 않은 채 회수하면 됩니다.
팀이 웹 스크래핑을 쓰는 곳
검색 결과 뒤의 페이지 읽기
검색은 제목과 두 줄을 줍니다. 대부분의 작업에는 본문이 필요하므로, 먼저 검색하고 중요한 두세 건을 고른 뒤 그것만 읽는 방식이 됩니다.
다른 입구가 없는 페이지 지켜보기
경쟁사 가격, 변경 이력, 상태 페이지, 규제 공지. 예약된 에이전트가 페이지를 읽고 지난주와 비교해 무언가 움직였을 때만 알려 줍니다.
긴 문서를 작업 재료로 바꾸기
명세서, 연차 보고서, 헬프 센터. 깔끔한 텍스트는 문서의 요약과 그 문서 내비게이션 메뉴의 요약을 가르는 차이입니다.
웹 스크래핑을 쓰지 말아야 할 때
로그인이나 클릭, 양식이 필요한 페이지에는 쓰지 말고 원격 브라우저를 쓰세요. 사이트 전체를 읽는 데도 쓰지 마세요. 페이지당 비용이 답의 가치보다 빨리 불어납니다. 그리고 출처가 자체 데이터를 공개한다면 그쪽을 쓰세요. 페이지를 읽는 것보다 거의 항상 안정적입니다.
다른 곳에서 부르는 이름
같은 것이 시장에서는 여러 이름으로 불립니다. 그중 하나를 찾아본 적이 있다면, 여기서 받는 것과 어떻게 대응되는지 정리했습니다.
웹 스크래핑 API
페이지를 가져와 텍스트를 돌려주는 서비스에 돈을 내는 일을 부르는 흔한 이름입니다. 정확히 그것이고, 계정과 키가 여러분이 아니라 VM0 쪽에 있습니다.
Firecrawl 키 없는 Firecrawl API
아래에서 도는 엔진이 Firecrawl입니다. 등록하거나 API 키를 만들거나 Firecrawl 요금제를 고르지 않고 그 결과를 받고, 사용량은 두 번째 청구서가 아니라 VM0 크레딧에 나타납니다.
HTML을 마크다운으로
보통은 직접 짜는 변환입니다. HTML 페이지가 들어가고 깔끔한 마크다운이 나옵니다. 텍스트가 에이전트에 닿기 전에 끝나므로, 모델은 마크업이 아니라 내용에 주의를 씁니다.
AI 또는 LLM 스크래핑
코드가 파싱하는 대신 모델이 읽도록 만든 출력의 스크래핑입니다. 같은 가져오기이지만, 선택자가 여전히 맞는지가 아니라 텍스트가 읽을 만한지로 평가됩니다.
노코드 스크래핑
여기서는 아무도 스크래퍼를 짜지 않습니다. 메시지로 페이지를 요청하면 에이전트가 가져옵니다. 코드 없는 스크래핑을 찾는 사람이 바라는 그것입니다.
웹 스크래핑 비교
웹 스크래핑 대 Firecrawl을 직접 운영하기
엔진은 같지만 일의 양이 크게 다릅니다. 직접 하면 계정, 누군가 안전하게 보관해야 할 키, 골라야 할 요금제, 맞춰 봐야 할 두 번째 청구서가 생기고, 그 워크플로를 돌리려는 동료마다 그 키가 필요합니다. 여기서는 읽기와 청구가 모두 VM0에 있고, 접근은 공유된 비밀이 아니라 권한입니다.
웹 스크래핑 대 Firecrawl 커넥터
VM0에는 Firecrawl 커넥터도 있습니다. 이미 Firecrawl에 돈을 내고 있고 사용량을 본인 계정에서 보고 싶거나, 이 서비스가 다루지 않는 기능이 필요하다면 그쪽이 맞습니다. 내장 서비스는 계정을 아예 두고 싶지 않을 때 맞습니다.
웹 스크래핑 대 브라우저를 직접 몰기
직접 조작하는 브라우저는 더 많은 일을 할 수 있고 훨씬 손이 많이 갑니다. 게다가 끝나면 페이지를 읽을 수 있는 텍스트로 바꿔야 합니다. 클릭이 정말 필요한 작업에는 원격 브라우저를, 페이지의 내용만 필요할 때는 이걸 쓰세요.
짧게 정리하면
VM0에서 웹 페이지를 읽는 기본 방법입니다. 페이지가 공개돼 있고 그 안의 내용이 필요하다면, 한 단계에 계정 없이 페이지 단위 과금으로 끝납니다. 로그인이나 클릭이 필요한 것은 원격 브라우저의 몫입니다.
자주 묻는 질문
Firecrawl 계정이 필요한가요?
아니요. VM0가 대신 페이지를 읽고 그 읽기를 크레딧으로 청구합니다. 계정을 만들거나 키를 보관할 일이 없습니다.
Firecrawl 커넥터와 무엇이 다른가요?
커넥터는 여러분의 Firecrawl 계정과 청구서 위에서 돕니다. 이건 우리 쪽에서 돕니다. 이미 Firecrawl에 돈을 내고 있거나 이 서비스가 다루지 않는 기능이 필요하면 커넥터를 쓰세요.
로그인 뒤 페이지도 읽나요?
아니요. 로그인 없이 공개 페이지를 엽니다. 로그인을 유지할 수 있고 중간에 사람이 넘겨받을 수 있는 원격 브라우저를 쓰세요.
웹사이트 전체를 읽을 수 있나요?
혼자서는 못 합니다. 한 번의 읽기는 한 페이지이므로 사이트를 훑으려면 페이지마다 요청해야 하고 페이지마다 과금됩니다. 상한을 정해 두는 편이 좋습니다.
페이지 하나를 읽는 데 얼마인가요?
성공한 읽기마다 크레딧이 나가고, 보통 방식으로 읽히지 않는 페이지에 쓰는 더 강한 모드는 더 비쌉니다. 그 모드가 조용히 선택되는 일은 없습니다.
돌아온 내용을 믿고 행동해도 되나요?
정보로 다루세요. VM0는 웹 페이지의 텍스트를 따를 지시가 아니라 읽을 재료로 다룹니다. 그래서 페이지가 그것을 읽은 에이전트의 방향을 틀지 못합니다.
이건 Firecrawl 대안인가요?
Firecrawl 계정 없이 Firecrawl의 결과를 원한다면 그렇습니다. Firecrawl의 대시보드와 요금제, 전체 기능을 원한다면 본인 키로 Firecrawl 커넥터를 쓰세요.
제가 직접 드는 스크래핑 요금제와 비용이 어떻게 다른가요?
스크래핑 서비스는 최소 금액이 있는 월 요금제를 팝니다. 여기서는 월 약정 없이 페이지 단위로 크레딧을 냅니다. 주에 몇 페이지를 읽는 워크플로에는 대개 더 싸고, 아주 큰 물량에는 불리합니다.
모델이 읽을 마크다운으로 돌려주나요?
네. 깔끔한 마크다운이 기본 형태이고, 그래서 페이지가 마크업 덩어리가 아니라 맥락으로 쓸 수 있게 됩니다.
스크래퍼를 짜거나 선택자를 관리해야 하나요?
아니요. 쓸 것도 없고 페이지가 개편돼도 깨질 것이 없습니다. 특정 요소의 내용이 아니라 페이지의 텍스트를 요청하기 때문입니다.
웹 스크래핑을 요청하는 방법
원하는 바를 평소 쓰는 말로 설명하면 됩니다. 어떤 서비스가 필요한지는 에이전트가 판단해 호출합니다.
“이 페이지를 읽고 중요한 다섯 가지를 각각 원문 표현 그대로 알려 줘.”
“이 문서 색인에서 링크를 뽑고, 가격에 관한 세 개를 읽어서 비교해 줘.”
“매주 월요일 경쟁사 가격 페이지를 확인하고 바뀐 게 있을 때만 알려 줘.”