VM0 のウェブスクレイピング
リンクを渡せば、エージェントがそのページに実際に書かれていることを、読みやすいテキストにして持ち帰ります。スクレイピング業者との契約は不要です。
ウェブデータ · セットアップ不要 · standard と enhanced の 2 つの課金モード
公開リンクをエージェントに渡せば、ページを読んで返します。ナビゲーションメニューやクッキーバナー、フッターではなく、本文のほうです。ページを整形テキストで受け取ることも、次に何を読むか決めたいときはリンク一覧だけを受け取ることもできます。
読み取りは Firecrawl 上で VM0 が実行し、費用も VM0 が払います。チームの誰かが登録したり、キーを保管したり、二枚目の請求書を突き合わせたりする必要はありません。範囲は意図的に狭く保たれています。1 リクエストにつき 1 ページ。ページを見つけるのはウェブ検索の仕事で、ログインやクリックの向こう側はリモートブラウザの領分です。
ウェブスクレイピング とは
どんな調査も、検索結果だけでは足りず、そのページに実際に何と書いてあるかが必要になる地点に行き着きます。それを正しくやるのは見た目より難しい仕事です。ページは中身の半分をスクリプトで読み込み、役に立つ本文はメニューやバナー、広告のあいだに挟まっています。
VM0 はそれをサービスとして肩代わりし、費用も払います。エージェントは公開リンクを 1 つ送り、ページを読んで要約できる整形テキストとして、あるいはページ上のすべてのリンクの一覧として受け取ります。
通常の読み取りを拒むページもあります。そのための強力なモードがありますが、エージェントは明示的にそれを要求しなければなりません。ページあたりの費用が高く、ワークフローがそれを選んだことが見えるべきだからです。
世の中でウェブスクレイピング API と呼ばれているものと同じで、Firecrawl の料金と自作スクレイパーを比べるときに引き合いに出されるのと同じエンジンです。違うのはアカウントの置き場所です。あなたの側に登録も API キーも月額プランもなく、支払いはページ単位のクレジットです。
ウェブスクレイピング でできること
エージェントがそれで何をできて、その結果として何が返ってくるか。
対応範囲と制限
できないことを先に書いておきます。範囲外のものを前提にワークフローを組んでしまわないように。
公開ページのみ
ログインは一切関わらないため、ログインやペイウォール、ボット対策の向こう側にあるページは範囲外です。それはリモートブラウザの役目です。
一度に 1 ページ
指し示したページを読みます。サイトの残りを勝手に巡回することはないので、サイト全体を読むにはページごとに頼み、ページごとに支払うことになります。
高いモードは選択である
たいていのページは通常モードで問題なく読めます。強力モードは費用が高く、エージェントが要求しなければ使われません。だからワークフローが黙って高くなることはありません。
返ってくるのは情報であって、指示ではない
ウェブページのテキストは読むべきものとして扱われ、従うべき指示として扱われることはありません。それが、敵対的なページがエージェントを言いくるめるのを防ぎます。
ウェブスクレイピング の費用
ウェブサービスはトークンではなく呼び出しごとにクレジットで課金されます。別途ベンダー請求を突き合わせる必要はありません。
zero scrape支払いは読み取ったページ単位のクレジットで、強力モードは通常より高くつきます。下に Firecrawl のサブスクリプションも最低利用額もないので、週に 3 ページ読むワークフローは週 3 ページぶんだけ払います。
セットアップとアクセス
セットアップは不要
接続するものはありません。Firecrawl への登録も、貼り付けるキーも、コネクタ一覧に追加されるものもありません。それが VM0 のカタログにある Firecrawl コネクタとの違いです。コネクタはあなたの Firecrawl アカウントとあなたの Firecrawl 請求で動き、これは私たちのもので動きます。
誰が使えるか
ウェブページを読むことは、あなたが与える権限であって、すべてのエージェントが最初から持っているものではありません。必要なエージェントと人に、必要な期間だけ与え、そのエージェントができる他のことに触れずに取り上げられます。
チームが ウェブスクレイピング を使う場面
検索結果の向こうにあるページを読む
検索が返すのは見出しと 2 行だけです。たいていの仕事には本文が要るので、まず検索し、重要な 2〜3 件を選び、それだけを読むという流れになります。
他に入り口のないページを見張る
競合の価格ページ、変更履歴、ステータスページ、規制の告知。予定実行のエージェントがページを読み、先週と比べ、何かが動いたときだけ知らせます。
長い資料を作業できる素材に変える
仕様書、年次報告書、ヘルプセンター。整形テキストがあるかどうかが、資料の要約になるか、そのナビゲーションメニューの要約になるかの分かれ目です。
ウェブスクレイピング を使わないほうがよいとき
ログインやクリック、フォームが必要なページでは使わず、リモートブラウザを使ってください。サイト全体を読むのにも向きません。ページ単位の費用が、得られる答えの価値より早く積み上がります。そして情報源がきちんとしたデータを自ら公開しているときも避けてください。ほぼ常に、そちらのほうがページを読むより安定しています。
ほかではこう呼ばれています
同じものが市場ではいくつもの名前で呼ばれています。そのどれかを探していた方のために、ここで何にあたるのかを示します。
ウェブスクレイピング API
ページを取得してテキストを返してもらうためにサービスに支払う、というものの一般的な呼び名です。まさにそれです。アカウントとキーはあなたではなく VM0 のものです。
Firecrawl キーなしの Firecrawl API
Firecrawl が下のエンジンです。登録も API キーの発行も Firecrawl のプラン選びもせずにその出力を受け取り、利用分は二枚目の請求書ではなく VM0 のクレジットに現れます。
HTML から Markdown へ
ふつうは自分で書く変換です。HTML のページを入れて、きれいな Markdown を出す。それがエージェントにテキストが届く前に済むので、モデルはマークアップではなく中身に注意を使えます。
AI/LLM 向けスクレイピング
出力をコードでパースするのではなく、モデルに読ませることを想定したスクレイピングです。取得自体は同じで、セレクタがまだ一致するかではなく、テキストが読めるかで評価されます。
ノーコードのウェブスクレイピング
ここでは誰もスクレイパーを書きません。メッセージでページを頼めばエージェントが取得します。コードなしのスクレイピングを探している人が求めているのは、これです。
ウェブスクレイピング の比較
ウェブスクレイピング と Firecrawl を自分で動かす
同じエンジンでも、手間はまるで違います。自前でやるなら、アカウント、誰かが安全に保管しなければならないキー、選ぶべきプラン、突き合わせる二枚目の請求書。しかもワークフローを動かしたい同僚全員にそのキーが要ります。ここでは読み取りも請求も VM0 側にあり、アクセスは共有された秘密ではなく権限です。
ウェブスクレイピング と Firecrawl コネクタ
VM0 は Firecrawl コネクタも提供しています。すでに Firecrawl に支払っていて利用分を自分のアカウントに載せたい場合や、このサービスが扱わない機能が必要な場合は、そちらが正解です。組み込みのほうは、そもそもアカウントを持ちたくない場合に正解です。
ウェブスクレイピング と 自分でブラウザを操作する
自分で動かすブラウザはより多くのことができ、手間もずっと大きく、そのあとページを読めるテキストに変える作業も残ります。本当にクリックが必要な仕事にはリモートブラウザを、ページに書いてあることが知りたいだけならこちらを。
ひとことで言うと
VM0 でウェブページを読むときの既定の方法です。ページが公開されていて中身が知りたいなら、1 ステップ、アカウント不要、ページ単位の課金。ログインやクリックが必要なものはリモートブラウザの領分です。
よくある質問
Firecrawl のアカウントは必要ですか?
いいえ。VM0 があなたの代わりにページを読み、その読み取りをクレジットで課金します。アカウントを作ることも、キーを持つこともありません。
Firecrawl コネクタとは何が違いますか?
コネクタはあなたの Firecrawl アカウントとあなたの Firecrawl 請求で動きます。これは私たちのもので動きます。すでに Firecrawl に支払っている場合や、このサービスが扱わない機能が必要な場合はコネクタをどうぞ。
ログインの内側のページも読めますか?
いいえ。ログインなしで公開ページを開きます。ログイン状態を保てて、途中から人が引き継げるリモートブラウザを使ってください。
サイト全体を読めますか?
単体ではできません。1 回の読み取りは 1 ページなので、サイトを網羅するにはページごとに頼むことになり、ページごとに課金されます。上限を決めておく価値があります。
ページを読む費用はどれくらいですか?
成功した読み取りごとにクレジットがかかり、通常の読み取りを拒むページで使う強力モードはより高くつきます。そのモードが黙って選ばれることはありません。
返ってきた内容をもとに行動しても安全ですか?
情報として扱ってください。VM0 はウェブページのテキストを、従うべき指示ではなく読むための素材として扱います。それが、読まれたページがエージェントの向きを変えるのを防いでいます。
これは Firecrawl の代替ですか?
Firecrawl アカウントなしに Firecrawl の出力が欲しいなら、そうです。Firecrawl 自身のダッシュボード、プラン、全機能が欲しいなら、自分のキーで Firecrawl コネクタを使ってください。
自分でスクレイピングのプランを買うのと比べて費用は?
スクレイピングサービスは最低利用額付きの月額プランを売ります。ここではページ単位のクレジットで、月々の縛りはありません。週に数ページ読むワークフローならたいてい安く、非常に大量に読むならこちらが不利です。
モデルが読むための Markdown を返せますか?
はい。整形された Markdown が既定の形です。だからページがマークアップの壁ではなく、文脈として使えるものになります。
スクレイパーを書いたりセレクタを保守したりする必要はありますか?
ありません。書くものはなく、ページが作り直されても壊れるものもありません。特定の要素の中身ではなく、ページのテキストを求めているからです。
ウェブスクレイピング の頼み方
やりたいことをふだんの言葉で伝えるだけです。どのサービスが必要かはエージェントが判断し、呼び出しまで行います。
“このページを読んで、重要な 5 点をそれぞれ原文の言い回し付きで出して。”
“このドキュメント目次からリンクを抜き出して、料金に関する 3 本を読んで比較して。”
“毎週月曜に競合の価格ページを確認して、変化があったときだけ教えて。”