副業始めたてのヤタリです。
Enhancer 4 Googleのクロール機能を使うと、指定したサイトをまるごとMDファイルとして取得できます。取得したファイルをNotebookLMに取り込めば、サイト全体を対象にした分析が手軽にできます。
ブログ運営のために競合サイトを調べようと思い、調査ツールを探していて見つけました。さっそく試したところ、10分ほどで分析環境が整いました。
この記事では、インストール方法からクロールの実行手順やコツまで紹介します。
インストールと初期画面の確認
Enhancer 4 Googleを使うには、まずインストールを行います。
Chromeウェブストアからインストールする
こちらのページにアクセスし、「インストール」をクリックします。
確認ダイアログが出たら「拡張機能を追加」をクリックします。
これでインストールは完了です。
インストール後の初期画面を確認する
インストールが終わると、ツールバー右上にアイコンが追加されます。
アイコンが見当たらない場合は、パズルピースのマーク（拡張機能メニュー）から探してください。
ここをクリックすると、操作パネルが開きます。
左上のメニューから「NotebookLM機能」を選択、「Web Crawler & Source Generator」という項目をクロールに使います。
クロールの実行手順
注意
・対象サイトの利用規約でスクレイピング（コンテンツの自動取得）が禁止されていないか確認してください
・取得したコンテンツの著作権は原サイトに帰属します
・個人の情報分析目的にとどめ、転載・配布はしないでください
クロールの操作は、URL入力と階層指定、取得ページ数の3つです。
クロール対象のURLと階層、最大ページ数を設定する
「Web Crawler & Source Generator」パネルに次の3つを設定します。
- クロールしたいサイトのURLを入力する
- 階層の深さを選択する（0〜5の範囲）
- 取得する最大ページ数を選択する（1〜100の範囲）
「階層」とは、指定したURLからどこまでリンクをたどるかの設定です。
たとえば階層を「2」にすると、トップページ→カテゴリページ→個別記事の順にたどります。
「5」に設定すると、サイドバーのリンクやタグページなど不要なページまで拾ってしまいます。
Webページの階層を確認し、適切な数を試してみてください。
クロールを実行してMDファイルを取得する
設定が終わったら、「クローリング開始＆.md生成」ボタンをクリックします。
クロールが始まると、取得済みページ数がリアルタイムで表示されます。
数十ページ規模のサイトなら、数分で処理が完了します。
完了後、MDファイルが自動でダウンロードされます。
ファイルを開くと、各ページのタイトル・本文がMarkdown形式でまとまっています。
100ページ制限への対処法
1回のクロールで取得できるのは最大100ページです。記事数の多いサイトをトップページから実行すると、途中で処理が止まります。
この問題を以下の手順で解決しました。
- クロール対象サイトのカテゴリ一覧を確認する
- カテゴリページのURLを1つずつクロールの起点に設定する
- カテゴリごとにクロールを実行し、MDファイルを個別に取得する
たとえばブログ運営サイトなら、「ブログの始め方」「SEO」「収益化」などのカテゴリページURLを起点に分けて実行します。
カテゴリ間のリンクで重複取得されますが、NotebookLMでの分析には問題ありませんでした。
MDファイルをNotebookLMに取り込む
クロールで取得したMDファイルは、NotebookLMに取り込むことで競合情報の分析に使えます。
NotebookLMを開き、新しいノートブックを作成します。
「ソースを追加」からMDファイルをアップロードすれば、準備は完了です。
カテゴリ別に分割クロールした場合は、複数ファイルをまとめてアップロードします。
アップロード後はチャット欄に質問を入力し、競合情報を分析できます。
ただ、質問の仕方次第で得られる情報がかなり変わります。分析の手順とプロンプトの工夫は、別記事でまとめる予定です。
まとめ
この記事では、Enhancer 4 Googleのクロール機能を使って競合サイトの情報を一括取得する手順を紹介しました。
- 拡張機能をインストール
- クロール対象のURLと階層、最大ページ数を設定
- クロールを実行してMDファイルを取得
- 100ページ制限にはカテゴリ別の分割クロールで対処
- MDファイルをNotebookLMに取り込み競合サイトを分析
私はこれで、諦めていた競合サイト全体の分析が手軽にできるようになりました。
競合を本格的に調べたいけど手が出せていなかった、という人にはちょうどいいツールだと思います。
コメント