サイトマップに含めるURLの一覧を適切に管理することはSEO対策の基本中の基本です。このツールはWebサイトを自動クロールして内部リンクを一つ一つ辿りながら全ページのURLを収集します。クロール対象のディレクトリを制限したり、特定のパターンを除外したりといった細かい設定も可能です。外部リンクは自動的に除外され内部URLのみが正確に収集されます。JavaScriptで生成される動的URLにも対応しています。
収集されたURLの一覧はツールの画面上で一覧形式で確認でき、不要なページを手動で除外できます。管理画面やログインページなど検索エンジンにインデックスさせる必要のないURLは除外するのがおすすめです。robots.txtでDisallowされているURLも自動的に検出され、重複URLは自動的に除去されます。大量のURLも効率的に整理できます。
URLリストはCSVやテキストファイルとしてエクスポートすることもでき、他のSEOツールとの連携や社内共有に活用できます。定期的にURLリストを見直すことで意図せず重複しているページやリンク切れを早期に発見できます。サイトリニューアル前後のURL変更の確認にも大いに便利です。301リダイレクトの設定確認にも役立ちます。