Disallowディレクティブは、指定したパス以下のURLへのクローラーのアクセスを制御するためのルールです。例えばDisallow: /admin/と記述すると、管理者ページへの巡回がブロックされます。このツールでは、DisallowルールをGUIから追加でき、パスの入力ミスや構文エラーを自動的にチェックしてくれます。安全な設定作業を支援します。
Disallowルールを効果的に活用するには、サイト構造を把握することが重要です。管理画面、テスト環境、重複コンテンツ、一時的なランディングページなどがDisallowの対象として一般的です。ただし、Disallowされたパスはインデックスから除外されるため、検索結果に表示したいページを誤って指定しないよう十分注意が必要です。
Disallowルールにはパターンマッチングも使用できます。末尾にアスタリスクを付けると前方一致、ドル記号を付けると末尾一致の指定が可能です。例えばPDFファイルのクロールを一括ブロックできます。このツールではパターンの入力時にリアルタイムでプレビューが表示されるため、意図通りのマッチングかどうかを確認しながら設定を進められます。