クローラーの制御方法にはrobots.txtのほかに、HTMLメタタグのrobotsディレクティブやHTTPヘッダーのX-Robots-Tagがあります。robots.txtはファイル単位やディレクトリ単位でのクロール制御に適しており、メタタグはページ単位のインデックス制御に適しています。この2つは排他的ではなく、組み合わせて使うことでより精密な制御が可能です。
robots.txtの優位性は、クローラーがアクセスする前に制御できる点にあります。Disallowされたパスにはクローラーがリクエスト自体を行わないため、サーバー負荷の軽減効果が大きいです。一方、メタタグのnoindexはページにアクセスした後に判断されるため、クロール自体は発生します。大量のページをブロックしたい場合はrobots.txtの方が効率的です。
X-Robots-TagはHTTPヘッダーに設定する方法で、HTMLファイル以外のPDFや画像ファイルにもインデックス制御を適用できる点が大きな特徴です。robots.txt、メタタグ、X-Robots-Tagの3つを状況に応じて使い分けることで、検索エンジンとの適切なコミュニケーションを実現できます。この生成ツールでは使い分けアドバイスも提供されています。