robots.txtで最もよくある間違いは、重要なページを誤ってブロックすることです。Disallow: /と記述するとサイト全体がブロックされるため、設定後は必ず内容を確認しましょう。特に開発環境用のrobots.txtを本番環境にコピーしてしまうミスが多く見られます。本番環境ではDisallowルールが意図通りに適用されているか、Google Search Consoleのrobots.txtテスターで検証することをおすすめします。
CSSやJavaScriptファイルをブロックすると、Googleがページを正しくレンダリングできず、検索順位に悪影響が出ます。スタイルシートやスクリプトファイルはブロックしないように注意が必要です。また、robots.txtの文法ミスも頻繁に発生します。各ディレクティブの後にコロンとスペースが必要であること、パスの先頭にスラッシュが必要であることなど、基本的な文法を確認しましょう。
robots.txtファイルの設置場所を間違えるミスもあります。ファイルはドメインのルート（https://example.com/robots.txt）に設置する必要があります。サブディレクトリへの設置では機能しません。さらに、robots.txtは強制力のある仕組みではなく、ガイドラインであることを理解しておきましょう。悪意あるクローラーはrobots.txtを無視するため、機密情報はrobots.txtではなくサーバー側の設定で保護する必要があります。