サイトマップは、Webサイトの構造を検索エンジンに伝えるためのXMLファイルです。robots.txtにサイトマップのURLを記述することで、クローラーが効率的にサイトを巡回できるようになります。Sitemapディレクティブにはサイトマップファイルの完全なURLを指定します。複数のサイトマップがある場合は、それぞれを別行に記述するか、サイトマップインデックスファイルでまとめることができます。
サイトマップXMLファイルでは、各ページのURL、最終更新日時、更新頻度、優先度を指定できます。大規模なサイトでは5万URLまたは50MBの制限があるため、サイトマップインデックスを使用して複数のサイトマップに分割することが推奨されます。動的に生成されるページでは、定期的にサイトマップを更新する仕組みを構築しましょう。
robots.txtにサイトマップを記述することは必須ではありませんが、Googleは推奨しています。サイトマップはGoogle Search Consoleからも送信可能ですが、robots.txtに記述しておくことで、クローラーが巡回のたびにサイトマップを発見できるようになります。このジェネレーターでは、サイトマップURLを入力するだけで、適切なSitemapディレクティブを生成できます。