ようこそ！tellogs.com
ホーム›ツール一覧›robots.txt生成

robots.txt生成

クローラー設定の自動作成

設定

カスタムルール

robots.txt

関連ツール

sitemap生成
サイトマップXMLを自動生成
meta tag生成
OGP・Twitter Cardのメタデータ作成
HTML Entity変換
HTMLエンティティを変換

よくある質問

robots.txtとは？
クローラーにサイトのどの部分をクロールするか指示するファイルです。
Sitemapとは？
サイトのページ構造を検索エンジンに伝えるXMLファイルです。
noindexとの違いは？
robots.txtはクロール自体を禁止、noindexはインデックスを禁止します。

関連記事