User-agentディレクティブは、robots.txtのルールを適用する対象のクローラーを指定します。主要な検索エンジンのクローラーには、Googlebot（Google）、Bingbot（Bing）、YandexBot（Yandex）、Baiduspider（百度）などがあります。アスタリスクを使用して「User-agent: *」と記述すると、すべてのクローラーを対象としたルールを定義できます。
クローラーごとに異なるルールを設定することも可能です。例えば、Googlebotには全ページを許可しつつ、特定のクローラーには特定のディレクトリをブロックする設定ができます。ただし、クローラーの名前を正確に記述しないとルールが適用されないため、注意が必要です。Googlebot-ImageやGooglebot-Newsなど、特殊なGoogleボットも存在します。
実際の運用では、基本ルールとして「User-agent: *」で全クローラー向けの設定を行い、必要に応じて特定クローラー向けの例外ルールを追加するのが一般的です。このジェネレーターでは、主要なクローラー名がプリセットとして用意されており、ドロップダウンメニューから選択するだけで正しいUser-agentディレクティブを生成できます。