コンテンツにスキップ
ToolsMinify logo
SEOツール
人気

robots.txt ジェネレーター

ブラウザで robots.txt を作成します。全体許可、全体拒否、管理画面ブロックのいずれかから始め、User-agent、Allow、Disallow パスを編集し、必要なら sitemap URL を追加します。出力をコピーしてサイトルートに保存すると、クローラーが取得可能な範囲を把握できます。アップロードはありません。

robots.txt ジェネレーターについて

ブラウザで robots.txt を作成します。全体許可、全体拒否、管理画面ブロックのいずれかから始め、User-agent、Allow、Disallow パスを編集し、必要なら sitemap URL を追加します。出力をコピーしてサイトルートに保存すると、クローラーが取得可能な範囲を把握できます。アップロードはありません。

robots.txt ジェネレーターの使い方

  1. プリセットを選びます: 全体許可、全体拒否、管理画面ブロック。
  2. * 以外の特定クローラー用に User-agent を編集します。
  3. Disallow と Allow パスを追加・変更します(1行1パス)。
  4. 必要なら sitemap URL を貼り付けます。
  5. robots.txt をコピーし https://your-domain/robots.txt に保存します。

robots.txt ジェネレーターの例

公開サイトで全体許可

全体許可プリセットは User-agent: * と Allow: / を出力します。sitemap URL を追加すると、同じファイルから XML サイトマップを案内できます。

ステージングで全クローラー拒否

全体拒否は Disallow: / を出力し、Googlebot などをステージングや非公開ホストから締め出します。公開される可能性があるなら noindex も併用してください。

CMS 管理パスをブロック

管理画面ブロックプリセットは Disallow: /admin/ と Disallow: /wp-admin/ を書き、それ以外はクロール可能のままにします。

特定クローラーとカスタムパス

User-agent を Googlebot、Disallow /tmp、Allow /public/、sitemap URL にすると、混合グループと Sitemap: 行が生成されます。

完全なガイドを読む

robots.txt ジェネレーター の使い方:完全ガイド(2026年版) - 5 分の読書

robots.txt ジェネレーターに関するよくある質問

robots.txt はどこに置く?
サイトルートに保存します: https://www.example.com/robots.txt。クローラーはこのパスだけを取得します。サブディレクトリ内のファイルは無視されます。
Allow と Disallow の違いは?
Disallow はスキップするパス接頭辞、Allow は取得してよい接頭辞です。親パスが disallow されているときに有用です。このジェネレーターでパスが空の場合は Allow: /(サイト全体)がデフォルトです。
robots.txt で Google からページを隠せる?
いいえ。取得しないよう依頼するだけです。他からリンクされていれば検索に出ることがあります。結果から除外したい場合はページに noindex を使います。
Sitemap 行は追加すべき?
XML サイトマップがあるならはい。Sitemap: は User-agent グループとは独立し、Google や Bing などの URL 発見に役立ちます。絶対 https URL を使います。
Crawl-delay は含まれる?
いいえ。Google は Crawl-delay を無視します。Googlebot を遅らせるには Search Console のクロール設定を使います。このジェネレーターは User-agent、Allow、Disallow、Sitemap のみです。
ファイルは端末の外に出ますか?
いいえ。robots.txt ジェネレーターはブラウザ内だけで動作し、パスや sitemap URL はアップロードされません。