robots.txt ジェネレーターとは？
robots.txtジェネレーターはクローラーがサイトルートで要求するプレーンテキストファイルを組み立てます。ToolsMinifyの無料ジェネーターはすべて許可、すべて拒否、管理画面拒否から始め、User-agent、Allow、Disallow、任意のサイトマップURLをコピー可能なrobots.txtにします。https://your-domain/robots.txtに保存し、Googlebotなどが取得可能なパスを知ります。すべてブラウザ内で実行。
全体許可、全体拒否、管理画面ブロックのプリセットで robots.txt を生成。Allow/Disallow パスと sitemap URL を追加 - 無料、即時、プライベート。
今すぐ試す
無料のrobots.txt ジェネレーターを開き、以下の手順に従ってください。ダウンロードは不要です。
robots.txt ジェネレーターを使う理由
- すべて許可・すべて拒否・管理拒否のプリセットで、暗記せずにディレクティブを記述
- User-agent、Allow、Disallowパス編集時のライブrobots.txt
- ファイル末尾の絶対URL付き任意Sitemap:行
- パスはトリム、重複除去、必要なら先頭スラッシュ付与
- 完全ブラウザ内 - 下書きは端末外に出ません
robots.txt ジェネレーターの使い方 - ステップバイステップ
- ステップ1: プリセットを選びます: 全体許可、全体拒否、管理画面ブロック。
- ステップ2: * 以外の特定クローラー用に User-agent を編集します。
- ステップ3: Disallow と Allow パスを追加・変更します（1行1パス）。
- ステップ4: 必要なら sitemap URL を貼り付けます。
- ステップ5: robots.txt をコピーし https://your-domain/robots.txt に保存します。
robots.txt ジェネレーターはSEOツールにあります。ツールページを開き、メインフィールドにインプットを入力すると、結果が即座に更新されます。コピーボタンを使用して、出力結果をドキュメント、コードエディタ、またはスプレッドシートに貼り付けてください。
一般的な使用例
公開サイトのローンチ
すべて許可とXMLサイトマップURLで、公開パスを取得し1ファイルからURLを発見させます。
ステージングをインデックス外に
ステージングホストですべて拒否（Disallow: /）。公開Webから到達可能ならページにnoindexも。
CMS管理画面を隠す
管理拒否で/admin/と/wp-admin/をDisallowし、記事と商品ページはクロール可能に。
名前付きクローラーの微調整
User-agentをGooglebotにし、AllowとDisallowプレフィックスを混ぜ、URL発見用Sitemap行を維持。
例
- 公開サイトで全体許可: 全体許可プリセットは User-agent: * と Allow: / を出力します。sitemap URL を追加すると、同じファイルから XML サイトマップを案内できます。
- ステージングで全クローラー拒否: 全体拒否は Disallow: / を出力し、Googlebot などをステージングや非公開ホストから締め出します。公開される可能性があるなら noindex も併用してください。
- CMS 管理パスをブロック: 管理画面ブロックプリセットは Disallow: /admin/ と Disallow: /wp-admin/ を書き、それ以外はクロール可能のままにします。
- 特定クローラーとカスタムパス: User-agent を Googlebot、Disallow /tmp、Allow /public/、sitemap URL にすると、混合グループと Sitemap: 行が生成されます。
プロのヒント
- ファイルはサイトルートに置く必要があります。example.com/blog/robots.txtは無視されます。
- robots.txtはセキュリティ制御ではなくnoindexにもなりません。結果から外すページにはnoindexを。
- 絶対httpsサイトマップURLを使ってください。相対パスは誤読されやすいです。
- GoogleはCrawl-delayを無視します。省略し、Googlebotを遅らせるならSearch Consoleを。
- デプロイ後、Google robots.txtテスターでライブファイルを確認し、主要URLのインデックスをリクエスト。
よくある質問
robots.txt はどこに置く？
サイトルートに保存します: https://www.example.com/robots.txt。クローラーはこのパスだけを取得します。サブディレクトリ内のファイルは無視されます。
Allow と Disallow の違いは？
Disallow はスキップするパス接頭辞、Allow は取得してよい接頭辞です。親パスが disallow されているときに有用です。このジェネレーターでパスが空の場合は Allow: /（サイト全体）がデフォルトです。
robots.txt で Google からページを隠せる？
いいえ。取得しないよう依頼するだけです。他からリンクされていれば検索に出ることがあります。結果から除外したい場合はページに noindex を使います。
Sitemap 行は追加すべき？
XML サイトマップがあるならはい。Sitemap: は User-agent グループとは独立し、Google や Bing などの URL 発見に役立ちます。絶対 https URL を使います。
Crawl-delay は含まれる？
いいえ。Google は Crawl-delay を無視します。Googlebot を遅らせるには Search Console のクロール設定を使います。このジェネレーターは User-agent、Allow、Disallow、Sitemap のみです。
ファイルは端末の外に出ますか？
いいえ。robots.txt ジェネレーターはブラウザ内だけで動作し、パスや sitemap URL はアップロードされません。
必要な関連ツール
ToolsMinifyで他のseoツールを探索してください。関連ユーティリティはrobots.txt ジェネレーターページにリンクされており、サイトを離れることなくワークフローを完了するのに役立ちます。
始める準備はできましたか？
robots.txt ジェネレーターを無料で利用できます - 正確、高速、モバイル向けに最適化されています。