robots.txt ジェネレーター
ブラウザで robots.txt を作成します。全体許可、全体拒否、管理画面ブロックのいずれかから始め、User-agent、Allow、Disallow パスを編集し、必要なら sitemap URL を追加します。出力をコピーしてサイトルートに保存すると、クローラーが取得可能な範囲を把握できます。アップロードはありません。
robots.txt ジェネレーターについて
ブラウザで robots.txt を作成します。全体許可、全体拒否、管理画面ブロックのいずれかから始め、User-agent、Allow、Disallow パスを編集し、必要なら sitemap URL を追加します。出力をコピーしてサイトルートに保存すると、クローラーが取得可能な範囲を把握できます。アップロードはありません。
robots.txt ジェネレーターの使い方
- プリセットを選びます: 全体許可、全体拒否、管理画面ブロック。
- * 以外の特定クローラー用に User-agent を編集します。
- Disallow と Allow パスを追加・変更します(1行1パス)。
- 必要なら sitemap URL を貼り付けます。
- robots.txt をコピーし https://your-domain/robots.txt に保存します。
robots.txt ジェネレーターの例
公開サイトで全体許可
全体許可プリセットは User-agent: * と Allow: / を出力します。sitemap URL を追加すると、同じファイルから XML サイトマップを案内できます。
ステージングで全クローラー拒否
全体拒否は Disallow: / を出力し、Googlebot などをステージングや非公開ホストから締め出します。公開される可能性があるなら noindex も併用してください。
CMS 管理パスをブロック
管理画面ブロックプリセットは Disallow: /admin/ と Disallow: /wp-admin/ を書き、それ以外はクロール可能のままにします。
特定クローラーとカスタムパス
User-agent を Googlebot、Disallow /tmp、Allow /public/、sitemap URL にすると、混合グループと Sitemap: 行が生成されます。
関連ガイド
完全なガイドを読む
robots.txt ジェネレーター の使い方:完全ガイド(2026年版) - 5 分の読書
robots.txt ジェネレーターに関するよくある質問
- robots.txt はどこに置く?
- サイトルートに保存します: https://www.example.com/robots.txt。クローラーはこのパスだけを取得します。サブディレクトリ内のファイルは無視されます。
- Allow と Disallow の違いは?
- Disallow はスキップするパス接頭辞、Allow は取得してよい接頭辞です。親パスが disallow されているときに有用です。このジェネレーターでパスが空の場合は Allow: /(サイト全体)がデフォルトです。
- robots.txt で Google からページを隠せる?
- いいえ。取得しないよう依頼するだけです。他からリンクされていれば検索に出ることがあります。結果から除外したい場合はページに noindex を使います。
- Sitemap 行は追加すべき?
- XML サイトマップがあるならはい。Sitemap: は User-agent グループとは独立し、Google や Bing などの URL 発見に役立ちます。絶対 https URL を使います。
- Crawl-delay は含まれる?
- いいえ。Google は Crawl-delay を無視します。Googlebot を遅らせるには Search Console のクロール設定を使います。このジェネレーターは User-agent、Allow、Disallow、Sitemap のみです。
- ファイルは端末の外に出ますか?
- いいえ。robots.txt ジェネレーターはブラウザ内だけで動作し、パスや sitemap URL はアップロードされません。
関連ツール
Open Graph タグジェネレーター
タイトル、説明、URL、画像から Open Graph と Twitter Card のメタタグを生成。ライブ HTML とソーシャルプレビュー付きの無料 OG タグジェネレーター。
メタディスクリプション チェッカーと SERP プレビュー
無料 SERP 長さチェックとメタディスクリプション プレビュー。ライブ文字数と Google スニペットプレビュー - または下書き生成。150-160 文字目安。
スラッグジェネレーター
タイトルやフレーズをクリーンな SEO 向け URL スラッグに。小文字、アクセント除去、ハイフン/アンダースコア選択 - 無料・即時・非公開。