Robots.txt SEO のベスト プラクティス - 許可、禁止、サイトマップ (2026)

robots.txt ファイルは、ホストのルートにある小さなテキスト ファイルで、クローラーに取得できる URL パスを通知します。これはパスワードでも、noindex タグでも、秘密を隠す方法でもありません。正しく設定すれば、Googlebot や Bingbot などが、あなたが関心のあるページにクロール バジェットを費やします。間違ったやり方をすると、CSS をブロックしたり、サイトマップを非表示にしたり、ステージング サイトを検索に漏らしたりすることになります。このガイドでは、2026 年になっても重要なルール、Disallow と noindex の違い、ランキングに影響を与える間違いについて説明します。 https://your-domain/robots.txt に貼り付けるファイルが必要な場合は、Robots.txt Generator を使用します。これはブラウザ内で実行され、パスはアップロードされません。

robots.txt とは何か (そしてそうでないもの)

robots.txt はロボット排除プロトコルです。クローラーがそのホスト上の他の URL を要求する前に検索する自主的なルールのセットです。行儀の良いボット (Googlebot、Bingbot、多くの SEO クローラー) はこれを尊重します。スクレイパーや一部の AI フェッチャーはそれを無視する可能性があります。ファイルをセキュリティ制御ではなく、クロール ヒントとして扱います。

• 公開されているテキストファイルです。誰でも https://your-host/robots.txt を開いて、あなたが書いたすべての Disallow を読むことができます。
• それはホストごとです。 www.example.com と example.com の両方がコンテンツを提供する場合は、それぞれ独自のファイルが必要です。
• ユーザーを認証しません。 Disallow 行は、ブラウザ、スクレーパー、または URL を知っている人を停止させるものではありません。
• 単独で Google から URL を削除するわけではありません。それが noindex (および Search Console での削除) の目的です。

検索エンジンは、ユーザーが見たとおりにページをレンダリングするために、CSS、JavaScript、画像をフェッチする必要があります。これらのアセットをブロックすることは、Google がレイアウトをどのように理解しているかを試す古典的な方法です。優れた robots.txt は退屈です。公開サイトを許可し、いくつかの管理プレフィックスをブロックし、サイトマップをポイントします。

ファイルが存在する必要がある場所

クローラーは、そのホスト上の 1 つのパス /robots.txt のみを要求します。それ以外の場所にあるファイルは無視されます。

• 正解: https://www.example.com/robots.txt
• 無視: https://www.example.com/blog/robots.txt または https://www.example.com/static/robots.txt
• www と apex は別のホストです。両方が応答する場合、それぞれにファイルが必要です (または、クローラーが検索する前に、一方が他方にリダイレクトする必要があります)。
• HTTP 200 でテキスト/プレーンとして提供します。HTML ソフト 404、ログイン ウォール、または 500 は、ファイルが見つからないか壊れているように見えます。
• これを、Search Console のホストと一致する、インデックスを作成する正規ホストのサイト ルートに保持します。

実際に重要な構文

robots.txt ファイルはルールのグループです。各グループは 1 つ以上のユーザー エージェント行で始まり、その後、そのグループの許可行と禁止行が続きます。サイトマップ行はグループの外側にあり、それを理解するすべてのクローラーに適用されます。

• ユーザー エージェント: * - より具体的なグループを持たないクローラのデフォルト グループ。
• ユーザーエージェント: Googlebot - 名前付きグループ。 Google は、* と Googlebot を組み合わせたものではなく、最も具体的な一致グループを使用します。
• 禁止: /admin/ - /admin/ で始まる URL パスをスキップします。
• 許可: / - サイト全体を許可します。空の Disallow は、同じことを表す古い方法です。
• サイトマップ: https://www.example.com/sitemap.xml - XML サイトマップへの絶対 https URL。
• コメントは # で始まります。空白行はグループを区切ります。パスでは大文字と小文字が区別されます。

Google では、許可パスと禁止パスで * (任意のシーケンス) と $ (URL の末尾) をサポートしています。ビングは近いです。 Google が無視する指令をでっち上げないでください。クロール遅延はその典型的な例です。Google はこれを使用しません。 Googlebot の速度を低下させる必要がある場合は、Search Console のクロール設定を使用します。

許可と不許可

クローラーがスキップする必要があるパス プレフィックスのリストを禁止します。取得できるプレフィックスを許可リストにリストします。これは、親パスが許可されていない場合に役立ちます。 Google は、ファイルの最初の行ではなく、一致する最長のパスを選択します。

• Disallow: / は、このホスト上のすべてをスキップすることを意味します。これは公開サイトではなくステージングで使用してください。
• Allow: / (または Disallow 行がない) は、ホスト全体をフェッチすることを意味します。
• 禁止: /tmp と許可: /tmp/public/ を使用すると、Googlebot は /tmp の残りの部分をスキップしながらパブリック フォルダにアクセスできます。
• より具体的な許可では、短い禁止で閉じたパスを再度開くことができます。
• 末尾のスラッシュは重要です。 /admin と /admin/ は異なるプレフィックスです。 CMS が実際に提供する URL と一致します。

robots.txt と noindex の比較

これは、インデックス作成を保存 (または破壊) する区別です。 robots.txt と noindex は異なる仕事をします。これらが混在すると、タイトルやスニペットのない URL が検索で引っかかってしまいます。

• robots.txt 禁止 - この URL を取得しないでください。他のページが URL にリンクしている場合、クローラーは URL をリストする可能性があります。
• noindex (メタ ロボットまたは X-Robots-Tag) - この URL を取得できますが、結果には表示されません。
• URL を禁止すると、Google は HTML をダウンロードしないため、そのページの noindex を認識できなくなります。
• パブリック URL をインデックスから削除するには、クロールを許可し、ページに noindex を設定します。あとは再クロールを待ちます。
• プライベート ホストを非表示にする場合は、robots.txt だけに依存しないでください。 HTTP 認証、IP 許可リストを使用するか、公共のインターネットから遠ざけてください。

サンキュー ページ、ファセット フィルター URL、または内部検索結果ページでは通常、Google がタグを認識できるように noindex (およびクロール) が必要です。ステージング ホストは Disallow: / に加えて実際のアクセス制御を必要とします。 CMS 管理領域では、クロール バジェットを無駄にしないようにプレフィックスを無効にし、ログインせずに URL にアクセスできるようにする場合は noindex の両方を使用できます。

公開サイトのベスト プラクティス

ほとんどのパンフレットやツールのサイトには、短くて退屈なファイルが必要です。すべて許可から開始してサイトマップを追加し、クロール バジェットを消費しないプレフィックスのみを禁止します。

• パブリック サイト全体を許可します (ユーザー エージェント: * および許可: /)。
• XML サイトマップの絶対 https URL を含む Sitemap: 行を 1 つ追加します。
• 必要に応じて、/admin/ や /wp-admin/ などの CMS 管理パスを禁止します。
• Google がページをレンダリングするために必要な CSS、JavaScript、フォント、または画像フォルダーを禁止しないでください。
• URL がランク付けされることを目的としている場合は、ロケール プレフィックス (/es/、/pt/、/fr/、/de/) を禁止しないでください。
• パラメータのクリーンアップは、迷路のような不許可ルールではなく、Search Console または標準タグ内で行ってください。
• デプロイするたびにライブ ファイルを再確認します。ステージングからの Disallow: / の残りは、一般的な停止です。

ステージング、プレビュー、プライベート ホスト

ホストが検索に表示されないようにするには、Disallow: / がジョブの robots.txt の半分になります。それが仕事のすべてではありません。リンク、サイトマップ、Search Console のプロパティは引き続き URL を表示できます。

• ステージングを本番環境のパブリック パスではなく、独自のホスト (staging.example.com) に配置します。
• そのホスト上で / を禁止し、ホストに到達可能な場合はすべての HTML 応答で noindex を提供します。
• HTTP 認証または VPN を推奨します。 robots.txt は、プロトコルを無視するクローラーを停止しません。
• ステージング サイトマップを本番環境の Search Console プロパティに送信しないでください。
• 本番環境をステージング環境に複製する場合は、本番環境の robots.txt をすぐに置き換えてください。ここで危険なのは、すべて許可ファイルです。

サイトマップ行

Sitemap: ディレクティブは、ユーザー エージェント グループから独立しています。 Google、Bing などは、これを発見のヒントとして使用しています。 Disallow はオーバーライドされません。サイトマップに URL をリストし、それを禁止すると、混合シグナルが送信されることになります。

• 絶対 https URL を使用します。サイトマップ: /sitemap.xml が無効です。
• 複数のサイトマップ (インデックスと子サイトマップ、またはロケール固有のファイル) をリストできます。
• サイトマップのホストは、可能な限り robots.txt のホストと一致する必要があります。クロスホスト サイトマップには、追加の Search Console セットアップが必要です。
• サイトマップをインデックス可能な URL に保ちます。サンキューページ、カート URL、ステージング クローンはそこには属しません。

ワイルドカード、終了アンカー、コメント

Google の robots.txt パーサーは、パス内の 2 つの追加トークンをサポートします。慎重に使用してください。長いワイルドカード ファイルは、いくつかの正確なプレフィックスよりもテストが困難です。

• * は任意の文字シーケンスと一致します。禁止: /*.json$ は、.json で終わる URL をスキップします。
• $ は URL の末尾と一致します。これがなければ、*.json は .json.html にも一致します。
• # コメントを開始して行末までを記述します。コメントにシークレット、API キー、内部ホスト名を含めないでください。
• クローラーが * または $ をサポートしていない場合、それらの文字をリテラルとして扱う可能性があります。できる限り単純なプレフィックスを使用してください。

作業例

CMS 管理領域も備えた公開マーケティング サイトには、このファイルが付属している可能性があります。ジェネレーターのすべて許可プリセットにサイトマップと 2 つの Disallow 行を追加すると、同じ形状が生成されます。

• ユーザーエージェント: *
• 許可する： /
• 許可しない: /admin/
• 禁止: /wp-admin/
• サイトマップ: https://www.example.com/sitemap.xml

このファイルは、すべてのクローラーに、パブリック サイトを取得し、2 つの管理プレフィックスをスキップして、XML サイトマップを確認するように指示します。管理 URL のインデックスは作成しません (ログインではすでに管理 URL が非表示になっているはずです)。 /_next/ または /images/ はブロックされません。貼り付けた後、ブラウザでライブ /robots.txt URL を開き、バイトがコピーしたものと一致することを確認します。

よくある間違い

• ファイルをサブディレクトリに置きます。クローラーは /robots.txt のみを取得します。
• CSS、JavaScript、またはフォント パスを禁止することで、Google がページをレンダリングできなくなります。
• Disallow を使用して、インデックスから削除したいページを「非表示」にします。 noindex を使用し、クロールを許可します。
• ステージング クローンの後に実稼働環境で Disallow: / を残します。
• 相対的な Sitemap: 行。絶対 https URL である必要があります。
• og:image パスをブロックします。ソーシャル クローラーは引き続き画像を取得する必要があります。 Open Graph タグの完全なガイド を参照してください。
• 大文字と小文字の不一致 (/Admin と /admin/)。パスでは大文字と小文字が区別されます。
• Google が無視するクロール遅延ライン。これにより、レート制御があると誤った認識が与えられます。
• コメントに秘密を書きます。ファイルは公開されています。
• すべてのボットがファイルを尊重すると仮定します。一部のスクレーパーはそれを無視します。これはアクセス制御の問題であり、robots.txt の問題ではありません。

よくある質問

robots.txt は Google からページを隠しますか?

いいえ、Googlebot にこれらの URL を取得しないよう要求します。他のページがブロックされた URL にリンクしている場合でも、Google はスニペットをほとんどまたはまったく含まずにそのページをリストに掲載できます。 URL が結果に含まれないようにするには、クロールを許可し、noindex を追加します。

robots.txt はどこに置くのですか?

ホストのサイト ルート: https://www.example.com/robots.txt。その正確なパスは、クローラーが要求する唯一のパスです。フォルダー内のファイルは無視されます。

すべてのサイトですべてのクローラーを許可する必要がありますか?

ランク付けを希望する公開サイトは、通常、User-agent: * およびAllow: / で始まります。ステージング、プレビュー、およびプライベート ホストは Disallow: / を実行し、実際のアクセス制御を追加する必要があります。名前付きグループ (Googlebot、Bingbot) は例外用であり、日常的なファイル用ではありません。

サイトマップ行は必要ですか?

XML サイトマップがある場合ははい。これは発見のヒントであり、ランキングの切り替えではなく、Disallow をオーバーライドしません。絶対 https URL を使用します。 Search Console で同じサイトマップを送信することもできます。

クロール遅延はまだ役に立ちますか?

Googleのためではありません。 Google はクロール遅延を無視します。 Googlebot が攻撃的すぎる場合は、Search Console のクロール設定を使用してください。他のボットはクロール遅延を尊重する場合がありますが、このガイド (およびジェネレーター) はユーザー エージェント、許可、禁止、およびサイトマップに固執します。

ファイルをテストするにはどうすればよいですか?

ライブ URL /robots.txt を開いて読みます。次に、いくつかの許可された URL と禁止された URL に対して Search Console の URL 検査を使用します。ビルダーのクリックごとのチュートリアルについては、Robots.txt Generator の使用方法 を参照してください。

ブラウザでファイルをビルドします

すべて許可、すべてブロック、または管理者をブロックから開始し、ライブ出力をコピーします。何もアップロードされていません:

• Robots.txt ジェネレーター - プリセット、許可/禁止パス、およびオプションのサイトマップ URL。
• Robots.txt ジェネレーターの使用方法 - 同じツールのステップバイステップガイド。
• グラフタグジェネレーターを開く - ソーシャル クローラーが取得できるようにする必要がある共有カード。
• スラグジェネレーター - クロールするページの URL スラッグをクリーンアップします。
• すべてのSEOツール - 完全なカテゴリインデックス。