「robots.txtを正しく設定する方法が分からない…」
「robots.txtでSEO効果を高めたいけど、どうすればいいの？」
このような悩みを抱えているWeb担当者やサイト運営者の方も多いのではないでしょうか。
本記事では、robots.txtの基礎知識から具体的な設定方法、注意点、そしてよくある質問まで、わかりやすく解説します。
StockSun株式会社では、戦略や、マーケティング施策などをアドバイスさせていただきます。
以下より相談は無料です。貴社に合うマーケティング戦略を聞きに行きましょう！
＼最短で収益化!?Web戦略をご提案／
【無料】今すぐ相談に行く目次
robots.txtとは、Webサイトのルートディレクトリに配置するテキストファイルで、検索エンジンのクローラー（ロボット）に対して、Webサイト内をどのようにクロール（巡回）するかを指示するためのコードです。
クローラーは、Webサイトにアクセスする際に、まずrobots.txtの内容を確認し、robots.txtの指示にしたがってサイト内をクロールし、ページ情報を収集します。
robots.txtは、Webサイトのクロール範囲や優先順位を制御する上で重要な存在です。
また、robots.txtは、下記のようなディレクティブ（指示）を用いて記述します。
「User-agent」は、どのクローラーに対する指示かを指定するもので、「*」を指定するとすべてのクローラーが対象となります。「Disallow」は、クロールを禁止したいURLパスを指定し、「Allow」は、クロールを許可したいURLパスを指定します。
「Sitemap」は、サイトマップのURLをクローラーに伝えるためのディレクティブです。これらのディレクティブを適切に組み合わせることで、クローラーの行動を制御し、SEO効果を高められます。
例えば、開発中のページや会員限定ページなど、検索エンジンにインデックスさせたくないページを「Disallow」で指定すると、クローラーによるアクセスを防ぎ、不要なインデックスを回避できます。
クローラーの仕組みやクローラビリティの向上に関しては、下記の記事で詳しく解説しています。より詳しく知りたい方は、ぜひあわせてご覧ください。
関連記事：クローラーの仕組みとは？代表的な種類やクローラビリティを向上させるポイントを解説
StockSun株式会社では、戦略や、マーケティング施策などをアドバイスさせていただきます。
以下より相談は無料です。貴社に合うマーケティング戦略を聞きに行きましょう！
＼最短で収益化!?Web戦略をご提案／
【無料】今すぐ相談に行くrobots.txtを設定する主な目的は、以下の4つです。
上記の目的を達成するために、robots.txtをどのように活用すればよいのか、具体例を交えながら詳しく解説します。本章の内容を理解し、robots.txtの活用方法をマスターしましょう。
開発中のステージング環境やログインが必要な会員ページなど、検索エンジンにインデックスさせたくないページは、robots.txtを使ってクローラーのアクセスをブロックできます。
具体的には、Disallowディレクティブを使って、該当のURLパスを指定することで、クローラーによるページへのアクセスを防ぎます。
robots.txtの使用により、一般公開前の情報や会員限定の情報が検索結果に表示されることを防げるため、情報漏洩リスクの低減が可能です。
大規模なWebサイトでは、クローラーがすべてのページを巡回できない場合があります。そのため、robots.txtを使ってクロール対象を絞り込み、重要なページを優先的にクロールさせることがSEO対策として重要です。
robots.txtの使用により、検索エンジンにWebサイトの重要なコンテンツのみを評価させられるため、検索順位向上につながるでしょう。
なお、SEO内部対策に関するより詳細な情報は、以下の記事で解説しています。あわせて参考にしてください。
関連記事：SEOの内部対策とは？内部対策20のチェックリストと使えるチェックツールを徹底解説【StockSun独自のチェックシートを無料提供中】
robots.txtには、サイトマップのURLをクローラーに伝えるためのSitemapディレクティブを記述できます。
サイトマップはクローラーがWebサイト全体を効率的にクロールするための地図になり、Webサイトのページ構造を検索エンジンに伝えるためのファイルです。
Google Search Consoleにサイトマップを登録した場合でも、サイトマップの情報を伝えることが可能です。
画像や動画、音声ファイルなどのHTML以外のコンテンツは、metaタグでnoindexを指定できません。そのため、HTML以外のコンテンツを検索結果に表示させたくない場合は、robots.txtを使ってクローラーのアクセスをブロックする必要があります。
Disallowディレクティブを使って、該当のファイル形式やディレクトリを指定すると、クローラーのコンテンツへのアクセスを防げます。
特に、著作権のある画像や動画などを利用している場合は、robots.txtを使って検索結果への表示を制御することが重要です。
StockSun株式会社では、戦略や、マーケティング施策などをアドバイスさせていただきます。
以下より相談は無料です。貴社に合うマーケティング戦略を聞きに行きましょう！
＼最短で収益化!?Web戦略をご提案／
【無料】今すぐ相談に行くrobots.txtをGoogleで設定する手順は以下の3ステップです。
それぞれのステップに関して、具体的な手順と注意点などを詳しく解説します。手順を正しく理解しておきましょう。
なお、robots.txtの記述方法に関する公式ドキュメントは、以下のURLで参照できます。
robots.txt の書き方、設定と送信 | Google 検索セントラル | Documentation | Google for Developers
robots.txtファイルは、UTF-8エンコーディングのテキストファイルとして作成します。ファイル名は必ず「robots.txt」とし、拡張子なども変更しないように注意しましょう。
ワープロソフトで作成すると、予期せぬ文字コードや書式設定が適用される可能性があるため、メモ帳、TextEditなどのシンプルなテキストエディタの使用をおすすめします。
robots.txtファイルは、Webサイトのルートディレクトリに配置します。
| ◎robots.txtファイル配置の例WebサイトのURLが「https://www.example123.com/」の場合robots.txtファイルは「https://www.example123.com/robots.txt」に配置する |
robots.txtのルールは、「グループ」という単位で構成されます。1つのグループには、1つ以上の User-agentと、それに適用する Allow（許可）または Disallow（拒否）の指定を記述します。
各グループにつき、指定できる User-agent は1つですが、複数のグループを記述することで、複数の User-agent に対して異なるルールを設定可能です。
特定のパスへのクロールを許可する場合は「Allow: /パス」の形式で、クロールを拒否する場合は「Disallow: /パス」の形式で記述します。
パスの指定には、ワイルドカード文字（*）や終端を指定する文字（$）も使用できます。また、行頭に「#」を記述すると、コメントの挿入が可能です。
Googleは、robots.txt に記述されたルールを上から順番に評価し、リクエストされたパスにもっとも具体的に一致するルールを適用します。
作成したrobots.txtファイルを、Webサイトのルートディレクトリにアップロードします。アップロード方法は、使用しているサーバーやホスティングサービスによって異なりますが、FTPクライアントやサーバー管理画面などを使用してアップロードするのが一般的です。
アップロードが完了したら、Webブラウザで https://(WebサイトのURL)/robots.txt にアクセスし、robots.txtファイルが正しく配置されているかを確認しましょう。
robots.txtファイルの記述内容に問題がないかを確認するには、Google Search Consoleのrobots.txtテスターの使用をおすすめします。robots.txtテスターを使用すると、記述ミスや予期せぬ動作などを事前に確認できます。
StockSun株式会社では、戦略や、マーケティング施策などをアドバイスさせていただきます。
以下より相談は無料です。貴社に合うマーケティング戦略を聞きに行きましょう！
＼最短で収益化!?Web戦略をご提案／
【無料】今すぐ相談に行くrobots.txtの記述方法を理解するために、具体的なルール例をいくつか紹介します。下記の表を参考に、自社のWebサイトに最適なrobots.txtを作成してみましょう。
| 目的 | robots.txtの記述例 |
| サイト全体のクロールをブロックする | User-agent: * Disallow: / |
| 特定のディレクトリのクロールを拒否する | Disallow: /calendar/ Disallow: /junk/ |
| 特定のクローラーだけを許可する | User-agent: Googlebot-news Allow: / User-agent: * Disallow: / |
| 画像ファイル（.jpg、.png）のクロールを禁止する | Disallow: /*.jpg$ Disallow: /*.png$ |
| すべてのクローラーにサイトマップを伝える | Sitemap: https://www.example123.com/sitemap.xml |
| 特定のクローラーにのみ特定のディレクトリを許可する | User-agent: Bingbot Allow: /blog/ User-agent: * Disallow: /blog/ |
上記の例は、robots.txtで実現できるクロール制御の一部です。User-agentやDisallow、Allowなどの各ディレクティブを組み合わせることで、さまざまなクロール制御を実現できます。
ルール例を参考に、Webサイトの状況に合わせて適切なrobots.txtを設定して、SEO効果の向上につなげましょう。
StockSun株式会社では、戦略や、マーケティング施策などをアドバイスさせていただきます。
以下より相談は無料です。貴社に合うマーケティング戦略を聞きに行きましょう！
＼最短で収益化!?Web戦略をご提案／
【無料】今すぐ相談に行くrobots.txtを設定する際には、以下4つに挙げるような注意点があります。
注意点を理解せずに設定してしまうと、SEOに悪影響を与える可能性もあるため、慎重に確認しながら設定を進めましょう。
robots.txtでWebページのクロールをブロックした場合でも、該当のページ自体が検索エンジンのインデックスから完全に削除されるとは限りません。
そのため、Webページのインデックス登録を避けたい場合は、robots.txtではなく、HTMLの<meta>タグに「noindex」を指定する方法がおすすめです。
特に、外部のWebサイトから該当のURLへのリンクが存在する場合、検索エンジンは外部リンクを辿ってページを検出し、インデックスに登録することがあるため注意しましょう。
robots.txtはクローラーのアクセスを制御するためのファイルであり、ユーザーのアクセスを制限するものではありません。
robots.txtでクローラーのアクセスをブロックしたページでも、ユーザーが直接URLを入力した場合は、アクセスされてしまいます。
そのため、機密性の高い情報を保護したい場合は、.htaccessなどを用いたアクセス制限や、パスワードによる認証などを設定するとよいでしょう。
robots.txtの設定を誤ると、重要なページがクローラーにアクセスされなくなり、検索結果に表示されなくなる可能性があります。
例えば、誤ってサイト全体をDisallowしてしまうと、Webサイト全体が検索結果から消失する可能性があります。
robots.txtを設定する際には、記述内容を慎重に確認し、テスト環境などで動作を確認してから本番環境に適用する方法がおすすめです。Google Search Consoleのrobots.txtテスターを利用すると、設定ミスを事前に検出できます。
Googleなどの主要な検索エンジンはrobots.txtの指示にしたがいますが、すべての検索エンジンがrobots.txtにしたがうとは限りません。
悪意のあるクローラーの中には、robots.txtの指示を無視してWebサイトにアクセスするものも存在します。
robots.txtはあくまでもクローラーへの指示であり、Webサイトセキュリティ対策のすべてを担保するものではないことを認識しておきましょう。
StockSun株式会社では、戦略や、マーケティング施策などをアドバイスさせていただきます。
以下より相談は無料です。貴社に合うマーケティング戦略を聞きに行きましょう！
＼最短で収益化!?Web戦略をご提案／
【無料】今すぐ相談に行くStockSunでは、貴社の商材や目的に合わせて利益の向上にコミットした施策をご提案をいたします。
実際のご支援はご提案内容にご納得いただいたうえで実施いたします。
他社との相見積もりも大歓迎です！StockSunでも社内コンペを実施した上で、貴社に最適なコンサルタントを最大3名ご提案します。
オンライン相談は無料です。今すぐ行動し貴社の未来を変えましょう！
＼売上アップの秘訣教えます！／
【無料】Webの相談をする
システム開発の外注と内製の違いは？外注の3つのメリットや会社の選び方を解説
2robots.txtとは？設定する4つの目的や3STEPの設定手順・4つの注意点も解説
3DXの成功事例10選！業界別企業や成功のポイントも紹介【2025年最新版】
4アプリ開発の基礎知識を徹底解説！作り方の手順や作成ツールおすすめ5選も紹介
5アプリ開発会社おすすめ11選比較ランキング！【2025年最新版】
6PythonでWebアプリを開発する流れを10STEPで解説！メリット・デメリットや事例も紹介
7Webアプリケーションとは？仕組みやシステム構成・種類・開発の流れを解説
8ページネーションとは？SEOに与える3つの効果や実装方法・効果を高める5つのポイントを解説
9パンくずリストの種類やメリットとは？設置する際の5つのポイントや設置方法を解説
10404エラー(404 not found)とは？4つの原因や対処方法、作成ポイントを解説
