robots.txt
ろぼっつてきすと ／ robots.txt
定義
robots.txtとは、検索エンジンなどのクローラーに、サイトのどのURLにアクセスしてよいかを伝えるファイルのことです。
robots.txtは、クローラーに対して、サイトの中でアクセスしてよい場所と避けてほしい場所を伝えるテキストファイルです。Googleの説明では、主な目的はクロールによるサーバーへの負荷を避けることで、ページを検索結果に出さないための仕組みではありません。robots.txtでアクセスを止めたページでも、ほかのサイトからリンクされていれば、URLが検索結果に表示されることがあります。検索結果に出したくない場合は、noindexを使うか、パスワードで保護します。また、信頼できるクローラーは指示に従いますが、すべてのクローラーが従うとは限りません。AIの学習や検索に使うクローラーへの扱いを決めるときにも使われます。
robots.txtとnoindexの使い分け
- robots.txtクローラーのアクセスを制御する。主な目的はサーバーへの負荷を避けること
- 注意止めたページでも、リンクされていればURLが検索結果に表示されることがある
- 検索結果に出したくないnoindexを使うか、パスワードで保護する
すべてのクローラーが指示に従うとは限りません。
確かめた出典：https://developers.google.com/search/docs/crawling-indexing/robots/robots-faq?hl=ja
自社のAI活用の準備度は？7つの柱で、10問・約3分で確かめる（無料・登録不要）