--- title: "robots.txtとは｜AI-Ready.jp" url: https://www.ai-ready.jp/glossary/robots-txt/ description: "robots.txtとは、検索エンジンなどのクローラーに、サイトのどのURLにアクセスしてよいかを伝えるファイルのことです。" publisher: "フロレンティナ株式会社" --- [Webサイトと検索](https://www.ai-ready.jp/glossary/#search) # robots.txt ろぼっつてきすと／ robots.txt 定義 robots.txtとは、検索エンジンなどのクローラーに、サイトのどのURLにアクセスしてよいかを伝えるファイルのことです。 robots.txtは、クローラーに対して、サイトの中でアクセスしてよい場所と避けてほしい場所を伝えるテキストファイルです。Googleの説明では、主な目的はクロールによるサーバーへの負荷を避けることで、ページを検索結果に出さないための仕組みではありません。robots.txtでアクセスを止めたページでも、ほかのサイトからリンクされていれば、URLが検索結果に表示されることがあります。検索結果に出したくない場合は、noindexを使うか、パスワードで保護します。また、信頼できるクローラーは指示に従いますが、すべてのクローラーが従うとは限りません。AIの学習や検索に使うクローラーへの扱いを決めるときにも使われます。 robots.txtとnoindexの使い分け - **robots.txt**：クローラーのアクセスを制御する。主な目的はサーバーへの負荷を避けること - **注意**：止めたページでも、リンクされていればURLが検索結果に表示されることがある - **検索結果に出したくない**：**noindex**を使うか、パスワードで保護する すべてのクローラーが指示に従うとは限りません。 確かめた出典：[https://developers.google.com/search/docs/crawling-indexing/robots/robots-faq?hl=ja](https://developers.google.com/search/docs/crawling-indexing/robots/robots-faq?hl=ja) 自社のAI活用の準備度は？[7つの柱で、10問・約3分で確かめる（無料・登録不要）](https://www.ai-ready.jp/diagnosis/quick/) ## 関連する用語 - [noindex](https://www.ai-ready.jp/glossary/noindex/) - [AIクローラー](https://www.ai-ready.jp/glossary/ai-crawler/) - [XMLサイトマップ](https://www.ai-ready.jp/glossary/xml-sitemap/) - [llms.txt](https://www.ai-ready.jp/glossary/llms-txt/) ## この用語が出てくる記事 - [AI検索の広がりと、Webサイトの見直し](https://www.ai-ready.jp/column/ai-search-and-websites/)コラム - [LLMO・AIOとは：AIに正しく伝わるサイトづくり](https://www.ai-ready.jp/column/llmo-aio-explained/)コラム 最終更新 2026-11-13 ## 次の一歩 [測るAI-Ready診断（無料）いまの準備状況を、7つの柱で確かめられます。](https://www.ai-ready.jp/diagnosis/) [相談する結果の解説（30分・無料）診断の結果をもとに、オンラインでご説明します。](https://www.ai-ready.jp/consult/review/) [窓口ご相談のお申し込み経営・M&A・事業承継・上場・バリューアップはフロレンティナ、AIの導入・開発・データ・セキュリティ・研修はアメリア・テクノロジーがお受けします。](https://www.ai-ready.jp/consult/apply/) --- 出典：フロレンティナ株式会社「robots.txtとは｜AI-Ready.jp」 https://www.ai-ready.jp/glossary/robots-txt/