AIクローラー
えーあいくろーらー ／ AI Crawler
定義
AIクローラーとは、AIの学習や回答づくりのために、ウェブ上のページを自動で巡回して集めるプログラムのことです。
AIクローラーは、AIを開発・提供する会社が、モデルの学習や検索、回答の根拠集めのためにウェブページを取得するプログラムです。多くの事業者は名前（ユーザーエージェント）を公開しており、サイト側はrobots.txtというファイルで、巡回を許可するか拒否するかを指定できます。たとえばGoogleは、Geminiなどの学習や回答への利用を制御するための「Google-Extended」という指定を用意しています。拒否すると、AIの回答で自社情報が取り上げられにくくなる可能性もあるため、目的に応じて判断します。
確かめた出典：https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers