最初に結論

OpenAIクローラーの違い

OAI-SearchBotはChatGPTの検索向け、GPTBotはモデルの学習関連、ChatGPT-Userはユーザーの操作に応じた取得に使われます。検索と学習の許可設定は独立しており、一括で考える必要はありません。

01

公式ガイドの3つの区分

公式ガイドの3つの区分
名前主な役割
OAI-SearchBotChatGPTの検索結果にWeb情報を表示するための取得
GPTBot生成AI基盤モデルの学習に関する取得
ChatGPT-Userユーザーからの操作に応じたページ取得。検索結果への登録を決めるものではない
02

QUERYAの確認手順

  • 公開する情報と、検索・学習への許可方針を先に決める
  • robots.txtの対象ユーザーエージェントとDisallowの範囲を確認する
  • 検索へ提供する場合は、公式の公開IPに対するアクセス制限も確認する
  • CDNやWAF、認証画面が取得を妨げていないか、管理者とログを照合する
03

許可と掲載は別の判断

アクセスを許可することは、掲載や引用を保証するものではありません。robots.txtの変更が検索システムへ反映されるまでにも時間がかかります。設定を変えた日時と、実際に取得されたかを記録して判断しましょう。

一次情報・公式の参考資料

確認日：。本文で使用した公式資料です。現在の提供条件は、以下の原資料でも確認できます。

この記事の更新履歴

  1. 公式資料を確認して公開。公式発表の内容と、QUERYAの実践提案を分けて掲載。

記事に関するご連絡は、対象URLと該当箇所を添えてお知らせください。記事について問い合わせる

EDITORIAL POLICY

編集体制・掲載方針

QUERYA編集部が公式資料をもとに構成し、確認できる事実とQUERYAの見解・提案を分けて掲載します。統括責任者は木ノ根雄志、運営会社は株式会社ファーストイノベーションです。