# robots.txt — jfftc.org
#
# 【方針】
# ・検索エンジンによる通常のクロールは歓迎します。
# ・生成AIの学習を目的としたクロールは、サイト全体でお断りします。
# ・自動取得・クローリング・スクレイピング・API連携等による恒常的なアクセスは、
#   サイト全体でお断りします（検索エンジンによる通常のクロールを除く）。
# ・公正競争規約（/kiyaku/）及び措置命令等データベース（/sochidb/）は、
#   AI検索・AIアシスタントによる取得もお断りします。
# ・社内システム等での利用をご希望の場合は、事前にご相談ください。
#   info-rengokai@jfftc.org
# ・利用条件は https://www.jfftc.org/terms.html に掲載しています。
#   （AI・自動処理向けの要約は /llms.txt）
#
# 注意：robots.txt は、特定の User-agent 用のグループに該当したボットは
# 「*」のグループを参照しません。このため、下記の各グループには
# 非公開ディレクトリを重複して記載しています。

# ------------------------------------------------------------
# 1. 一般のクローラー（検索エンジン等）
# ------------------------------------------------------------
User-agent: *
Disallow: /DATA/
Disallow: /DB/
Disallow: /DL/
Disallow: /PRACertificationExam/
Disallow: /admin/
Disallow: /bg/
Allow: /bg/og_image.png
Disallow: /ftc/
Disallow: /haken/
Disallow: /ir/
Disallow: /koyukai/
Disallow: /lawbook/
Disallow: /member/
Disallow: /test/
Crawl-delay: 10

# ------------------------------------------------------------
# 2. 生成AIの学習用クローラー：サイト全体を拒否
# ------------------------------------------------------------
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: FacebookBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Amazonbot
User-agent: Diffbot
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: PanguBot
User-agent: Webzio-Extended
User-agent: Omgilibot
User-agent: Timpibot
User-agent: ImagesiftBot
User-agent: img2dataset
Disallow: /

# ------------------------------------------------------------
# 3. AI検索・AIアシスタント（利用者の指示による取得）
#    一般ページは可、規約本文・データベース・非公開領域は拒否
#    （規約の制度説明・一覧・公正マークのページは可）
# ------------------------------------------------------------
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: YouBot
User-agent: MistralAI-User
Allow: /kiyaku/about.html
Allow: /kiyaku/list.html
Allow: /kiyaku/mark.html
Disallow: /kiyaku/
Disallow: /sochidb/
Disallow: /DATA/
Disallow: /DB/
Disallow: /DL/
Disallow: /PRACertificationExam/
Disallow: /admin/
Disallow: /bg/
Disallow: /ftc/
Disallow: /haken/
Disallow: /ir/
Disallow: /koyukai/
Disallow: /lawbook/
Disallow: /member/
Disallow: /test/
Crawl-delay: 10