User-Agent:*
Allow: /
Disallow: *reload=

# --- 解析系クローラーの遮断 ---
# 被リンク・SEO 解析ツールのクローラーは検索流入を生まないのに、
# キャッシュの効かないユニーク URL を舐めて SSR (Cloudflare Pages Functions) を
# 起動させるため拒否する。
# 検索エンジン (Googlebot / Bingbot / Slurp / DuckDuckBot / Applebot) は対象外。
# AI クローラーは Cloudflare の AI Crawl Control が上のブロックで対応済み。
# robots.txt を無視する相手は Cloudflare の WAF / Bot Fight Mode 側で対応する。

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: Barkrowler
Disallow: /