
robots.txt の User-agent: * は名前を書いた bot に効かない — Googlebot が Disallow のはずのリンクを133回たどっていた
robots.txt の User-agent: * に Disallow: /go/ を書いたのに、Googlebot と ClaudeBot が転送リンクを取り続けていた。名前を書いたグループがあると * は丸ごと読まれない。Cloudflare のログで直す前と直した後を並べた実測と、Python 標準の robotparser では確かめられない理由。










