# ╔══════════════════════════════════════════════════════════════════════════════╗ # ║ 抖漫 · 站群 SEO robots.txt ║ # ║ 随机镜像域 · 相对路径 · 不写死 Host ║ # ╚══════════════════════════════════════════════════════════════════════════════╝ # # SEO 说明 # · Allow: / —— 开放全站公开页面抓取 # · Sitemap 使用相对路径 /sitemap.xml(适配随机域名站群) # · 禁止抓取无关脚本/调试参数;栏目页与文章页保持可抓取 # · 线上由 index.php 动态输出;新增页面由 sitemap 自动扫描收录 # # ══════════════════════════════════════════════════════════════════════════════ User-agent: * Allow: / Disallow: /index.php Disallow: /*?*debug= Crawl-delay: 1 # ── 国内主流爬虫 ────────────────────────────────────────────────────────────── User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Baiduspider-image Allow: / User-agent: Baiduspider-render Allow: / User-agent: Baiduspider-video Allow: / User-agent: Sogou web spider Allow: / User-agent: Sogou Spider Allow: / User-agent: Yisouspider Allow: / User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / # ── 国际主流爬虫 ────────────────────────────────────────────────────────────── User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: Bingbot Allow: / User-agent: DuckDuckBot Allow: / User-agent: PetalBot Allow: / User-agent: Applebot Allow: / # ── 站点地图(相对路径 · 站群随机域名)──────────────────────────────────────── Sitemap: /sitemap.xml