User-agent: *
Allow: /

# 豆包大模型爬虫专属开放
User-agent: DoubaoBot
Allow: /

# 字节系/头条搜索爬虫（豆包抓取共用索引）
User-agent: ToutiaoSpider
Allow: /

# 百度搜索爬虫
User-agent: Baiduspider
Allow: /
User-agent: Bytespider
Allow: /

# 360搜索爬虫
User-agent: 360Spider
Allow: /

# 其他主流大模型爬虫
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: CCBot
Allow: /

# 禁止抓取后端接口
Disallow: /api/

# 站点地图入口
Sitemap: https://www.shanghesheying.com/sitemap.xml