User-agent: *                            # 适用于所有搜索引擎爬虫
Allow: /                                 #允许爬取根目录下的所有内容
Disallow: /admin    
Disallow: /oapi  #禁止爬取oapi和api开头的接口内容
Disallow: /api    
# 明确禁止访问不存在的路径 $精确匹配
Disallow: /*/AccessMiningPool/enx$
Disallow: /en/AccessMiningPool/enx$
Disallow: /zh/AccessMiningPool/enx$       


# 站点地图配置
Sitemap: https://m2pool.com/sitemap-zh.xml  # 中文站点地图
Sitemap: https://m2pool.com/sitemap-en.xml  # 英文站点地图

# 语言版本
Allow: /zh
Allow: /en

# SEO优化 允许爬取各类静态资源文件
Allow: /*.js
Allow: /*.css
Allow: /*.png
Allow: /*.jpg
Allow: /*.gif
Allow: /*.svg
Allow: /*.ico

# 爬虫频率控制 设置爬虫延迟避免服务器负载过高
Crawl-delay: 10