30 lines
849 B
Plaintext
30 lines
849 B
Plaintext
|
User-agent: * # 适用于所有搜索引擎爬虫
|
||
|
|
Allow: / #允许爬取根目录下的所有内容
|
||
|
|
Disallow: /admin
|
||
|
|
Disallow: /oapi #禁止爬取oapi和api开头的接口内容
|
||
|
|
Disallow: /api
|
||
|
|
# 明确禁止访问不存在的路径 $精确匹配
|
||
|
|
Disallow: /*/AccessMiningPool/enx$
|
||
|
|
Disallow: /en/AccessMiningPool/enx$
|
||
|
|
Disallow: /zh/AccessMiningPool/enx$
|
||
|
|
|
||
|
|
|
||
|
|
# 站点地图配置
|
||
|
|
Sitemap: https://m2pool.com/sitemap-zh.xml # 中文站点地图
|
||
|
|
Sitemap: https://m2pool.com/sitemap-en.xml # 英文站点地图
|
||
|
|
|
||
|
|
# 语言版本
|
||
|
|
Allow: /zh
|
||
|
|
Allow: /en
|
||
|
|
|
||
|
|
# SEO优化 允许爬取各类静态资源文件
|
||
|
|
Allow: /*.js
|
||
|
|
Allow: /*.css
|
||
|
|
Allow: /*.png
|
||
|
|
Allow: /*.jpg
|
||
|
|
Allow: /*.gif
|
||
|
|
Allow: /*.svg
|
||
|
|
Allow: /*.ico
|
||
|
|
|
||
|
|
# 爬虫频率控制 设置爬虫延迟避免服务器负载过高
|
||
|
|
Crawl-delay: 10
|