yaoqin
915fc3d7a6
2.api文档页面修改8个接口请求方式为post 3.优化代码币种添加通用币种信息及挖矿教程页面跳转通用 4.m2pool断网重连 60秒内重连 处理中 5.收益计算器显示值修改 取消四舍五入 直接保留10位小数 添加千位符分隔显示 6.coinbus 添加seo相关配置及站点地图 处理中
30 lines
849 B
Plaintext
30 lines
849 B
Plaintext
User-agent: * # 适用于所有搜索引擎爬虫
|
|
Allow: / #允许爬取根目录下的所有内容
|
|
Disallow: /admin
|
|
Disallow: /oapi #禁止爬取oapi和api开头的接口内容
|
|
Disallow: /api
|
|
# 明确禁止访问不存在的路径 $精确匹配
|
|
Disallow: /*/AccessMiningPool/enx$
|
|
Disallow: /en/AccessMiningPool/enx$
|
|
Disallow: /zh/AccessMiningPool/enx$
|
|
|
|
|
|
# 站点地图配置
|
|
Sitemap: https://m2pool.com/sitemap-zh.xml # 中文站点地图
|
|
Sitemap: https://m2pool.com/sitemap-en.xml # 英文站点地图
|
|
|
|
# 语言版本
|
|
Allow: /zh
|
|
Allow: /en
|
|
|
|
# SEO优化 允许爬取各类静态资源文件
|
|
Allow: /*.js
|
|
Allow: /*.css
|
|
Allow: /*.png
|
|
Allow: /*.jpg
|
|
Allow: /*.gif
|
|
Allow: /*.svg
|
|
Allow: /*.ico
|
|
|
|
# 爬虫频率控制 设置爬虫延迟避免服务器负载过高
|
|
Crawl-delay: 10 |