每周更新代码 开发中

mining-pool/public/dist/robots.txt

@@ -0,0 +1,30 @@
+User-agent: *                            # 适用于所有搜索引擎爬虫
+Allow: /                                 #允许爬取根目录下的所有内容
+Disallow: /admin    
+Disallow: /oapi  #禁止爬取oapi和api开头的接口内容
+Disallow: /api    
+# 明确禁止访问不存在的路径 $精确匹配
+Disallow: /*/AccessMiningPool/enx$
+Disallow: /en/AccessMiningPool/enx$
+Disallow: /zh/AccessMiningPool/enx$       
+
+
+# 站点地图配置
+Sitemap: https://m2pool.com/sitemap-zh.xml  # 中文站点地图
+Sitemap: https://m2pool.com/sitemap-en.xml  # 英文站点地图
+
+# 语言版本
+Allow: /zh
+Allow: /en
+
+# SEO优化 允许爬取各类静态资源文件
+Allow: /*.js
+Allow: /*.css
+Allow: /*.png
+Allow: /*.jpg
+Allow: /*.gif
+Allow: /*.svg
+Allow: /*.ico
+
+# 爬虫频率控制 设置爬虫延迟避免服务器负载过高
+Crawl-delay: 10