23 lines
432 B
Plaintext
23 lines
432 B
Plaintext
User-agent: * # 适用于所有搜索引擎爬虫
|
|
Allow: / #允许爬取根目录下的所有内容
|
|
Disallow: /admin
|
|
Disallow: /api
|
|
|
|
|
|
|
|
# 站点地图配置
|
|
Sitemap: https://coinbus.cc/sitemap.xml # 站点地图
|
|
|
|
|
|
|
|
|
|
# SEO优化 允许爬取各类静态资源文件
|
|
Allow: /*.js
|
|
Allow: /*.css
|
|
Allow: /*.png
|
|
Allow: /*.jpg
|
|
Allow: /*.gif
|
|
Allow: /*.svg
|
|
Allow: /*.ico
|
|
|