购物车中还没有商品,赶紧选购吧!

推荐阅读

运营熊 运营熊

【思途服务器】搜索引擎蜘蛛爬虫流量说明

时间:2016-10-26 | 分类:操作帮助
浏览:4306

问题描述:

页面每天只有几个IP访问,流量却在短时间内消耗殆尽。


问题分析:

通过流量统计报告查看到百分之八十的流量都是来自蜘蛛爬虫。

>【官方说法】百度蜘蛛抓取流量暴增的原因


解决方案:

编写robots.txt文件上传到网站根目录中。

使用类似于“Disallow:/ 禁止允许”的规则对蜘蛛爬虫进行禁止。减少蜘蛛抓取对网页产生的流量。

注意:这样做虽然能减少不必要的流量。但是会影响到网页的权重值。在设定的时候。请自行斟酌取舍。

>robots.txt文件格式及用例

说明

赞   1

有一点帮助   0

没有帮助  

参与评论

他们说...

胡莺诺

超级链接链接到了百度上,很牛逼嗄
积分获取更多
思途CMS系统更新动态
  • 2020-09-15
    1、套餐选择页参团人群顺序
    2、小程序库存判断
    3、取消攻略,资讯添加评论上传图片功能.
    4、修复应用漏洞
    5、修复通用产品创建路由问题
    6、修复应用漏洞
查看更多

扫一扫官方微信号

加入微信
在线咨询
返回顶部