购物车中还没有商品,赶紧选购吧!

推荐阅读

运营熊 运营熊

【思途服务器】搜索引擎蜘蛛爬虫流量说明

时间:2016-10-26 | 分类:操作帮助
浏览:12730

问题描述:

页面每天只有几个IP访问,流量却在短时间内消耗殆尽。


问题分析:

通过流量统计报告查看到百分之八十的流量都是来自蜘蛛爬虫。

>【官方说法】百度蜘蛛抓取流量暴增的原因


解决方案:

编写robots.txt文件上传到网站根目录中。

使用类似于“Disallow:/ 禁止允许”的规则对蜘蛛爬虫进行禁止。减少蜘蛛抓取对网页产生的流量。

注意:这样做虽然能减少不必要的流量。但是会影响到网页的权重值。在设定的时候。请自行斟酌取舍。

>robots.txt文件格式及用例

说明

赞   1

有一点帮助   0

没有帮助  

参与评论

他们说...

胡莺诺

超级链接链接到了百度上,很牛逼嗄
积分获取更多
思途CMS系统更新动态
  • 2024-03-21
    1、【应用改版】景点应用改版升级
查看更多

扫一扫官方微信号

加入微信
在线客服
微信咨询
微信咨询
现在咨询,获取演示账号
企业logo小米
立即扫码加我微信
电话咨询
咨询电话
028-61558715
预约演示