问题描述：页面每天明明只有几个IP在访问，可是流量却在短时间内消耗殆尽。

　　问题分析：通过流量统计报告查看到百分之八十的流量都消耗在蜘蛛爬虫。

　　解决方法：

　　编写robots.txt文件上传到网站根目录中。

　　使用类似于“Disallow:/ 禁止允许”的规则禁止蜘蛛爬虫，减少蜘蛛抓取对网页产生的流量。

　　温馨提示：这样做虽然能减少不必要的流量消耗。但是会影响到网页的权重值。所以在设定的时候，请您自行斟酌取舍。