admin 发表于 2015-11-24 18:55:05

缓存蜘蛛概念以及设置方法

   我们可以把百度蜘蛛 360蜘蛛 搜狗蜘蛛 等等 搜索引擎蜘蛛 总结为一个客户端 ,访问我们的网站等于 一个客户访问我们站点 ,咱们的浏览器也是一个客户端, 每个客户端,都有每个客户端的特征。
那么缓存蜘蛛 就是只允许 某个客户端 访问我们的站点。
我们只需要把特征 写到软件 表示此 个客户端是允许访问我们的网站的。

设置方法:
把搜索引擎特征写到软件的框里面
比如百度蜘蛛 你只需要把   Baiduspider这个特征写到软件即可
千万要注意 Baiduspider二边不要有空格 ,缓存蜘蛛框里不要有换行。
如下图,正确的放法:



错误的放法:



各大搜索引擎蜘蛛大全:http://www.hxzhanqun.com/thread-199-1-1.html

页: [1]
查看完整版本: 缓存蜘蛛概念以及设置方法