如何控制Yahoo! Slurp蜘蛛的抓取频度
来自: 清风
上周末豆瓣的阿北给我电话:最近你们雅虎的蜘蛛(Yahoo! Slurp)对豆瓣网的抓取频度非常高,导致服务器的速度有些慢,如何才能让Slurp降低抓取频度呢? 我首先想到的建议是在网站的robots.txt中增加Crawl-delay: 设置,这个设置是目前Slurp独有的,用来告诉Slurp蜘蛛2次访问之间的间隔,单位是秒。 剩下的问题就是Crawl-delay的值该设置多大,这个要看网站自身可以承受的负载,假设你希望Slurp每10秒来访问一次,这个设置就是: User-agent: * Crawl-delay: 10 我推荐使用 User-agent: * 万一有其他引擎逐步也支持这个配置呢,而不支持这个配置的引擎也会跳过这句。 可实际上我从自己网站的日志中看到:Slurp的压力却不止10秒一次,原因是这样:雅虎美国和雅虎中国有2套蜘蛛在运行,因此实际的访问可能是这样: 1.1.1.1 30/Jun/2006:00:00:03 Yahoo! Slurp China 2.2.2.2 30/Jun/2006:00:00:04 Yahoo! Slurp 1.1.1.1 30/Jun/2006:00:00:13 Yahoo! Slurp China 每个蜘蛛都是遵循Crawl-delay间隔的,因此为了进一步降低Slurp压力,希望达到10秒一次请求的频道 实际的Crawl-delay配置就要*2。 但是实际上我看到的雅虎的蜘蛛是分布在很多台服务器上的:而多个服务器集群之间也是不相互协调同一网站的抓取频度的 1.1.1.1 30/Jun/2006:00:00:03 Yahoo! Slurp China 2.2.2.2 30/Jun/2006:00:00:04 Yahoo! Slurp 1.1.1.1 30/Jun/2006:00:00:13 Yahoo! Slurp China 1.1.1.2 30/Jun/2006:00:00:13 Yahoo! Slurp China 1.1.1.1 30/Jun/2006:00:00:23 Yahoo! Slurp China 1.1.1.2 30/Jun/2006:00:00:27 Yahoo! Slurp China 我统计了一下:Slurp来源于40多个IP网段,同网段内的蜘蛛协调抓取频度。因此:实际的Slurp设置,需要设置为10*40 = 400秒,才能达到期望的Slurp每10秒访问一次频度。 给豆瓣推荐的Crawl-delay: 100 平均2.5秒访问一次,应该没有问题了。 另外,雅虎搜索的帮助中心刚刚改版,专门增加了站长专区,可以去看看。 注:我查了一下Slurp的意思,就是咂吧嘴的声音,发音听着很像在吃面条吧?
你的回应
回应请先 登录 , 或 注册相关内容推荐
最新讨论 ( 更多 )
- 《轻轻松松自动化测试》样章电子书下载 (何艳)
- 李彦宏做c2c 首防google捎带马云 (清风)
- 如何查找qq上对方的ip地址? (落苏)
- 推荐一个非常简单实用的共享小软件 (Jenny)
- 共享软件出口会议——青岛站 (笨鸟)