为什么有时候豆瓣抓取不老歌的RSS时会出错?

York

2007-01-11 17:07:52 来自: York(不老歌)

如果您的不老歌设置了禁止搜索引擎收录,那么豆瓣在抓取不老歌的时候同样会认为是搜索引擎,所以会出错。

为什么要控制RSS的抓取?
因为现在的搜索引擎都已经可以读取RSS内容,如果不禁止内容同样会被抓取到。为什么不允许同样程序(类似豆瓣)抓取呢?因为这样的程序抓取内容后会形成相应的内容页面,而这些内容页面多数是允许搜索引擎收录的,如果允许那么不老歌中的相应设置也就自然失去作用了。


这个小组的歌友也喜欢去  · · · · · ·

New Age
New Age (5000)
时间旅行
时间旅行 (771)
跆拳道
跆拳道 (216)
白烂故事收集篓
白烂故事收集篓 (217)
Google sky~冬季星空
Google sky~冬季星空 (136)
亲爱的邦妮
亲爱的邦妮 (2280)