因为 Gregarius 的 URL_REWRITE 做的不错.OpenRSS.net 也算上线了几天了.好奇心起,看看在各个搜索引擎的收录情况.从访问日志上看,各个搜索引擎的机器人都有光顾.尤其以 Yahoo Slurp 和 百度的 BaiDuSpider 最为频繁.这两家的爬虫居然各自有几千次.Google 的 Googlebot 光顾的次数比较少.每天大约 5/6 次而已. MSNBot 光顾的还要再少一些.
从搜索的结果上看,用 site:www.openrss.net 搜索百度,居然有 540 个站内页面可以找到. 搜索Google,只有孤零零的一个结果,而 MSN 的爬虫虽然来的次数少,但是还是有效率,可以找到 31 项. Yahoo! Search 呢? 用 domain:www.openrss.net 查询,结果为零.不过从一搜那里倒是可以找到一个.
2005/10/27Update:现在在一搜中的结果已经到了 470个.Google 还是 1. 在 Search.yahoo.com 中也出现了 9 条记录.百度是1090 .不过 一搜 的窜升速度太快了.相信不久就可以超过百度.从这边爬虫的来访频度来看,也是一搜越来越频繁.
来自搜索引擎的反向链接也很有趣.来自百度和 Google 的访问者几乎是相等的.排在第三的是Yahoo!
或许这只是个别案例,不能说明什么.但是可以看出来各个搜索引擎”眼里”是如何对待 OpenRSS.net 这个新建立的站点的.因为是中文的缘故,百度的”勤快”或许是可以理解的.但是 Yahoo!这样的搜索还是有些落后啦.多少有些不应该.通过 Web 服务器访问日志分析搜索引擎的习惯,是个很有趣的事情.