用 Sitemap Generator 创建 Google Sitemap

今天偶然注意到 Google 对我的站内搜索数量锐减,从前一段时间的将近 1 万变成现在的不到 1 千了.稍加分析了一下,原来在每篇文章的页面最上方也加了站点的描述内容,最初的目的完全是为了美观,没想到搜索引擎把这些页面都当作相似页面成处理了.雅虎和百度的站内搜索结果也是类似的.
不由得想起另一个问题: Google 的爬虫到底能不能遍历我的站内所有页面 ? 似乎不太可能.回想起 Google 的 Sitemap 也发布很久了, 并且不提供联机创建 Sitemap 的功能, 已经能够说明对很多比较复杂的站点 Google 仍有不足之处. Google 推这个工具的功能恐怕也是为了用户能从客户端把信息推到搜索引擎这一端(Google 用意).
此前我的站点 Sitemap 采用的是 MT 模板的方式 ,参考 Google Sitemaps using Movable Type , 这样我的旧站的内容就忽略掉了. 我现在使用的 Dreamhost 的服务,是支持 Python 的 ,并且可以 Shell 登陆, 准备用 Google 推荐的 sitemap-generator 来”帮助Google一下”. 具体的操作在 Google 的帮助页面有很详细的说明. 需要注意的是,该工具要通过代理才可以下载,不知道其他人是不是也和我一样.

我的操作结果:

$ python sitemap_gen.py --config=dbanotes_config.xml
Reading configuration file: dbanotes_config.xml
Opened URLLIST file: example_urllist.txt
Walking DIRECTORY "/home/fenng/dbanotes.net/"
Opened ACCESSLOG file: /home/fenng/logs/dbanotes.net/http/access.log
Opened ACCESSLOG file: /home/fenng/logs/dbanotes.net/http/access.log.0
Sorting and normalizing collected URLs.
Writing Sitemap file "/home/fenng/dbanotes.net/sitemap.xml.gz" with 10855 URLs
Notifying search engines.
Notifying: www.google.com
Count of file extensions on URLs:
421  (no extension)
1  .avi
6  .back
1  .cert
2  .cfg
238  .cgi
2  .cgi-original
1  .chm
13  .conf
89  .css
9  .ctl
13  .dat
27  .db
7  .doc
12  .dump
1090  .gif
4  .gif0000644
8  .gz
261  .htm
2  .htm0000644
2244  .html
60  .ico
82  .idx
6  .inc
1  .ini
219  .jpg
382  .js
1  .lang
5  .lib
118  .lock
1  .log
1  .lst
2  .mysql
15  .pdf
1643  .php
62  .pl
1093  .pm
547  .png
9  .pod
2  .postgres
3  .py
6  .rar
6  .rdf
4  .readme
1  .rss
1  .sh
10  .sql
2  .sqlite
2  .src
1  .svg
2  .swf
1  .template
560  .tmpl
53  .tpl
59  .txt
4  .types
4  .wsdl
179  .xml
1  .xsl
15  .zip
1241  /
Number of errors: 0
Number of warnings: 0

之后更新 Google Sitemap 的配置信息,会立刻得到Google确认. 但是最后在搜索引擎中的表现,还要拭目以待.
更多阅读:Apache Cocoon sitemap concept
Updated: 2006-01-29 观察到搜索结果数量已经得到更新. 当日是 1800 多