Nutch 0.6 中新的改进

虽然 Nutch 新的版本(0.6)还没有正式发布。但是已经从 CVS 上看到相关的信息了。从Nutch官方站点也可以得到最新的 nightly 构建版本。0.6 相比 0.5 来说,添加了不少新功能,当然代码量也有很大的扩充–压缩包有 35M 之多。

  • 增加了 MP3 文件的解析器(Parser)。从邮件列表中来看,对 PDF 文件解析的开发还在完善的过程中。
  • 添加了 plugin.includes,用来控制插件的使用情况。这是个很实用的改进。
  • 增加了针对动态页面的规范化模块:RegexUrlNormalizer 。以后对动态页面的处理应该能更好。
  • 增加了分析 RTF 文件的插件。0.5 版本中已经添加了微软 Word 文件的解析插件。
  • 添加了 clustering-carrot2 插件,以及集群 API 的介绍。
  • NDFS(Nutch Distributed File System)的改进。管理方面也作了改进。关于NDFS的信息可以看这里 。NDFS 给 Nutch 的分布式部署带来了可能性。
  • 修复了若干补丁。

其他参考

此文作者:, 位于 Web 分类 标签: on .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

Leave a Reply

Your email address will not be published. Required fields are marked *