一、框架介绍
公司最近项目要用到全文检索,检索对象是一些网站的网页内容,要使用到网络爬虫工具。
目前技术选型对象主要有两个:Heritrix 和 Nutch。二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地,使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。
下面是二者的介绍,摘自网络:
Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。
二者的差异:
- Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌
- Nutch 可以修剪内容,或者对内容格式进行转换。
- Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。
- Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。
- Nutch 的定制能力不够强,不过现在已经有了一定改进。Heritrix 可控制的参数更多。
二、关于Heritrix使用的初步总结
目前对Heritrix做了初步选型测试,有了一些总结:
1.关于安装:
2.安装的后续工作:
将 %HERITRIX_HOME%\heritrix-1.12.1.jar 解压到临时目录,拷贝其中的profiles目录到 %HERITRIX_HOME%\conf\目录下,用来解决Heritrix 关于的Profile默认配置的一个Bug。
3.配置管理帐户:
拷贝 %HERITRIX_HOME%\conf\jmxremote.password.template 到 %HERITRIX_HOME%\下,并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分:
monitorRole @PASSWORD@ monitorRole admin
controlRole @PASSWORD@ ==> controlRole admin
修改完毕之后,保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步:在该文件jmxremote.password的属性窗口中查看“安全”标签,该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户,而不应该是某一个用户组(例如Administrators),这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误,需要你修改jmxremote.password文件的属性为“只读”,但是其实已经做了该项改动。
4.运行Heritrix:
CMD定位到 %HERITRIX_HOME%\bin,执行 "heritrix --admin=admin:admin" 命令,即可启动 heritrix,有一点需要注意,heritrix默认使用8080端口,要保证系统端口没有冲突。之后便可以访问
http://127.0.0.1:8080 使用 heritrix 提供的WUI,即Web管理端。并且使用"admin/admin"登录。
该管理端提供了Heritrix默认提供的所有配置功能,并且可以创建一个Job并且执行该Job抓取网站。
5.一个简单的Job:
Heritrix提供的配置功能非常丰富,但是也很复杂,刚开始的时候很难正确的创建并且执行一个Job去抓取网站,自己阅读了大部分的Heritrix用户文档和多次尝试之后,总结了一个简单的创建执行Job的用例,该用例为
抓取www.baidu.com下的网页,但子域(如 news.baidu.com)不抓取,步骤如下,可供参考:
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项
(2) 选择下边的"Modules",进入Module配置页(Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己
想要的功能)。其中第一项 "Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"
。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加
"org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
目录结构中,而不是生成ARC存档文件。
(3) 选择"Modules"右边的"Submodules",在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其
中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项:http-headers 下的user-agent 和
from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
("PROJECT_URL_HERE" 要以 "http://" 开头)
(5) 在WUI的第二行导航栏中选择最右边的"Submit job"
(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的
深度有关。
按照如上步骤应该可以正确的执行一次网站的抓取任务,抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到,都有详细的说明。
分享到:
相关推荐
Heritrix使用详解与高级开发应用 Heritrix开发应用详细
Heritrix的使用入门
Heritrix 使用手册 全doc 文本
heritrix系统使用、一个ppt 介绍heritrix的基本概念、以及原理知识
heritrix 的详细配置 与 使用资料.里面对heritrix配置有详细的说明!
Heritrix1.4.4安装配置使用手册,有研究索引技术的可以下载看看.
在/Heritrix1/src/org/archive/crawler/Heritrix.java启动之后,访问https://localhost:8089登录admin密码admin直接用
后续的发行H3将是3.0.1补丁版包括小的修改和增强将在2010年上半年,3.2.0将包含以使用简单、持续爬行和大规模爬行为主题的新功能。 H3的文档包括 Heritrix 3.0 and 3.1 User Guide Heritrix 3.x API Guide ...
Heritrix3.0教程 使用入门(三) 配置文件crawler-beans.cxml介绍.docx
heritrix正确完整的配置heritrix正确完整的配置heritrix正确完整的配置heritrix正确完整的配置heritrix正确完整的配置
Heritrix用户手册,Heritrix简介与入门 Heritrix配置与开发指南
按照这个步骤安装绝对会让你安装成功的。步骤非常的清晰。Heritrix是一个不错的选择。网络爬虫,更快更好的帮你捕捉到你想要的网页
自己学习Lucenes 2.0 和Heritrix之后的总结
爬虫时我们会使用heritrix,搭建工程时要导入这些jar包,该jar包是1.14.0版本的。
heritrix1.14.4的源码包,包含heritrix1.14.4.zip和heritrix1.14.4-src.zip。heritrix是一种开源的网络爬虫,用于爬去...如何配置和使用heritrix爬虫,请移步:http://blog.csdn.net/kath_y/article/details/9385015
包含: heritrix-3.1.0-dist.zip heritrix-3.1.0-src.zip 官网下载地址。
heritrix-3.1.0 最新官网jar包。包括heritrix-3.1.0-dist.zip包与heritrix-3.1.0-src.zip包。是爬虫神器
heritrix学习源码和资料
Heritrix 是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。官网下载好像要翻墙,我下下来方便大家使用,这是3.4版本,配合heritrix-3.4.0-SNAPSHOT-dist.zip使用
heritrix-1.14.2.zip是一个开源项目