Nutch0.8.1学习笔记（1）

近来一直想用Nutch建立一个校内的资源搜索引擎，却没想到有中文分词引发出来一大堆问题。在此做个记录。

1. Cygwin下，Nutch0.8.1启动Crawl的时候找java.exe出错，路径错误找不到。解决方法是修改bin/nutch文件，78行的 JAVA=$Nutch_JAVA_HOME/bin/java ，去掉前面的$Nutch_JAVA_HOME，修改为JAVA=java。条件是系统中环境变量PATH中包含了jdk/bin。

2. 0.7版本的Nutch拿回来设置urls规则和起始URL后可以直接使用bin/nutch crawl......来启动，但0.8.1版本这样启动会发现fetch起始URL的时候会出现Null指针错误。原因是conf/nutch-default.xml中的http.agent.name配置属性为空。而其说明中要求不为空。在value节点下随便写入一个值，例如test/unique。然后再启动Nutch，OK.