本文介绍了如何解决Nutch爬虫过程中遇到的内容截断问题及生成任务失败的异常情况，通过调整配置文件和数据库参数来确保爬取的数据完整无误。
问题：nutch Content of size 94218 was truncated to 65536
解：需要 把nutch-site.xml中加入file.content.limit 和http.content.limit 配置，且设置原65535为-1，
然后把mysql里 my.ini加入以下配置
[mysqldump]
quick
max_allowed_packet=20M
问题：
Exception
in thread
"main" java.lang.RuntimeException:
job failed:
name=generate:
null,
jobid=job_local177967844_0002
at
org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54)，查询发现utf8
传入了空，log报空指针
解：<property><name>generate.batch.id</name><value>*</value></property>
问题 缺batchid
解，在webpage表加入batchId varchar（767） default null
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
