8、大数据采集与处理：Nutch、Solr、Gora、HBase及MapReduce实践

人间计算器

于 2025-10-08 14:29:00 发布

阅读量16

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop大数据实战入门文章标签： Nutch HBase Solr

本文链接：https://blog.youkuaiyun.com/swift5iosmith/article/details/154108526

Hadoop大数据实战入门专栏收录该内容

30 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

大数据采集与处理：Nutch、Solr、Gora、HBase及MapReduce实践

1. 数据采集：Nutch与HBase配置

在使用Nutch进行数据采集前，需确保HBase正常运行并将数据存储到HDFS。可使用Hadoop文件系统的 ls 命令进行检查：

[hadoop@hc1nn logs]$ hadoop dfs -ls /hbase

示例输出如下：

Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2014-04-12 19:55 /hbase/-ROOT-
drwxr-xr-x   - hadoop supergroup          0 2014-04-12 19:55 /hbase/.META.
drwxr-xr-x   - hadoop supergroup          0 2014-04-12 19:57 /hbase/.logs
drwxr-xr-x   - hadoop supergroup          0 2014-04-12 19:57 /hbase/.oldlogs
-rw-r--r--   3 hadoop supergroup          3 2014-04-12 19:55 /hbase/hbase.version