Malik的博客

首先查看我们要爬去的网站httprclyrcnetCompanyzpaspxPage1好了该查看我们要爬到数据是接着是爬取信息类下面是DaoDaoImpl类工具类如下整体的框架如图1. 首先查看我们要爬去的网站http://rc.lyrc.net/Companyzp.aspx?Page=1这是一个典型的列表页＋详情页情景，而web magic就是对这样的情况非常适合。让我们们说一下什么是w

hbase入库四种方式hbase入库四种方式第一种利用client API 进行对hbase操作第二种利用Hbase提供的ImportTsv将csv文件导入到HBase用 importtsv 和 bulk load将TSV数据文件导入HBase第三种利用HBase提供的Import将数据导入到HBase第四种利用HBase提供的completebulkload将数据导入到HBas

查看zookeeper事务日志正确姿势用vi打开发现乱码，查资料发现说是文件里是二进制。zoo.cfg中可以通过dataLogDir来配置zookeeper的事务日志的输出目录。但是这些日志文件是二进制的，无法通过普通的查看名单看。需要通过org.apache.zookeeper.server.LogFormatter。姿势如下1.在Linux中命令如下：java -cp :/.../s...

sqoop导入大量数据到hbase出现hregionServer坠机问题解决版本信息：zookeeper-3.4.10hbase-1.2.6hadoop-2.7.3java 1.8当用sqoop把mysql数据导出hbase是发现导入失败，查看进程发现hregionServer挂了，查看hbase-zkpk-regionserver-slave.log、hbase-zkpk-mast...