bigdataf的博客

程序使用的guava版本和hadoop hbase大数据之类的包冲突，总是报NoSuchMethod和ClassNoDef之类的错误 解决方法：将guava-22.0单独打成jar包，并改名，再重新放回源程序 基于maven-shade-plugin，guava单独打成jar包，修改包路径，并加入源程序的maven本地仓库 1.guava单独打成jar包的pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://

spark hive hbase 结合 业务需求，需要整合需要读取hive数据导入hbase中，一下是环境配置流程以及中间遇到的问题 1.spark读hive 需要copy hive-site和hdfs-site 等配置文件到项目资源包下 object hivesql { case class Record(key: Int, value: String) def ma

hbase 监控 https://blog.bcmeng.com/post/hbase-monitor.html http://www.54tianzhisheng.cn/2017/10/21/HBase-metrics/ grafana 1.表的读写qps hbase metric hbase.regionserver.regions.readRequestCount/writeRe...

1.Hmaster启动 用了这么久的hbase,今天开始着手hbase方面的源码阅读 2.1.0版本刚发布不久，是Hbase 2.x系列的第二次版本。旨在提高 HBase 的稳定性和可靠性，主要更新内容如下： 基于 Procedure v2 的复制对等修改 串行复制 最小 Hadoop 版本已更改为 2.7.1 成功完成从 1.4.3 到 2.1.0 的滚动升级，这表明可以从 1.x 滚动升级到 ...

#!/bin/bash #hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.wal.durability=SKIP_WAL namespace:tablename /user/tjoffline/hbase_export_tablename/ #hbase org.apache.hadoop.hbase.mapreduce.Impor...

1.编辑启动脚本 cat start_tsdb.sh OPENTSDB_HOME=/data/opentsdb JVMARGS="${JVMARGS} -Djava.security.auth.login.config=${OPENTSDB_HOME}/jaas.conf -Dzookeeper.sasl.client=false" ./tsdb tsd --config=${OPENTSDB_...