
hadoop
deepthinkers
近期会总结大量之前遇到的问题会不断更新。
我会抽出时间努力做这件事
展开
-
解决sqoop中出现的某些问题
安装sqoop出现的问题我本人用导sqoop去导入mysql数据并存到hdfs上,标题 ##安装过程中: 使用这篇博客来进行安装, http://www.linuxidc.com/Linux/2016-09/135129.htm出现如下问题1.报错各种set问题,说缺少设置一些东西,例如:解决方法也很简单 把sqoop/bin/configure-sqoop里面的如下两段内容注释原创 2017-08-24 19:01:34 · 3013 阅读 · 0 评论 -
有关于centos下ganglia的安装部署心得
1 Ganglia安装1.1 中心节点的安装epel包的安装:yum install -y epel-release(解决不能yum安装某些安装包的问题)gmetad的安装:yum install -y ganglia-gmetad ganglia-devel gmond的安装:yum install -y ganglia-gmondrrdtool的安装:yum install -y rrdt...原创 2018-03-14 13:46:00 · 613 阅读 · 0 评论 -
关于sparksql使用hive读写oracale相关操作
在本人项目中涉及到spark相关读写问题,实际上我们项目做的是一个利用sparksql提高传统业务数据的流转速度的项目,使用hive中的数据并利用spark计算将数据回写入oracle。 本人使用的是spark 1.5的版本,内网操作,无法升级。 记录以下问题 1.使用oracle的原数据进行读,写入hive表 val conf=new SparkConf().setMaster(“loc...原创 2018-04-10 14:22:48 · 639 阅读 · 0 评论 -
hdfs-indexer /hbase-indexer向solr创建索引报错解决
我在使用hdfs-indexer向solr创建索引时候,mapreduce已经执行完了,但是到最后出现,其实下面这个报错是从网上扣的,大致报错信息是一致的。我是用hdfs-indexer向solr同步全量索引数据时候报的错。org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server...原创 2018-12-21 11:21:21 · 526 阅读 · 0 评论