- 博客(7)
- 收藏
- 关注
RSS订阅原创 Caused by: org.apache.phoenix.shaded.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErr
在集群zookeeper、hdfs、hbase都开启的情况下，无法通过sqlline.py开启 phoenix，显示报错内容为Caused by: org.apache.phoenix.shaded.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid详细内容如下图：原因：Hadoop集群处于安全模式，退出安全模式即可。解决办法：hdfs dfs -safe
2021-10-21 14:12:56
2336
1
原创 2020-09-23
------Spark异常处理：如果本机操作系统是Windows，如果在程序中使用了Hadoop相关的东西，比如写入文件到HDFS，则会遇到如下异常：出现这个问题的原因，并不是程序的错误，而是用到了Hadoop相关的服务，解决办法1）配置HADOOP_HOME环境变量2）在IDEA中配置Run Configuration，添加HADOOP_HOME变量...
2020-09-23 15:17:24
174
原创 2020-09-23
----Spark 在spark集群中执行打包后的wordcount.jar程序时,如果运行发生压缩类没找到（1）原因Spark on Yarn会默认使用Hadoop集群配置文件设置编码方式，但是Spark在自己的spark-yarn/jars 包里面没有找到支持lzo压缩的jar包，所以报错。 2）解决方案一：拷贝lzo的包到/opt/module/spark-yarn/jars目录[abc@hadoop102 common]$cp /opt/module/hadoop-3....
2020-09-23 15:12:57
244
原创 2020-09-23
-----Spark在xshell中出现如下错误：Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.解决办法：修改/opt/module/spark-yarn/conf/spark-env.sh（spark-env.sh .
2020-09-23 10:37:58
1113
原创 2020-08-23
--Hadoop小文件优化方法--Hadoop小文件解决方案1）小文件优化的方向：（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。（4）开启uber模式，实现jvm重用2）Hadoop Archive是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文
2020-08-23 21:58:08
590
原创 2020-08-23
-- HADOOP优化（常用的调优参数）1）资源相关参数（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb .
2020-08-23 21:38:48
162
原创 练习：客户信息管理系统
需求说明：模拟实现基于文本界面的《客户信息管理软件》。 该软件能够实现对客户对象的插入、修改和删除（用数组实现），并能够打印客户明细表。 项目采用分级菜单方式。主菜单如下： -----------------客户信息管理软件----------------- ...
2020-07-12 22:05:32
1335
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人