Hadoop
关注
分享
扫一扫
数道难
这个作者很懒，什么都没留下…
展开
-
Hadoop伪分布搭建
网上很多教程，但基本都漏介绍了hadoop-env.sh这个文件的配置export JAVA_HOME=${JAVA_HOME:-"/usr/java/jdk1.7.0_55"} 如果这里没写JAVA_HOME会导致启动的时候报找不到Java，然后容易误认为yarn-env.sh里面的JAVA_HOME设置未生效 集群硬件参考：https://www.cloudera.c...原创 2018-04-11 12:05:36 · 281 阅读 · 0 评论 -
hadoop2.3-cdh5.0.0问题笔记
问题1. 今天发现HDFS根目录有点奇怪，似乎/spark/就被当做是/根目录：[hadoop2@hadoop1 tmp]$ hdfs dfs -ls hdfs:/Found 10 itemsdrwxr-xr-x - hadoop supergroup 0 2018-06-29 09:41 hdfs:///hbasedrwxr-xr-x - hadoop sup...原创 2019-01-13 15:41:23 · 151 阅读 · 0 评论 -
hive2.3.3安装记录
环境： win7 64位虚拟机Ubuntu18.04， hadoop2.7.6 mysql安装参考：https://blog.youkuaiyun.com/u011026329/article/details/80835139 ——附带mysql账号密码设置https://blog.youkuaiyun.com/sinat_21302587/article/details/76870457https:...原创 2018-09-18 11:00:47 · 589 阅读 · 0 评论 -
hive0.13 insert空指针问题记录
问题背景：INSERT...VALUES is available starting in Hive 0.14；但我们在hive0.13中希望简单插入数据然后测试；然后建表，表结构：create table IF NOT EXISTS testj( f1 string, f2 string) partitioned by (day...原创 2018-10-26 10:17:24 · 1345 阅读 · 0 评论 -
standby导致spark初始化失败问题记录
问题：11:15:50,290 ERROR ~ Error initializing SparkContext.org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby ...原创 2018-11-28 11:43:56 · 675 阅读 · 0 评论 -
centOS7.6装cdh6.1.0笔记
平台：戴尔G7 win10 16G+1T；虚拟机版本：virtual box 6.0.2步骤：一。 虚拟机virtual box安装三个centos，内存分配3G+40G左右硬盘（CentOS-7-x86_64-DVD-1810版本） 问题1：这里主要靠TAB+enter键选按钮，颜色较难区分，不如ubuntu人性化，不小心点到Help里面不知道怎么退出或返回，我都直接强制关闭对应...原创 2019-01-25 23:04:32 · 1250 阅读 · 2 评论 -
hbase0.96.1.1笔记（hadoop2.3.0-cdh5.0.0）
问题1：win7+idea下写hbase卡住不动 Zookeeper 错误 Will not attempt to authenticate using SASL (unknown error)解决方式： C:\Windows\System32\drivers\etc\hosts 里加入 zookeeper域名和IP的映射 （如果文件无法编辑，我是直接删除原host文件，并新建同名文件后编辑；可...原创 2018-07-06 17:05:00 · 191 阅读 · 0 评论 -
idea 连接hive（cdh3）问题1
Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found. at org.apache.spark.sql.SparkSession$Builder.ena...原创 2018-07-03 17:52:28 · 1596 阅读 · 0 评论 -
spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch...
前半部分转自：https://www.cnblogs.com/tibit/p/7337045.html （后半原创）spark-shell不支持yarn cluster，以yarn client方式启动spark-shell --master=yarn --deploy-mode=client启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn...原创 2018-04-17 09:50:52 · 6294 阅读 · 1 评论 -
Hadoop的本地库（Native Libraries）及相关问题总结
主体转自：http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html （未亲测，我的getconf LONG_BIT返回32，且file libhadoop.so.1.0.0返回64，与之相反）Hadoop的本地库（Native Libraries）介绍Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（...转载 2018-04-23 18:23:41 · 12018 阅读 · 0 评论 -
/root路径下启动hive问题RuntimeException: java.lang.NumberFormatException : For input string: "1s"
环境：hive0.13.0和Hadoop2.6具体现象：[root@master(3.100) ~]# hiveLogging initialized using configuration in file:/work/hadoop/hive/apache-hive-0.13.1-bin/conf/hive-log4j.propertiesException in thread "main" ja...原创 2018-05-03 10:55:19 · 1322 阅读 · 0 评论 -
ambari与hortonworks、apache易混淆关系
百度百科上ambari写的是apache的，并在网页后面附上了apache官网url，但是hortonworks官网上也挂着个ambari，初学者容易混淆；其实两者是差不多的，据我观察：apache ambari是原始版本，发行的最新版本会高于hortonworks官网里面的最新发行版本；但ambari2.7.1.0在hortonworks官网中已经有Ubuntu18的安装教程了，而apa...原创 2018-05-16 11:06:48 · 2904 阅读 · 1 评论 -
hive远程调试问题java.net.UnknownHostException: unknown host: master
解决办法如下：在C:\WINDOWS\system32\drivers\etc\hosts文件中添加“如下“信息：192.x.x.x master注：之前我有遇到改下project中hdfs-site.xml下的master:10000改为ip:10000就好了，但是今天发现这招失灵了，ε=(´ο｀*)))唉。改了这个之后能够sqlContext.sql("show databases")等操作，...原创 2018-05-23 16:08:47 · 4049 阅读 · 0 评论 -
spark、Hadoop等部分相关进程注解
pid(jps例子)进程名意义注5178Masterspark master 6633Workspark slave一般跟master分开99CoarseGrainedExecutorBackendspark Executor进程standalone 和yarn一样的4147Kafkakafka 6131QuorumPeerMainzookeeper进程每台都有6453HRegionServerH...原创 2018-07-06 17:07:54 · 517 阅读 · 0 评论 -
hadoop HA部署
转自：https://www.cnblogs.com/wanshoushou/p/5606662.html参考：https://blog.youkuaiyun.com/jarth/article/details/52839864hadoop HA部署说明： 1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外...转载 2018-07-06 17:06:21 · 186 阅读 · 0 评论 -
Ubuntu18.04虚拟机hbase1.3安装笔记
参考：http://hbase.apache.org/book.html#arch.overview hbase、zookeeper和hadoop对应版本关系参考：https://blog.youkuaiyun.com/qq_34347375/article/details/79057268 su获取root权限参考：https://www.cnblogs.com/LazyJoJo/p/641...原创 2018-07-06 16:53:46 · 849 阅读 · 0 评论 -
Ubuntu16.04安装cdh6.10.0笔记
基本环境：win10 64位宿主机，16G+1T；虚拟机版本virtual box 6.0.2；每台分配资源：内存3G，硬盘50G附：Ubuntu Kylin 16.04 LTS下载(64bit)：http://www.ubuntu.org.cn/download/ubuntu-kylincdh搭建系统要求：https://www.cloudera.com/docu...原创 2019-02-04 21:54:21 · 3771 阅读 · 2 评论