- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用sqoop1.99.6将mysql数据导入到hdfs
环境：sqoop-1.99.6，hadoop-2.6.01. 安装sqoop-1.99.61）下载sqoop-1.99.6，网址为http://archive.apache.org/dist/sqoop/2）解压安装包，tar -zxvf sqoop*.tar.gz3) 配置环境变量，vi /etc/profile,添加export SQOOP_HOME=你的安装路径
2017-08-28 14:37:59
959
原创 HBase与hive集成
集成环境：hadoop-2.6.0（Master，Slave1，Slave2），hbase-0.98.6-hadoop2，hive-1.2.11. hive和hbase集成需要的jar包有guava，hbase-common，hbase-server，hbase-client，hbase-protocol，hbase-it，htrace-core这七个jar包。进入$HIVE_HOME/l
2017-08-25 09:40:21
799
原创 HBase与mapreduce集成操作，以及出错的解决方法
集成环境： hbase-0.98.6-hadoop2 + zookeeper + hadoop-2.6.0 主节点：Master 从节点：Slave1 和 Slave21. 将写好的代码打成xxxxxx.jar（例如：hbase-mr-testbasic.jar）2. 在命令窗口执行如下命令：[root@Master 桌面]# cd /usr/soft/hadoop-2.6.0/
2017-08-21 11:02:14
893
原创 Hbase启动命令以及错误处理
前提：分布式集群，三个节点，Master，Slave1和Slave2节点，用的是自己安装的zookeeper-3.4.6，hbase版本为：hbase-0.98.6-hadoop2，hadoop-2.6.0.1. 启动顺序 Hadoop -> Zookeeper -> Hbase① 启动hadoop，在我的另一篇博客里有http://blog.youkuaiyun.com/gou290966707
2017-08-15 16:42:52
9646
原创 Spark应用程序创建并在集群上运行
1.编写spark应用程序1）创建SparkConf，设置Spark应用配置信息，并设置应用需要连接的集群的master节点的url。local代表本地运行，在集群中运行直接去掉.setMaster。SparkConf conf = new SparkConf() .setAppName("map") //.setMaster("local");2）创建JavaSparkCon
2017-08-02 15:59:07
925
原创 linux中spark启动进程命令以及顺序
1）首先启动hadoop① 在Master节点上进入hadoop安装目录下，执行sbin/start-dfs.sh② 在Slave1节点上进入hadoop安装目录下，执行sbin/start-yarn.sh③ 在Master节点上进入hadoop安装目录下，执行sbin/mr-jobhistory-daemon.sh start historyserver④ 在Slave1节点
2017-08-01 17:05:43
19495
原创 执行spark-submit脚本报错
java.lang.IllegalArgumentException: System memory 101384192 must be at least 4.718592E8. Please use a larger heap size. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryMana
2017-08-01 16:47:00
954
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人