hadoop
关注
分享
扫一扫
文章平均质量分 87
吃火锅的胖纸
https://github.com/zpp222
展开
-
spark with hive
标题标题前提-已搭建完成：hive3.1 安装配置（一）1.将hive-site.xml 拷贝到spark目录下cp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf/hive-site.xml2.编写测试案例val sparkSession = SparkSession.builder. .appName("spark sql ...原创 2019-03-08 16:34:47 · 400 阅读 · 0 评论 -
hive on spark
概要前提： 安装hive讲解版本信息： apache-hive-3.1.1-bin spark-2.4.4-bin-hadoop2-without-hive参考： HIVE官方文档一. HIVE配置vi conf/hive-site.xml<property><name>...原创 2019-11-13 14:03:44 · 203 阅读 · 1 评论 -
zookeeper集群搭建
集群节点：192.168.62.155 master192.168.62.156 slave1#######################各个节点 begin########################tar -zxvf zookeeper-3.4.13.tar.gzcd confcp zoo_sample.cfg zoo.cfgvi zoo.cfgdat...原创 2019-02-01 15:27:38 · 140 阅读 · 0 评论 -
kafka集群搭建
tar -zxvfkafka_2.12-2.1.0.tgzcd config####################参数修改###############################masterbroker.id=0 #每台服务器的broker.id都不能相同zookeeper.connect=master:2181,slave1:2181#slave1br...原创 2019-02-01 15:28:19 · 191 阅读 · 0 评论 -
spark sql 内置函数（摘自官网）
http://spark.apache.org/docs/latest/api/sql/index.html!! expr - Logical not.%expr1 % expr2 - Returns the remainder afterexpr1/expr2.Examples:> SELECT 2 % 1.8; 0.2> SELECT M...原创 2019-03-06 16:26:04 · 1416 阅读 · 0 评论 -
hive3.1 安装配置
#一、解压缩tar -xzvf apache-hive-3.1.1-bin.tar.gz#二、环境变量vi /etc/profileHIVE_HOME=/opt/bigdata/hivePATH=$HIVE_HOME:$PATHexport PATH HIVE_HOMEsource /etc/profile#三、hive 配置##1.hive-def...原创 2019-03-08 15:38:59 · 795 阅读 · 0 评论 -
sqoop1.4.7安装配置
#解压缩gunzip sqoop-1.4.7.bin__hadoop-2.6.0.tar.gztar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tarmvsqoop-1.4.7.bin__hadoop-2.6.0sqoop-1.4.7.bin-hadoop-2.6.0## InstallationSqoop ships as one binary...原创 2019-09-27 11:15:49 · 243 阅读 · 0 评论 -
spark&hadoop调优
version:spark-2.4.0-bin-hadoop2.7#1.在HDFS创建目录 /spark/jarsbin/hadoop dfs -mkdir -p /spark/jars#2.将$SPARK_HOME/jars下所有包上传到hdfs目录 /spark/jarsbin/hadoop dfs -put /opt/bigdata/spark../jars/* /spar...原创 2019-02-23 19:35:21 · 336 阅读 · 0 评论 -
oozie5.1 编译安装
# 解压缩tar xzvf oozie-5.1.0.tar.gz# 依赖工具安装（已安装，请忽略）sudo yum install maven# 编译（非常耗时）可在我的上传资源中下载编译结果oozie-5.1.0-distro.tar.gzhttps://download.youkuaiyun.com/download/zphyy1988/11095148https://dow...原创 2019-04-03 14:24:20 · 2151 阅读 · 0 评论 -
flume1.9 安装配置
#架构图##source ：使用spoolDir 监控目录##channel ：使用kafka##sink ：使用hdfs---------------------------------------------------------------------------------#安装配置#1.vi flume-env.shcp flume-env.sh.t...原创 2019-02-28 11:25:45 · 2548 阅读 · 0 评论 -
hdfs 集群模式搭建（QJM）
version:hadoop-2.7.7#所有hadoop节点vi hdfs-site.xml<property><name>dfs.nameservices</name><value>mycluster</value></property><property><n...原创 2019-02-23 19:25:53 · 265 阅读 · 0 评论 -
yarn集群模式配置（二）
# 配置集群各节点vi yarn-site.xml<configuration><!-- Site specific YARN configuration properties --><property> <name>yarn.nodemanager.aux-services</name> ...原创 2019-01-30 16:29:18 · 703 阅读 · 0 评论 -
yarn集群模式配置（一）
tar -zxvf hadoop-2.7.7.tar.gzcd /home/spark/bigdata/hadoop-2.7.7/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/opt/jdk1.8.0_201 cd /home/spark/bigdata/hadoop-2.7.7vi etc/hadoop/core-site....原创 2019-01-30 16:26:40 · 534 阅读 · 0 评论