yue-verdure-优快云博客

原创 Kafka自定义分区Scala代码

Kafka自定义分区Scala版生产者增加参数 properties.setProperty("partitioner.class", "com.tjf.kafka.KafkaPartitioners")//文件地址代码 KafkaPartitoners （代码改自这里） package com.tjf.kafka import java.util import java.util.concurrent.ThreadLocalRandom import org.apache.kafka.clie

2021-02-23 10:48:18 373

原创 spark笔记

spark笔记 spark DATAFRAME 进行类型转换时需要使用 .cast()方法 $"year".cast(IntegerType) as "years" 数据需要进行列转行时使用 LATERAL VIEW explode 方法，可以内嵌map方法 df .select($"burk", $"year", explode(columnMap) as Array("month", "pic")) //列转行 select burk,year,month,pic from b

2021-02-23 10:33:07 423

原创数据采集工具Sqoop、Datax、Flume、Canal

离线采集工具 Sqoop 1. 环境配置解压安装包i 配置环境变量（记得source）添加MySQL驱动包到sqoop文件夹下的lib cp mysql-connector-java-5.1.10.jar /sqoop-install-path/lib 重命名文件并配置文件 mv sqoop-env-template.sh sqoop-env.sh #添加环境变量 export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.6.0 expor

2020-11-15 21:34:49 3300

原创 Hbase学习笔记、原理、shell、API

一、什么是hbase hbase 全称Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 hbase利用hadoop hdfs作为其文件存储系统，利用hadoop MapReduce来处理hbase中的海量数据、利用zookeeper作为其分布式协同服务主要用来存储非结构化数据（视频语音等二进制文件）和半结构化数据（json）的松散数据（列式存储 NoSQL数据库）二、hbase的原理 2.1数据存储模式先介绍一下各个节点及其任务： c

2020-11-15 11:08:31 465

原创 kafka搭建

搭建环境上传解压缩包到任意节点解压，配置环境变量 vim /etc/profile KAFKA_HOME=`文件位置` # 分发到所有节点 scp /etc/profile node1:/etc/#(node2同理) source /etc/profile#(全部输入) 修改kafka文件夹下的config/server.properties broker.id=0 #(三个节点的值不能一样) zookeeper.connect=master:2181,node1:2181,node2:21

2020-11-09 23:36:52 159

原创 Spark配置JDBC

如果前面文章spark整合hive没有问题，首先启动hive元数据服务 nohup hive --service metastore >> metastore.log 2>&1 & 开启spark JDBC服务 cd /usr/local/soft/spark-2.4.5-bin-hadoop2.6/sbin/ ./start-thriftserver.sh --master yarn-client 在命令行中访问 cd /usr/local/soft/sp.

2020-11-09 15:28:13 636

原创 Spark整合hive

整合hive和spark让spark能够操作hive中的表和数据在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务 <property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value> </property> 将hive-site.xml 复制到spark conf目录下.

2020-11-05 23:52:31 319

原创 Spark-Core Spark核心部分

spark核心部分总结 spark-core spark简介分布式计算引擎（大数据计算框架），用来替代MapReduce 速度是MapReduce的一百倍（官方），实际检测大概十倍左右 spark会尽量将数据放在内存中进行计算（cache）使用DAG有向无环图 spark可以将多个MapReduce串联在一起粗粒度资源调度，spark在任务执行之前会将所需要的所有资源全部申请下来 spark生态体系 spark-sql 将sql转换成RDD进行计算 MLlib .

2020-11-04 22:59:06 410

原创 Spark-2.4.5搭建集群单机模式

集群版第一步：上传文件，解压到指定文件夹,这里存放于以下文件夹 /usr/local/soft/ 在spark目录下的conf文件中找到配置文件并修改增加如下配置： export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=2g export JAVA_HOME=/

2020-11-01 11:16:03 534

原创 Scala基础、类、读写文件操作、样例类

建议有一定java基础同学学习 Scala简单语法 Scala是把函数式编程思想和面向对象编程思想结合的一种编程语言变量 val：常量，不可变（不能在指向其他的对象）相当于java中的final var：变量基本数据类型和java相差不大 scala中类型转换可以直接使用to…方法 object Demo3base { def main(args: Array[String]): Unit = { val i: Int = 10 var j = 100 /.

2020-10-26 23:05:54 333

原创 Hbase环境搭建（集群版）

一、前提在搭建hbase之前请配置好hadoop和zookeeper，先启动hadoop和zk start-all.sh # 在三台虚拟机上启动zk zkServer.sh start 开启后如下二、正式搭建 2.1 上传解压配置环境变量 tar -xvf hbase-1.4.6-bin.tar.gz 2.2 修改hbase-env.sh文件增加java配置 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 关闭默认zk配置 export HBASE

2020-10-25 15:13:16 288

原创 hbase能够使用SQL的API神器--Phoenix

Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的PAI执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。 Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。 1、Phoenix搭建 Phoenix 4.15 HB.

2020-10-25 11:20:01 810

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_41261170的博客