- 博客(7)
- 收藏
- 关注
RSS订阅原创 Structured Streaming
2.2 编程 2.2.1 Demo1 2.2.2 在服务器中开启web服务器 3 spark streaming + kafka(重要) 3.1 依赖版本 spark streaming-kafka-0-8 spark streaming-kafka-0-10 broker 0.8.2.1 or higher 0.10.0 or higher API spark 2.2.0开始， 2.4.8之后废除 鼓励新版本 Receiver yes no direct stream y
2022-06-10 16:16:31
672
原创 redis
2 Redis的五种常见数据类型 2.1 参考资料 2.2 五种常见类型 2.2.1 字符串 常用命令表格 命令 描述 SET 设置指定 key 的值 GET 获取指定 key 的值 GETRANGE 返回 key 中字符串值的子字符 GETSET 将给定 key 的值设为 value ，并返回 key 的旧值 ( old value ) GETBIT 对 key 所储存的字符串值，获取指定偏移量上的位 ( bit ) MGET 获取所有(一个或多个)给定 key
2022-06-08 17:40:19
364
原创 Kafka
5 Kafka的Topic的命令 5.1 创建主题 5.2 例举所有的主题 5.3 查询主题详情 5.5 删除主题 6 命令行方式的生产和消费 6.1 生产者 6.2 消费者 7 Kafka在Zookeeper中的目录说明 8 Kafka的消费者消费并行度的决定因素 2 Topic增删改查 2.1 创建主题 2.2 列举所有的主题 2.3 查询主题详情 3 生产者API 4 消费者API 5 分区 5.1 默认的kafka的分区策略 5.2 自定义分区器 5.2.1 Parti
2022-06-08 17:21:43
622
原创 关于idea打包sparkSQL整合Hive执行
一：spark代码 package com.qf.bigdata.spark.sql.day2 import com.qf.bigdata.spark.core.day3.SparkUtils import org.apache.spark.sql.SparkSession /** * SparkSQL整合Hive执行 */ object Demo11_SparkSQL_Hive { def main(args: Array[String]): Unit = { //1. 校验ja
2022-05-30 21:11:23
721
原创 Spark Core
Spark Core 1.1 第一天介绍发展、特性。 1.2 安装了standalone模式：伪分布式 1.3 部署模式——local、standalone、yarn模式。 mesos、云… 1.4 编码：java、lambda、scala 1.5 底层执行流程 Scala 2.1 集合 Array ： 长度可变。长度不可变 Set ： 有序:TreeSet/无序 List/ListBuffer： 长度、元素值可变、元素值长度不可变 Tuple ： 都是初始化之后就不可变了。元祖是只读的，作用传值..
2022-05-27 11:34:55
808
原创 快速搭建hadoop集群
一：环境搭建 1：本地模式 1） 上传安装包 /home/soft 下，上传 hadoop-3.3.1.tar.gz 2) 解压缩 /usr/local tar -zxf hadoop-3.3.1.tar.gz -C /usr/local 3) 重命名 （非必须的） 进入 /usr/local 文件夹下，进行 mv hadoop-3.3.1 hadoop 4） 修改环境变量 /etc/profile export JAVA_HOME=/usr/local/jdk export HADOOP_
2022-04-09 16:07:12
1898
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人