- 博客(19)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 2021-09-18 maven工程打包问题
工程打包package时候，如果出现报错如下： target 某某某文件 不存在或者不是个package 说明你的工程目录路径存在中文，需要建在全英文的路径下。
2021-09-18 11:17:34
236
原创 mysql基础知识小记
数据库查询操作 1、简单查询 select .. from ... where ... group by ... having ... order by ...asc|desc limit (pageNo-1)*pageSize,pageSize -- 分页查询 select ... limit (pageNo-1)*pageSize,pageSize; #聚合函数：avg min max count sum #分组查询可以出现在字段列表中的字段：参与分组的字段和聚合函数 2、复杂查询 子查询 sel
2021-08-14 22:53:27
404
原创 centos7 的flink安装
环境配置 flink 1.11 之后开始支持hadoop3 flink-1.13.2-bin-scala_2.12.tgz 解压 tar xvf flink-1.13.2-bin-scala_2.12.tgz -C /opt/software/... 配置环境变量 #flink export FLINK_HOME=/opt/software/flink-1.13.2 export PATH=$FLINK_HOME/bin:$PATH #flink on yarn export HADOOP_CON
2021-08-09 16:56:24
659
原创 kafka—flume—consumer
以下一切数据都依据本人虚拟机的真实路径数据 日志文件的路径 /root/data/flume/prolog.log 创建kafka主题 kafka-topics.sh --create --topic prolog_02 --partitions 1 --replication-factor 1 --bootstrap-server singlebrown:9092 创建flume配置文件 vim /root/flume_job/logconf/flume02_kafka.conf a1.source
2021-08-01 01:14:29
157
原创 spark Streaming 实时流
producer类（java） package cn.kgc.stock; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import java.util.Properties; import java.util.
2021-08-01 01:10:02
129
原创 spark生产者和消费者（附完整代码）
创建工程 scala maven 添加依赖 //版本号 <scala.version>2.12.10</scala.version> <spark.version>3.0.1</spark.version> <spark.scala.version>2.12</spark.scala.version> <!-- scala--> <dependency> <gr
2021-08-01 01:05:15
505
原创 spark 操作 hive
依赖就不贴了，嘻嘻 object SparkHive extends App { val spark: SparkSession = SparkSession.builder() .master("local[*]") .appName("spark_hive") .enableHiveSupport() .getOrCreate() //读取hive中数据表 /*spark.sql("select * from kb12.testsqoop")
2021-08-01 00:57:14
228
原创 spark处理本地文件数据
/** spark 根据本地文件来处理数据 样例类+RDD创建DataFrame */ 具体代码如下： object SparkFile { case class Record(shopId:String,date:String,volume:String) def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .master("local[*]").a
2021-08-01 00:52:52
536
原创 Spark 操作 Mysql（附代码）
创建工程 选择spark的maven工程 依赖（参考） 先修改scala的版本为2.12.10 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.1.2</version> </dependency> <d
2021-08-01 00:49:37
1404
原创 2021-07-30Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon？
当我在搞centos的docker，拉取镜像源时候，遇到这样的错误 我的解决方法是： systemctl daemon-reload sudo service docker restart sudo service docker status sudo docker run hello-world
2021-07-30 02:24:09
122
原创 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver解决方案
我在学习zeppelin运用jdbc引擎操作mysql时候，运行 %jdbc show databases 出现java.lang.ClassNotFoundException: com.mysql.jdbc.Driver报错 解决方法 在自己的jar_mgr目录下，找到apache-maven-3.5.4\repository\mysql\mysql-connector-java\5.1.47 把这个依赖包复制到zeppelin的lib目录下 我是放在了虚拟机的路径下 然后去web运行，就成功了，如有
2021-07-26 20:57:00
505
原创 JDBC连接hive（附完整代码）
一、创建maven工程 1、选择quickStart 2、导入依赖（如下）——依赖定时检查更新 <dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>${hive.version}</version> &
2021-07-24 19:23:58
3825
原创 JDBC连接Mysql(附完整代码)
一、创建maven工程 1、选择quickStart 2、导入mysql-connector-java的依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependency> 二、程序以供参考 1、先在根目录下创建config/jd
2021-07-24 16:32:03
875
2
原创 虚拟机spark安装
虚拟机上安装 1、将spark-3.1.2-bin-hadoop3.2.zip安装包传到download 2、解压 tar -zxvf spark-3.1.2-bin-hadoop3.2.zip -C /opt/software/ 3、改名：mv spark-3.1.2-bin-hadoop3.2 spark312 4、进入：cd conf 5、改名：mv spark-env.sh.template spark-env.sh 6、vim spark-env.sh 7、增加： export SPARK_MAS
2021-07-21 14:19:03
1202
原创 scala Array 算子
++: 和 +: val arr3 = arr1 ++: arr2 //先导包 scala> import scala.collection.mutable.ArrayBuffer import scala.collection.mutable.ArrayBuffer scala> val arr1 = Array(1, 2, 3,5) arr1: Array[Int] = Array(1, 2, 3, 5) scala> val arr2 = ArrayBu
2021-07-12 19:12:06
339
原创 IDEA无法识别xml文件
IDEA无法识别xml文件 xml文件是灰色的 解决方法 1、setting 2、找到Editor里的file type 3、在xml设置里看看有没有*/xml格式 我遇到的坑是xml里没有*/xml格式，手动添加进去，就可以了。一般格式错误都是在这个设置里去检查错误。 希望能帮助到大家！ ...
2021-07-07 18:58:18
1669
2
原创 CentOS7 HADOOP的安装
CentOs7 HADOOP的安装 1、安装步骤： 1、把Hadoop313拖进opt/downdoal下 2、免密登录 #解压hadoop文件 tar -zxf hadoop-3.1.3.tar.gz -C /opt/software #重命名 mv /opt/sofware/hadoop* /opt/software/hadoop313 cd~ #设置密钥 ssh-keygen -t rsa cat /root/.ssh/id_rsa.pub>>/root/.ssh
2021-06-06 17:41:52
512
2
原创 vmware /centos7虚拟机的安装教程
centos虚拟机的安装前言一、安装VMware Workstation并打开二、具体安装步骤1.创建新的虚拟机安装虚拟机1.编辑虚拟机设置2.开启此虚拟机3.选择install centos安装，等待片刻好了，输入root和密码，就可进入虚拟机的世界啦！ 前言 这里介绍的是基于redhat的centos虚拟机的安装步骤。 一、安装VMware Workstation并打开 二、具体安装步骤 1.创建新的虚拟机 具体步骤参照一下图片选择 这里的虚拟机内存选择依据你电脑的内存而定，如果
2021-05-24 19:21:18
217
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人