
liunx
wuzxu
这个作者很懒,什么都没留下…
展开
-
记录-bigdata-在linux里,使用flume将数据存到kafka中
flume中操作1.解压flume的压缩文件 tar -zxvf apach-flume.tar.gz2.进入apache-flume文件夹,再进入里面的conf文件夹 使用cd命令进入文件夹3.复制一个文件如下 cp flume-env.sh.template flume-env.sh4.编辑这个文件vi flume-env.sh 给里面的java_home添加上配置5.再在这个conf文件夹中建一个新的文件 我这里叫wzx.conf# Namh the compone...原创 2022-04-07 19:21:19 · 2204 阅读 · 0 评论 -
记录-bigdata-使用scala语言,使用sparksql,spark算子进行数据统计---接上一篇文章
前面的看我的上两篇文章即可直接上代码//上一篇文章已经把数据从ods层清洗到了dwd层了//这一篇文章,我们直接从dwd层抽取数据,进行数据分析//根据dwd层中的订单表和客户表,找出消费额最高的五位用户,存入mysql中 val sparkSession = SparkSession .builder() .appName("topfive") .enableHiveSupport() .getOrCreate() def s原创 2022-04-07 18:51:11 · 2091 阅读 · 0 评论 -
记录-bigdata-使用scala语言,使用spark获取ODS层指定分区表中的数据并进行相应的清洗(缺失字段填充、去重)---接上一篇文章
我这里是完成编码之后,打包发送到集群上运行的!!!1.使用IDEA创建MAVEN项目pom配置如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.x原创 2022-04-07 18:06:07 · 3824 阅读 · 2 评论 -
记录-bigdata-使用Scala语言,使用Spark抽取MySQL指定数据表中的数据到HIVE的ODS层的表中
我这里是完成编码之后,打包发送到集群上运行的!!!1.使用IDEA创建MAVEN项目pom配置如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.x原创 2022-03-24 18:53:01 · 11274 阅读 · 8 评论 -
Xshell连接不上Liunx
报错:Could not connect to '192.168.102.128' (port 22): Connection failed.我的问题是虚拟机22端口没有开启1.先检查一下在终端输入netstat -ntlp|grep 22 和 lsof -i:22 两个可能都不出信息2.下载在终端输入如下三个命令sudo apt install openssh-serversudo apt install ufwsudo ufw enable3....原创 2022-03-24 10:18:59 · 1855 阅读 · 0 评论 -
关于新下载好的liunx Ubuntu(持续更新)
1.你可能需要设置root的密码在终端输入 sudo passwd root 即可设置root的密码想使用root权限时,在终端输入 su root 再输入密码即可2.你可能需要下载新的东西终端输入 sudo apt install +’你要下载的东西‘ 即可3.查看ip在终端输入 ifconfig 即可...原创 2022-03-24 10:06:46 · 117 阅读 · 0 评论