<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Messi的小迷弟]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wAwT13zA</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wAwT13zA]]></copyright><item><title><![CDATA[Centos7 ELK7.6.2集群搭建]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/111355223</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/111355223</guid><author>wAwT13zA</author><pubDate>Fri, 18 Dec 2020 14:49:26 +0800</pubDate><description><![CDATA[Centos7 ELK7.6.2集群搭建ELK7.6.2网盘安装包下载一、单节点准备配置ip配置主机名和主机名映射关闭防火墙事件同步更换yum源(阿里云yum源)安装常用软件系统优化创建用来启动es的普通用户jdk安装二、克隆两台虚拟机配置免密登录（三台机器都要）三、安装elasticsearch上传及解压配置elasticsearch.yml将本节点的elasticsearch-7.6.2发送到另外两台机器上修改另外两台节点的elasticsearch.yml配置信息给所有节点上的elasticsearc]]></description><category></category></item><item><title><![CDATA[数仓搭建]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108391206</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108391206</guid><author>wAwT13zA</author><pubDate>Wed, 09 Sep 2020 00:42:54 +0800</pubDate><description><![CDATA[业务数据存放在Mysql中，使用sqoop去mysql将数据读取到hive的表中
1.执行mysql脚本
/*==============================================================*/
/* DBMS name:      MySQL 5.0                                    */
/* Created on:     2018/11/23 1:09:10                           */
/*]]></description><category></category></item><item><title><![CDATA[CentOS7 64位安装mysql教程，亲测完美]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107193893</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107193893</guid><author>wAwT13zA</author><pubDate>Wed, 02 Sep 2020 16:43:51 +0800</pubDate><description><![CDATA[CentOS7 64位安装mysql教程，亲测完美
1.查看linux系统中是否存在mariadb
rpm -e mariadb
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X0BuVqKE-1594100826889)(C:\Users\37129\AppData\Roaming\Typora\typora-user-images\image-20200707093232899.png)]
如果存在就删除，会和mysql冲突
2.删除mariadb
rpm -e --no]]></description><category></category></item><item><title><![CDATA[Hive语法总结]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108260812</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108260812</guid><author>wAwT13zA</author><pubDate>Fri, 28 Aug 2020 08:52:59 +0800</pubDate><description><![CDATA[这里写目录标题一、建表语句二、Hive建表高阶语句-CTAS and WITH1.CTAS2.CTS3.like-只创建表结构三、表操作1.删除表2.修改表结构(Alter)三、装载数据：load1.加local关键字，原始文件位于Linux本地，执行后为拷贝数据2.没有local关键字，表示文件位于hdfs上执行后为直接移动数据四、Hive分区（重点！！！！！）1.建表2.静态分区3.动态分区4.删除分区5.查看分区数6.查看分区表结构五、分桶表1.设置Hive的分桶开关2.创建分桶表3.将查询的数据插入]]></description><category></category></item><item><title><![CDATA[正则表达式在python中的使用]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108226367</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108226367</guid><author>wAwT13zA</author><pubDate>Tue, 25 Aug 2020 19:27:04 +0800</pubDate><description><![CDATA[常用正则表达式
\d 代表1个数字0-9
\D 代表一个非数字
\w 代表1个字符0-9 A-Z a-z
\W 代表1个非字符
\b 匹配一个单词边界
\B 匹配非单词边界
[注意]\bc:表示匹配以c开头的单词c，c\b：匹配以c为开头的单词c；/Bc：不以c开头匹配单词中所有的c，c\B：不以c结为匹配单词中所有的c
. 代表任意1个字符
\s 代表一个空格
. 代表一个.
() 字符串选择器(abc|cde|def)
[] 字符选择器
- | ,
[a-z] a到z的任意一个字符
[a|b|c] [a]]></description><category></category></item><item><title><![CDATA[hadoop生态圈的各个启动]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108223732</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108223732</guid><author>wAwT13zA</author><pubDate>Tue, 25 Aug 2020 17:11:45 +0800</pubDate><description><![CDATA[hive 启动:nohup hive service metastore &amp;
beeline启动：nohup service hiveserver2 &amp;
进入hive：hive
进入beeline(需要再hive的bin目录下运行，否则会和spark中的beeline冲突)：
./beeline -u jdbc:hive2://localhost:10000 -n "root" -p "ok"
如果需要解除安全模式：hdfs dfsadmin -safemode leave

...]]></description><category></category></item><item><title><![CDATA[Kafka Streaming处理数据]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108219964</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108219964</guid><author>wAwT13zA</author><pubDate>Tue, 25 Aug 2020 14:43:18 +0800</pubDate><description><![CDATA[用kafka streaming从kafka中拿数据，处理完数据后，再存到kafka中
有两种方式
第一种：直接全部写在main方法中
package com.wang.events;

import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.KStream;

import java.util.ArrayLi]]></description><category></category></item><item><title><![CDATA[kafka 语法总结]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108152087</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108152087</guid><author>wAwT13zA</author><pubDate>Fri, 21 Aug 2020 17:44:12 +0800</pubDate><description><![CDATA[#后台启动kafka
kafka-server-start.sh -daemon config/server.properties
#创建topic
kafka-topics.sh --create --zookeeper hadoop1:2181 --replication-factor 1 --partitions 1 --topic test20200818
#查看topic
kafka-topics.sh  --zookeeper hadoop1:2181 --list
#查看topic详情
kaf]]></description><category></category></item><item><title><![CDATA[spark、spark streaming 依赖包总结，及胖包和瘦包的配置]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108151492</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108151492</guid><author>wAwT13zA</author><pubDate>Fri, 21 Aug 2020 17:32:39 +0800</pubDate><description><![CDATA[&lt;properties&gt;
        &lt;maven.compiler.source&gt;1.8&lt;/maven.compiler.source&gt;
        &lt;maven.compiler.target&gt;1.8&lt;/maven.compiler.target&gt;
        &lt;encoding&gt;UTF-8&lt;/encoding&gt;
        &lt;scala.version&gt;2.11.8&lt;/scala...]]></description><category></category></item><item><title><![CDATA[Spark Streaming编程实例]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108126664</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108126664</guid><author>wAwT13zA</author><pubDate>Fri, 21 Aug 2020 16:36:26 +0800</pubDate><description><![CDATA[案例一：使用Spark Streaming统计HDFS文件的词频
package com.wang.mytest

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}

object HDFSInputDstreamDemo extends App {
  private]]></description><category></category></item><item><title><![CDATA[Spark读取外部数据的几种方式]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108145797</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108145797</guid><author>wAwT13zA</author><pubDate>Fri, 21 Aug 2020 16:01:03 +0800</pubDate><description><![CDATA[一、spark读取csv文件（四种方式）
//方式一：直接使用csv方法
  val sales4: DataFrame = spark.read.option("header", "true").option("header", false).csv("file:///D:\\Software\\idea_space\\spark_streaming\\src\\data\\exam\\sales.csv")
    .withColumnRenamed("_c0", "time")
    .withC]]></description><category></category></item><item><title><![CDATA[使用flume读取数据，sink到kafka中及hdfs中]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108107529</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108107529</guid><author>wAwT13zA</author><pubDate>Wed, 19 Aug 2020 18:59:37 +0800</pubDate><description><![CDATA[案例一：使用flume读取数据，sink到kafka中
users.sources = usersSource
users.channels = usersChannel
users.sinks = usersSink

users.sources.usersSource.type = spooldir
users.sources.usersSource.spoolDir = /data/flumeFile/users
users.sources.usersSource.deserializer = LIN]]></description><category></category></item><item><title><![CDATA[Flume数据收集使用例子]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/108053747</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/108053747</guid><author>wAwT13zA</author><pubDate>Mon, 17 Aug 2020 19:07:02 +0800</pubDate><description><![CDATA[一、架构

Flume以一个或多个Agent部署运行
Agent包含三个组件
Source
Channel
Sink

多层串联(拓扑结构)


简单串联

多路数据流

合并，将多个源合并到一个目的地


二、Source
几种source的type
exec source
spooling directory source
http source
avro source
kafka source
netcat source
1. exec source
执行Linux指令，并消费指令返回的结果，如“ta]]></description><category></category></item><item><title><![CDATA[Spark GraphX——pregel案例：求最短路径、求最小值]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107942186</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107942186</guid><author>wAwT13zA</author><pubDate>Tue, 11 Aug 2020 19:52:31 +0800</pubDate><description><![CDATA[一、Pregel API
def pregel[A] (initialMsg: A, maxIter: Int = Int.MaxValue,  activeDir: EdgeDirection = EdgeDirection.Out)
      (vprog: (VertexId, VD, A) =&gt; VD,
       sendMsg: EdgeTriplet[VD, ED] =&gt; Iterator[(VertexId, A)],
       mergeMsg: (A, A) =&gt]]></description><category></category></item><item><title><![CDATA[scala语法总结——abstract抽象类]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107702244</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107702244</guid><author>wAwT13zA</author><pubDate>Thu, 30 Jul 2020 22:29:42 +0800</pubDate><description><![CDATA[scala中可以用abstract来定义一个抽象类，抽象类不可以被创建对象，只可以被继承
下面总结几个关键点：

如果抽象类中的属性没有赋值，那么子类中一定要重写父类中的属性，如果父类中的属性时val定义的，那么子类中重写的属性必须要加override关键字，如果是var定义的可以不用加override（推荐都加上override）
如果抽象类中的方法没有方法体，那说明该方法时抽象方法，被子类继承时需要重写所有的抽象方法，可以不用加override（推荐都加上），如果子类想要重写父类中的普通方法，那么必须要]]></description><category></category></item><item><title><![CDATA[Scala函数语法——implicit 隐式参数、隐式函数、隐式类]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107629261</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107629261</guid><author>wAwT13zA</author><pubDate>Tue, 28 Jul 2020 11:01:53 +0800</pubDate><description><![CDATA[我创建两个scala文件，Impliciteg用来定义隐式，ImplicitDemo用来做隐式转换
ImplicitDemo中需要导入Impliciteg这个包：import com.wang.scala2.Impliciteg._
一、隐式参数
原则：
1.在使用隐式参数是需要先定义一个隐式参数，否则会报错
2.相同类型的隐式参数只能定义一个，否则会产生异义，会报错
3.隐式参数如果不重新赋值他会默认用声明的
//定义隐式参数
implicit val num1:Int=10
def fun(implic]]></description><category></category></item><item><title><![CDATA[Hive的调优]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107617500</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107617500</guid><author>wAwT13zA</author><pubDate>Mon, 27 Jul 2020 22:38:18 +0800</pubDate><description><![CDATA[本地模式

-- 通过以下设置开启本地模式
SET hive.exec.mode.local.auto=true; --default false 
SET hive.exec.mode.local.auto.inputbytes.max=50000000; 
SET hive.exec.mode.local.auto.input.files.max=5; --default 4

Job必须满足以下条件才能在本地模式下运行

Job总输入大小小于 hive.exec.mode.local.auto. i.]]></description><category></category></item><item><title><![CDATA[Hadoop总结之HDFS-Client端向HDFS中读写数据的流程]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107600224</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107600224</guid><author>wAwT13zA</author><pubDate>Sun, 26 Jul 2020 21:54:13 +0800</pubDate><description><![CDATA[一、Client向HDFS中存入数据

1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2.NameNode返回是否可以上传。不能上传会返回异常。
3.确定可以上传，客户端请求第一个 block上传到哪几个datanode服务器上。
4.NameNode返回3个datanode节点，假定分别为dn1、dn2、dn3。
5.客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求]]></description><category></category></item><item><title><![CDATA[Sqoop数据迁移用法详解]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107531952</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107531952</guid><author>wAwT13zA</author><pubDate>Thu, 23 Jul 2020 13:19:58 +0800</pubDate><description><![CDATA[安装sqoop文档见之前的Sqoop数据迁移安装详细教程
准备工作
一、MySQL -》HDFS
需要导入两个jar包
cp /data/java-json.jar /opt/soft/sqoop-1.4.6-cdh5.14.2/lib/

使用where过滤

sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table orders \
--where "]]></description><category></category></item><item><title><![CDATA[Sqoop数据迁移安装详细教程]]></title><link>https://blog.youkuaiyun.com/wAwT13zA/article/details/107531472</link><guid>https://blog.youkuaiyun.com/wAwT13zA/article/details/107531472</guid><author>wAwT13zA</author><pubDate>Thu, 23 Jul 2020 11:01:11 +0800</pubDate><description><![CDATA[一、sqoop安装
安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境。
1.1 下载并解压

上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中
解压 sqoop 安装包到指定目录， tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/soft/
重命名mv /opt/soft/sqoop-1.4.6-cdh5.14.2/ /opt/soft/sqoop146
配置环境变量]]></description><category></category></item></channel></rss>