<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wql_zero的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wql_zero</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wql_zero]]></copyright><item><title><![CDATA[hadoop3.x集群安装]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/103848473</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/103848473</guid><author>wql_zero</author><pubDate>Sun, 05 Jan 2020 22:34:27 +0800</pubDate><description><![CDATA[Hadoop版本



Hadoop集群节点分配



Hadoop3.x端口变化



1：安装系统

2：确定hostname


[root@bigdata1 jdk]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master

3：设置网络

4：设置hosts


[root@bigdata1 jdk]# cat /etc/...]]></description><category></category></item><item><title><![CDATA[Dubbo之ExtensionLoader源码分析]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/103728990</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/103728990</guid><author>wql_zero</author><pubDate>Fri, 27 Dec 2019 11:31:23 +0800</pubDate><description><![CDATA[代码入口


ServiceConfig类

private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();
最终返回的结果：
Protocol$Adaptive

方法调用流程图





getExtensionLoader源...]]></description><category></category></item><item><title><![CDATA[Dubbo 服务订阅源码分析]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/103718008</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/103718008</guid><author>wql_zero</author><pubDate>Thu, 26 Dec 2019 16:36:50 +0800</pubDate><description><![CDATA[Dubbo 服务引用的时机有两个：

第一个是在 Spring 容器调用 ReferenceBean 的 afterPropertiesSet 方法时引用服务

第二个是在 ReferenceBean 对应的服务被注入到其他类中时引用。

这两个引用服务的时机区别在于，第一个是饿汉式的，第二个是懒汉式的。默认情况下，Dubbo 使用懒汉式引用服务。

如果需要使用饿汉式，可通过配置 &lt;dub...]]></description><category></category></item><item><title><![CDATA[Sqoop import OR export]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88848060</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88848060</guid><author>wql_zero</author><pubDate>Wed, 27 Mar 2019 16:15:49 +0800</pubDate><description><![CDATA[数据来源：
1：关系性数据库 sqoop(Sql To Hadoop)
2：文件（Flume实时抽取数据）

任务调度：Oozie

hadoop生态系统中重要的框架，需要监控(统一WEB UI界面)

1：下载Sqoop

官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

Sqoop依赖于hadoop，Sqoop底层实现就是M...]]></description><category></category></item><item><title><![CDATA[ubuntu编译hadoop2.7问题]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88592764</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88592764</guid><author>wql_zero</author><pubDate>Sat, 16 Mar 2019 10:07:40 +0800</pubDate><description><![CDATA[wql@wql-pc:~/app$ sudo apt-get install libssl-dev
正在读取软件包列表... 完成
正在分析软件包的依赖关系树 
正在读取状态信息... 完成 
有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是
因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件
包尚未被创建或是它们已被从新到(Inc...]]></description><category></category></item><item><title><![CDATA[将本地项目传入gitHub中]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88528286</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88528286</guid><author>wql_zero</author><pubDate>Wed, 13 Mar 2019 11:02:10 +0800</pubDate><description><![CDATA[具体步骤如下：

1:git init
2:git status
3:git add -A
4:git commit -m 'init'
5:github上创建项目目录(项目名与本地项目名一致)
6：git remote add origin https://github.com/wangqinli123/sca_log_parse.git 
7:git fetch
8:git pull ori...]]></description><category></category></item><item><title><![CDATA[Hive之JDBC连接数据库]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88508206</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88508206</guid><author>wql_zero</author><pubDate>Wed, 13 Mar 2019 06:59:49 +0800</pubDate><description><![CDATA[package com.itheima.hadoop.hive;

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveJdbc...]]></description><category></category></item><item><title><![CDATA[Hive客户端连接]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88508045</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88508045</guid><author>wql_zero</author><pubDate>Wed, 13 Mar 2019 06:58:44 +0800</pubDate><description><![CDATA[Hive连接方式：
cd /home/wql/app/apache-hive-1.2.2-bin/bin;
nohup hiveserver2 1&amp;gt;/home/wql/app/logs/hiveserver.log 2&amp;gt;/home/wql/app/logs/hiveserver.err &amp;amp;
wql@wql-pc:~/app/apache-hive-1.2.2-bin/bin$...]]></description><category></category></item><item><title><![CDATA[Hive查询实例]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88396054</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88396054</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 16:03:17 +0800</pubDate><description><![CDATA[数据查询：
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
  FROM table_reference
  [WHERE where_condition]
  [GROUP BY col_list]
  [ORDER BY col_list]
  [CLUSTER BY col_list
    | [DISTRIBUTE BY co...]]></description><category></category></item><item><title><![CDATA[Hive数据导出导入操作]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88396019</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88396019</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 16:02:12 +0800</pubDate><description><![CDATA[1:导入数据进入到Hive表：
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

实例：
1）加载本地数据到Hive表：
load data local inpath '/home/wql/app/hData/em...]]></description><category></category></item><item><title><![CDATA[Hive分区表]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88395903</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88395903</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 15:59:37 +0800</pubDate><description><![CDATA[分区表：

分区表实际上就是对应一个HDFS文件系统上独立的文件夹，该文件夹下是该分区所有的数据文件，Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集；

在查询时通过where子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多；

CREATE EXTERNAL TABLE IF NOT EXISTS default.emp_partition(
e...]]></description><category></category></item><item><title><![CDATA[Hive内部表&外部表]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88395852</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88395852</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 15:58:27 +0800</pubDate><description><![CDATA[内部表&amp;amp;外部表

未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；
区别：
内部表数据由Hive自身管理，外部表数据由HDFS管理；
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；
删除内部...]]></description><category></category></item><item><title><![CDATA[Hive基本操作]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88395754</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88395754</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 15:56:40 +0800</pubDate><description><![CDATA[创建表：
create table person(id bigint,name string,age bigint) row format delimited fields terminated by &quot;,&quot;;

导入数据：
load data local inpath '/home/wql/app/hData/person.txt' into table person;
load data i...]]></description><category></category></item><item><title><![CDATA[@Data 注解引出的 lombok]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88395531</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88395531</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 15:51:12 +0800</pubDate><description><![CDATA[官网：https://projectlombok.org/features/all

注解类型：

val : 和 scala 中 val 同名, 可以在运行时确定类型;

@NonNull : 注解在参数上, 如果该类参数为 null , 就会报出异常, throw new NullPointException(参数名)

@Cleanup : 注释在引用变量前, 自动回收资源 默认调用 cl...]]></description><category></category></item><item><title><![CDATA[springBoot之NoSQL(Elasticsearch)]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/88394938</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/88394938</guid><author>wql_zero</author><pubDate>Mon, 11 Mar 2019 15:36:41 +0800</pubDate><description><![CDATA[@Resource和@Autowired

@Resource的作用相当于@Autowired，只不过@Autowired按byType自动注入，而@Resource默认按 byName自动注入罢了。@Resource有两个属性是比较重要的，分是name和type，Spring将@Resource注解的name属性解析为bean的名字，而type属性则解析为bean的类型。所以如果使用name属性...]]></description><category></category></item><item><title><![CDATA[logstash + kafka]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/86105966</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/86105966</guid><author>wql_zero</author><pubDate>Tue, 08 Jan 2019 23:11:28 +0800</pubDate><description><![CDATA[logstash和kafka整合首先要注意软件版本之间的兼容性；

logstash 2.3.1

kafka 2.11-0.8.2.2

第一步：启动zookeeper

cd /home/wql/app/zookeeper-3.4.10

./bin/zkServer.sh start

第二步：启动kafka

cd /home/wql/app/kafka/bin

nohup ./kafk...]]></description><category></category></item><item><title><![CDATA[Spark Streaming之容错性]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/86102347</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/86102347</guid><author>wql_zero</author><pubDate>Tue, 08 Jan 2019 22:03:37 +0800</pubDate><description><![CDATA[为了保证系统的高容错性，Spark Streaming期初考虑到如下情况：

1：利用spark本身的容错设计，存储级别（MEMORY_AND_DISK_2）和RDD抽象设计能够处理集群中任何Worker节点的故障；

2：由于spark运行多种运行模式，器Driver端可能运行在Master节点或者在集群中的任意节点上，这样让Driver端具备容错能力是一个很大的挑战，但是由于SparkStre...]]></description><category></category></item><item><title><![CDATA[Spark Streaming之Receive分发]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/86033333</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/86033333</guid><author>wql_zero</author><pubDate>Mon, 07 Jan 2019 22:51:54 +0800</pubDate><description><![CDATA[以Socket为例，SocketInputDStream对应的流数据接收器为SocketReceiver，在SocketInputDStream中通过getReceiver方法获取该流数据接收器：





在StreamingContext启动过程中，ReceiverTracker会把流数据接收器Receiver分发到Executor上，在每个Executor上，由ReceiverSuper...]]></description><category></category></item><item><title><![CDATA[SpringBoot+Mybatis]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/86026884</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/86026884</guid><author>wql_zero</author><pubDate>Mon, 07 Jan 2019 21:09:35 +0800</pubDate><description><![CDATA[第一种方式：使用XML构建SqlSessionFactory（工作中常见）

1：构建POJO


public class User {

    private int id;
    private String name;
    private int age;
    private String describe;
    private float height;

    pub...]]></description><category></category></item><item><title><![CDATA[代码坏味道]]></title><link>https://blog.youkuaiyun.com/wql_zero/article/details/81119877</link><guid>https://blog.youkuaiyun.com/wql_zero/article/details/81119877</guid><author>wql_zero</author><pubDate>Thu, 19 Jul 2018 17:42:45 +0800</pubDate><description><![CDATA[22中常见的代码坏味道

 

Duplicated Code(重复代码)

解决方式：

1：同一个类的两个函数含有相同的表达式,采用Extract Method；

2：两个互为兄弟的子类中内含有相同的表达式,采用Extract Method,然后在对提炼出来的代码使用Pull Up Method,将他推入超类中；

3：两个毫无关系的类出现代码重复,应该考虑对其中一个类使用Extract M...]]></description><category></category></item></channel></rss>