wql_zero-优快云博客

原创 Dubbo之ExtensionLoader源码分析

代码入口 ServiceConfig类 private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension(); 最终返回的结果： Protocol$Adaptive 方法调用流程图 getExtensionLoader源...

2019-12-27 11:31:23 266

原创 Dubbo 服务订阅源码分析

Dubbo 服务引用的时机有两个：第一个是在 Spring 容器调用 ReferenceBean 的 afterPropertiesSet 方法时引用服务第二个是在 ReferenceBean 对应的服务被注入到其他类中时引用。这两个引用服务的时机区别在于，第一个是饿汉式的，第二个是懒汉式的。默认情况下，Dubbo 使用懒汉式引用服务。如果需要使用饿汉式，可通过配置 <dub...

2019-12-26 16:36:50 524

原创 Sqoop import OR export

数据来源： 1：关系性数据库 sqoop(Sql To Hadoop) 2：文件（Flume实时抽取数据）任务调度：Oozie hadoop生态系统中重要的框架，需要监控(统一WEB UI界面) 1：下载Sqoop 官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html Sqoop依赖于hadoop，Sqoop底层实现就是M...

2019-03-27 16:15:49 286

原创 Spark Streaming之Receive分发

以Socket为例，SocketInputDStream对应的流数据接收器为SocketReceiver，在SocketInputDStream中通过getReceiver方法获取该流数据接收器：在StreamingContext启动过程中，ReceiverTracker会把流数据接收器Receiver分发到Executor上，在每个Executor上，由ReceiverSuper...

2019-01-07 22:51:54 523

原创 SpringBoot+Mybatis

第一种方式：使用XML构建SqlSessionFactory（工作中常见） 1：构建POJO public class User { private int id; private String name; private int age; private String describe; private float height; pub...

2019-01-07 21:09:35 333

原创 hadoop3.x集群安装

Hadoop版本 Hadoop集群节点分配 Hadoop3.x端口变化 1：安装系统 2：确定hostname [root@bigdata1 jdk]# cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=master 3：设置网络 4：设置hosts [root@bigdata1 jdk]# cat /etc/...

2020-01-05 22:34:27 248

原创 ubuntu编译hadoop2.7问题

wql@wql-pc:~/app$ sudo apt-get install libssl-dev 正在读取软件包列表... 完成正在分析软件包的依赖关系树正在读取状态信息... 完成有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件包尚未被创建或是它们已被从新到(Inc...

2019-03-16 10:07:40 353

具体步骤如下： 1:git init 2:git status 3:git add -A 4:git commit -m 'init' 5:github上创建项目目录(项目名与本地项目名一致) 6：git remote add origin https://github.com/wangqinli123/sca_log_parse.git 7:git fetch 8:git pull ori...

2019-03-13 11:02:10 163

原创 Hive之JDBC连接数据库

package com.itheima.hadoop.hive; import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import java.sql.Statement; import java.sql.DriverManager; public class HiveJdbc...

2019-03-13 06:59:49 958

原创 Hive客户端连接

Hive连接方式： cd /home/wql/app/apache-hive-1.2.2-bin/bin; nohup hiveserver2 1>/home/wql/app/logs/hiveserver.log 2>/home/wql/app/logs/hiveserver.err & wql@wql-pc:~/app/apache-hive-1.2.2-bin/bin$...

2019-03-13 06:58:44 934

原创 Hive查询实例

数据查询： SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE BY co...

2019-03-11 16:03:17 558

原创 Hive数据导出导入操作

1:导入数据进入到Hive表： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] 实例： 1）加载本地数据到Hive表： load data local inpath '/home/wql/app/hData/em...

2019-03-11 16:02:12 334

原创 Hive分区表

分区表：分区表实际上就是对应一个HDFS文件系统上独立的文件夹，该文件夹下是该分区所有的数据文件，Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集；在查询时通过where子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多； CREATE EXTERNAL TABLE IF NOT EXISTS default.emp_partition( e...

2019-03-11 15:59:37 180

原创 Hive内部表&外部表

内部表&外部表未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；删除内部...

2019-03-11 15:58:27 188

原创 Hive基本操作

创建表： create table person(id bigint,name string,age bigint) row format delimited fields terminated by ","; 导入数据： load data local inpath '/home/wql/app/hData/person.txt' into table person; load data i...

2019-03-11 15:56:40 141

转载 @Data 注解引出的 lombok

官网：https://projectlombok.org/features/all 注解类型： val : 和 scala 中 val 同名, 可以在运行时确定类型; @NonNull : 注解在参数上, 如果该类参数为 null , 就会报出异常, throw new NullPointException(参数名) @Cleanup : 注释在引用变量前, 自动回收资源默认调用 cl...

2019-03-11 15:51:12 209

原创 springBoot之NoSQL(Elasticsearch)

@Resource和@Autowired @Resource的作用相当于@Autowired，只不过@Autowired按byType自动注入，而@Resource默认按 byName自动注入罢了。@Resource有两个属性是比较重要的，分是name和type，Spring将@Resource注解的name属性解析为bean的名字，而type属性则解析为bean的类型。所以如果使用name属性...

2019-03-11 15:36:41 687

原创 logstash + kafka

logstash和kafka整合首先要注意软件版本之间的兼容性； logstash 2.3.1 kafka 2.11-0.8.2.2 第一步：启动zookeeper cd /home/wql/app/zookeeper-3.4.10 ./bin/zkServer.sh start 第二步：启动kafka cd /home/wql/app/kafka/bin nohup ./kafk...

2019-01-08 23:11:28 579

原创 Spark Streaming之容错性

为了保证系统的高容错性，Spark Streaming期初考虑到如下情况： 1：利用spark本身的容错设计，存储级别（MEMORY_AND_DISK_2）和RDD抽象设计能够处理集群中任何Worker节点的故障； 2：由于spark运行多种运行模式，器Driver端可能运行在Master节点或者在集群中的任意节点上，这样让Driver端具备容错能力是一个很大的挑战，但是由于SparkStre...

2019-01-08 22:03:37 759

原创代码坏味道

22中常见的代码坏味道 Duplicated Code(重复代码) 解决方式： 1：同一个类的两个函数含有相同的表达式,采用Extract Method； 2：两个互为兄弟的子类中内含有相同的表达式,采用Extract Method,然后在对提炼出来的代码使用Pull Up Method,将他推入超类中； 3：两个毫无关系的类出现代码重复,应该考虑对其中一个类使用Extract M...

2018-07-19 17:42:45 914

原创多表关联数据

show variables like 'character_set%'; create table students( id int primary key auto_increment, name varchar(20) ) ENGINE= MYISAM CHARACTER SET utf8; insert into students values(1,"小明"); insert in...

2018-07-19 17:36:11 401

原创 hive创建分区导入数据

create table t_sz01(id int,name string) row format delimited fields terminated by ','; create table if not exists mytable(sid int,sname string) row format delimited fields terminated by ',' stored a...

2018-07-15 09:52:36 1656

原创 HIVE(hive-site.xml)配置

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.76.100:3306/hive?createDatabaseIfNotExist=true</value> <descri...

2018-07-14 00:03:49 13958

原创解决oracle数据库删除sql语句出现^H字样

1：安装readline包 yum install readline* 2：安装源码包： rlwrap-0.30.tar.gz ./configure && make && make install 3：修改oracle用户的环境变量: alias sqlplus='rlwrap sqlplus' alias rman='rlwrap rman'

2017-09-22 21:05:02 682

原创 ORACLE环境变量设置

用oracle帐号登录，配置相关环境变量： vi .bash_profile export ORACLE_BASE=/u01/app/oracle export ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1 export ORACLE_SID=insight export NLS_LANG="SIMPLIFIED CHIN

2017-09-22 20:57:53 996

wql_zero的博客