上善若水211-优快云博客

原创 SpringAop

DefaultAopProxyFactory@Override public AopProxy createAopProxy(AdvisedSupport config) throws AopConfigException { if (config.isOptimize() || config.isProxyTargetClass() || hasNoUserSuppliedProxyIn...

2019-05-29 14:14:45 272

原创有返回值、可取消的异步任务--Future

有返回值、可取消的异步任务–Future之前线程池执行的任务是没有返回值的，但这种有返回值的Future任务，可以适应更多的场景。取消：boolean cancel(boolean mayInterruptIfRunning);if(!future.isCancelled()){ future.cancel();} 返回值：V get() throws InterruptedExc...

2019-04-24 17:55:17 1053

原创微服务

springcloud一种以微服务为基础的分布式架构eruke-server微服务监控中心、注册中心、发现中心eruke-client服务生产者：微服务client,将服务注册到注册中心服务消费者：微服务client,从注册中心消费服务微服务消费方式有几种客户端发现模式：由客户端实现负载均衡，决定最后到底调用哪个实例服务端发现模式：将负载均衡模块独立部署到服务端所在...

2018-11-18 10:40:41 560

优点：1.自增，趋势自增，可作为聚集索引，提升查询效率2.节省磁盘空间。500W数据，UUID占5.4G,自增ID占2.5G.3.查询，写入效率高：查询略优。写入效率自增ID是UUID的四倍。缺点：1.导入旧数据时，可能会ID重复，导致导入失败。2.分布式架构，多个Mysql实例可能会导致ID重复。总结：1.单实例，单节点，由于InnoDB的特性，自增ID效率大于UUID.2.20个节点一下小型分...

2018-07-10 17:26:19 14384 1

原创 logger打印日志

log4j中输入信息的级别有debug,info,warn,error,fatal 5个级别他们对应的是输出信息的级别,级别越低信息输入越详细.使用debug级别的时候,info中的信息也能输出使用info的时候,debug对应的信息显示不出来一般在开发的时候使用debug, 开发完成后使用error 在实际应用中有很多库的信息都是由debug打印出来，所以如果你打开debug模式的话会看到

2017-12-27 16:16:29 1335

原创单节点hadoop安装

版本：hadoop-2.6.0-cdh5.7.0.tar.gzhadoop下载安装下载 : cdh5 解压配置环境变量：vi ~/.bash_profile 生效环境变量文件：source ~/.bash_profile 检测 : $HADOOP_HOME配置文件：配置文件目录：cd etc/hadoop 1.hadoop-env.s

2017-12-14 11:22:03 399

原创 Spark-Flume整合--Pull

第二种sparkStreaming 整合Flume flume采用 netcat-memory-customer sink架构本地测试 1：本地启动sprakStreaming服务，（192.168.145.128 10000） 2. 服务器中启动flume agent 3. telnet往端口中输入数据，观察本

2017-12-14 11:20:42 339

原创 flume-Spark整合-push方式

第一种sparkStreaming 整合Flume flume采用 netcat-memory-avro架构本地测试 1：本地启动sprakStreaming服务，（0.0.0.0 10000） 2. 服务器中启动flume agent 3. telnet往端口中输入数据，观察本地idea控制台输出数据

2017-12-14 11:17:50 552

原创 flume-kafka整合--实时日志采集

flume采用架构 exec-source + memory-channel + avro-sink avro-source + memory-channel + kafka-sinkkafka采用架构启动zookeeper zkServer.sh start 启动kafka(启动一个“篮子”) kafka-server-start

2017-12-14 11:15:31 683

原创 Spark Streaming

spark-submit的使用（生产环境使用） nc -lk 9999 :监听9999端口spark-submit --master local[2] \--class org.apache.spark.examples.streaming.NetworkWordCount \--name NetworkWordCount \/root/soft_install/spark-2.

2017-12-14 11:11:41 259

原创 spark概述

spark下载安装版本：spark-2.2.0-bin-2.6.0-cdh5.7.0 下载：下载源代码、编译解压配置环境变量：vi ~/.bash_profilespark Streaming 流处理框架，将上一次计算的出参作为下一次计算的入参接受不同数据源的数据 spark Streaming 进行处理后进行存储特点

2017-12-14 11:10:36 266

原创 scala下载

scala下载安装版本：2.11.8 下载: http://www.scala-lang.org/download/2.11.8.html 解压配置环境变量：vi ~/.bash_profile 生效环境变量文件：source ~/.bash_profile 检测 : scala -verisonmaven下载安装版本：3.5.0（其

2017-12-14 11:02:24 1334

原创 kafka概述

kafka架构 producer:生产者 comsumer:消费者 broker:中间人–经纪人 topic:主题、类别 kafka是基于zookeeper进行管理的，所以要先安装zookeeperzookeeper下载安装下载：http://archive.cloudera.com/cdh5/cdh/5/ 版本：cdh5.7.

2017-12-06 21:26:14 276

原创 Lambda expressions are not supported at language level '1.6

IDEA编译器编译版本问题解决办法：

2017-12-06 15:29:25 554

原创日志采集框架--Flume

日志收集框架–flume webServer(源端) –> flume –> hdfs(目的地)flume框架核心组件 source: 日志来源 channel: 渠道，数据处理管道 sink：存储目的地(要下落的地方)jdk下载安装下载：jdk-8-linux-x64.tar.gz 上传：rz 解压：tar -zvxf jdk-8-lin

2017-12-05 14:08:08 1232

原创设计模式之适配器模式

适配器模式就是把一个不能使用的对象转换成一个可以使用的对象，使得系统适应不同的场景。这里的例子是：电脑要通过三项插头充电，但现在只有一个二项插头，所以要new 一个适配器，将二项插头转化成三项插头，从而使得电脑正常充电。在适配器类中加入二项插头的对象，方便对其进行转化。当然实现适配器有继承和组合两种方式，但我们毫无疑问是采用组合的方式实现适配器，组合可以灵活使用，方便适

2017-08-03 14:28:28 218

原创设计模式之代理模式

代理对象被代理对象代理模式分为静态代理和动态代理代理模式就是在一个方法前后加上一些自定义的业务处理 Spring的AOP就是利用了动态代理模式实际应用比如：一张大图片一时半会加载不出来，这时候就可以用代理模式，先用一张图片代替它，登加载出来在替换分布计算方式RMI和Corba等都是Proxy模式的应用静态代理代理类和被代理类都需要实现一个

2017-08-02 13:47:25 390

原创设计模式之单例模式

单例模式其实很简单，就是将构造函数私有化，然后通过自定义一个方法来获得类的实例。单利模式分为饿汉模式、饱汉模式饿汉模式SingletonHungry public class SingletonHungry { private SingletonHungry(){ } private static SingletonHungr

2017-08-01 12:51:21 285

原创设计模式之工厂模式

工厂模式工厂类Factory,负责创建具体的对象接口类shape，所有子类的接口众所周知，java有一个反射机制，根据类名来创建实例对象；工厂模式实际上也实现了这个反射机制，通过工厂类Factory，根据传入的类名来创建对应的实例对象（当然，这里利用了类的向上转型）。工厂类Factory public class Factory { public

2017-07-13 14:22:14 288

原创设计模式之责任链模式

设计模式之责任链模式处理者抽象类Handler 客户对象Customer责任链模式就是客户对象发起一个请求，根据这个请求的具体参数，从责任链中的众多对象中，选择出一个处理者对象来处理这个请求。如何选择出呢？每个处理者对象先判断自己是否可以处理，是的话，就自己处理，中断传递；否的话，就向后继传递请求，一级一级的传递下去。处理者抽象类Handler： publ

2017-07-12 17:27:30 1120

原创设计模式之观察者模式

设计模式之观察者模式观察者对象Observer 目标对象Subject观察者设计模式适用于用户订阅栏目，然后在每次发布新消息的时候自动给订阅用户发送消息。我这里拿天气预报做例子，天气作为目标对象，市民作为观察者对象每次在天气预报更新天气信息后，自动给订阅的市民推送天气预报直接上代码目标对象接口（Observer） public interface Subject {

2017-07-10 15:02:02 297