- 博客(176)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 flink 小技巧记录
一、背景 flink做etl、大宽表、统计过程中有些小细节可以尝试优化，这里简单记录下：二、场景 2.1 允许延迟的数据同步。比如线上订单库binlog同步到查询库，或者简单处理进入分析库，让分析师直接查询明细. 如果吞吐要求大一点，可以开启小批处理。# 这是SQL 参数,具体的根据业务自己调节table.exec.mini-batch.enabled: 'true'table.exec.mini-batch.size...
2021-08-23 17:20:10
2314
1
原创 线程池 allowCoreThreadTimeOut 小知识
关于线程池：allowCoreThreadTimeOut(true) 的小知识点1.背景 检查别人程序发现堆内存2G，但是常驻内存res到3.2G了，经过一系列操作发现线程特别多(1000+), 当然有重复创建线程池的问题。除此之外，由于是数据域应用，为了加速查询，会定时把数据库数据load到缓存，还不部分是应付也个页面N次(20+)查询，希望能支持稍微高一点的并发响应。所以连接池各方面设置比较大。（线程会持续吃RES内存，不释放，默认1M）2.操作 期望线程数减少，定时任务用了线程线程之后，
2020-06-16 20:57:35
10041
hive udf 唯一bigInt 生成器
一、背景 mysql数据由于自增的bigint 主键，会插入更快，因为能持续往文件末尾插入嘛，因此需要这个东西。 然后呢，服务端有专门生产id的接口，但是数据中心批量插入，肯定会拉暴他们，不让我们一起玩，只能自己玩。 二、方案 1.redis 获取数据段，程序内部自增。 问题：要用外部redis麻烦，而且要持久化...
2018-03-08 17:31:42
1180
原创 snappy,lz4 的对比
1.介绍bzip2：一个完全免费，免费专利和高质量的数据压缩LZ4 ：非常快速的压缩算法LZHAM ：无损压缩数据库，压缩比率跟LZMA接近，但是解压缩速度却要快得多。LZMA ：7z格式默认和通用的压缩方法。LZMAT ：及其快速的实时无损数据压缩库Snappy ：快速压缩和解压缩ZLib ：非常紧凑的数据流压缩库ZZIPlib：提供ZIP归档的读权限这里主要看看snappy 和LZ4 的对比...
2017-09-25 16:47:49
7802
spark shuffer介绍，和操作
一.序言 简单copy下来的，记录一下，翻译有问题 请指出。 Shuffle operations<!--?xml version="1.0" encoding="UTF-8" standalone="no"?-->Certain operations within Spark trigger an event known as the shuffle. ...
2016-09-25 18:36:44
455
spark-sql应用
一.序言 这里介绍一下我们对spark-sql 的一些简单应用。 二.业务描述 我们需要对大量数据进行分析，包含历史的数据，传统数据库即使用分库分表的中间件，也只能满足基本查询，对于多表关连的分析是不太友好的，因此我们将数据放到hadoop集群，但是并不是所有的JAVA 程序员都能对hadoop 或者hive 进行开发，为了屏蔽这种差异，因此我们在几个分析软件...
2016-03-03 21:32:39
276
原创 Cloudera-hadoop 离线安装
一.序言 这里将介绍Cloudera-hadoop(CDH) 5.5.1的安装，简单布置 我环境是：CentOS 6.5 mysql5.6 jdk1.7 机器3台：hadoop1006,hadoop1007,hadoop1008 主要是内存配置：主节点要求 最好10G ，如果你东西都装主节点。 其他：已经打通ssh 免登陆，S...
2016-01-05 11:57:44
234
sqoop 数据导入脚本
一.序言 简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。 sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因，sqoop 没有升级到2~。~ 二.简单步骤 1.base_import.sh : 集中配置一些链接信息，和公共参数，并引入其他脚本执行 2.base_c...
2015-09-29 10:56:56
705
数据可视化:Zeppelin+spark
一.序言 最近需要常见数据可视化的东西，主要是方便spark-sql ，方便内部操作方便，因此选择了个数据可视化的,hue 和 zepplin ，hue 是比较强大的，但是spark 方便也是孵化状态，是非apache 的， 先尝试下 Zeppelin 部署，最新0.6的不稳定，编译不过去，就用0.5吧。 下载地址：https://github.com/apache/i...
2015-09-09 10:48:23
531
spark笔记2-spark-sql 程序
一.序言 这里介绍用idea 跑程序去连接spark-sql->hive-metastore 的小例子，关于服务器上得保证spark-sql/spark-shell 正确执行，然后再用本地的程序去实现，我这里版本用的spark1.4.1+hive1.2.1+hadoop 2.7.1. 二.连接代码 结合笔记1的代码 2.1 maven 配置：...
2015-09-08 16:01:33
221
spark 笔记1 -- spark程序连接
一.序言 spark 现在用得比较多了，但是开始连接spark 的的时候有些小问题，这里简单记录一下， 我用的spark1.4.1 hadoop2.7 hive1.2.1, 目的想用spark-sql 连接 hive 的metastore,关于集群配置 这暂时不介绍了，例子很多，这里仅仅记录java/scala 连接部分。 二.连接配置 2.1 maven ...
2015-09-07 11:40:07
350
原创 redis sentinel
一.序言 redis 前面介绍了下master-salve ，但是其实它还无法完成故障自动切换的的效果。redis 2.8+ 已经提供了一种相对稳定的机制，防止单点：sentinel ，地址：http://redis.io/topics/sentinel 二.基本功能点 1.Monitor ：它能监控redis 实例是否运行正常 2.Notifi...
2015-08-05 15:14:58
184
jredis cluster客户端使用
一.序言 前面搭建了个3个msater-slave 的本地集群测试，这里用java 的客户端 进行一些简单测试，看看集群是否生效。 redis client 推荐：http://redis.io/clients 我使用的：https://github.com/xetorthio/jedis 二.测试 maven: <de...
2015-07-25 10:53:56
437
redis cluster - 安装
一.序言 前面写了个简单主从，但是3.0后的集群反而一直没配置，先3.0.1 稳定版出来了，准备用用，这里先按照官网搭建一个集群吧，这里是在mac 环境进行的，也仅仅介绍搭建步骤，官网地址：http://redis.io/topics/cluster-tutorial 二.步骤 1.redis 下载 安装的我就省略了，看前面的文章吧。 2...
2015-07-23 14:22:34
150
源码分析-ConcurrentLinkedQueue
一.序言 现在并发操作中都要求高效，都在想怎么去掉直接加锁带来的线程切换的开销，这里分享自己对concurrentLinkedQueue 的部分代码的理解，看看他无锁的原因，了解大神的设计思路。关于 它的工作流程 参考JDK1.6 ：http://ifeve.com/concurrentlinkedqueue/ 本文分析基于JDK 1.7.0_79 二.源码分析...
2015-06-02 11:22:01
136
lockInterruptibly 和 lock
一.序言 ReentrantLock 锁有好几种，除了常用的lock tryLock 等意外，其中有个lockInterruptibly 用的比较少，看了下JDK 说明，官方的东西总是那么不容易理解，这里用稍微通俗的语言来描述一下。 二.栗子 1.我们用张三和李四 吃水果来描述： 如果张三吃苹果->休息5秒->吃香蕉 ...
2015-05-17 11:19:38
369
redis maser-salve
一.序言 现在只要中间件 分布式什么的都要涉及主从来提高读的性能，这里根据官网的说明介绍一些内容给大家，我就不全部翻译了，英文好了直接看原文吧。地址：http://redis.io/topics/replication 二.基本介绍 1.redis 不仅支持master-slave 的复制，同时也支持slave-slave 的复制。 2.如果mast...
2015-04-19 19:45:39
173
原创 [转]大型互联网架构概述
一.序言 以前一转过一些文章，这里博主写以及文中的一些链接，都挺好的，转给大家 原文地址：http://my.oschina.net/geecoodeer/blog/202693 本文旨在简单介绍大型互联网的架构和核心组件实现原理。 理论上讲，从安装配置，最佳实践以及源码来剖析各个组件，这个自然是极好的。由于笔者时间以及知识有限，有很多知识没有在工作中亲自实践的机会。...
2015-04-16 10:48:49
170
spring-redis
一.序言 这里简单介绍spring-redis 的例子，官网介绍的：http://projects.spring.io/spring-data-redis/#quick-start 二.小例子 1.MAVEN 配置，因为是子工程，版本和日志之类的，自己搞定吧~。~ <!-- 3.0 没出来- -先用2.7吧 -->...
2015-04-15 16:14:23
139
原创 redis 安装（MAC）
一.序言 这是以redis 3.0 为基础，从官网来的基础安装步骤。官网地址：http://redis.io/download github介绍：https://github.com/antirez/redis 基础学习：http://try.redis.io/ 二.安装步骤 教程地址：http://redis.io/topics/qu...
2015-04-13 21:25:42
172
原创 activemq 集群master-salve
一、序言 作为一种中间件，很多系统都会依赖它，因此几乎所有的中间件都会考虑挂掉怎么办？压力过大怎么办？因此都得考虑容错以及水平伸缩的问题。 所谓的分布式 集群 Master-Slave 等等概念就由此而生了，他主要是为了高可用性、负载均衡来分摊压力 等效果,这里介绍AMQ 的集群概念和配置。 二、场景描述： 1.如果broker 挂了，那么我们整个依赖...
2015-04-01 15:50:01
185
原创 activem 消息选择器Selector
一、序言 消息大多数情况都是发送到broker 的，在知道Destination 的情况下，都可以消费，因此有些情况下需要我们将消息分组、隔离，或则指定A消息，只能有A消费者消费等等情况，这里做个大概的介绍和实例。 二、实例场景 我们通过有时候我们需要一个queue/topic 通道，然后发送消息，但是我们要对不同消费者接受的消息进行限制，或者说过滤，就...
2015-03-27 15:27:16
350
原创 activemq 应答模式
一、序言 JMS 用于系统解耦有一定帮助，像我们 iteye 的一些系统消息，可能非重要要消息，就没那么严格的限制，统一异步发送就行了，反正上线你就能看到。有些情况下我们需要消息两端进行确认，比如一些比较重要的金额之类的信息。 二、实例场景 我们ERP系统中的财务模块是分开的，当成一个单独的财务系统，那么从ERP那么那送的财务信息，或者财务系统接收了，需...
2015-03-20 13:47:33
538
原创 soa-dubbo
一、序言 现在互联网应用很多，每个应用又以服务的形式提供给其他应用，这样颗粒度比较细，相互影响就会减低，因此提供了很多SOA 的一些RPC的框架，比如：dubbo 、webservice、GRPC、dubbo、commonRPC等，这里先提供一个dubbo 的实例。 二、dubbo 基本工作原理 来源：http://alibaba.github.io/d...
2015-03-12 19:29:27
138
原创 Maven 打jar ，instanll
一、序言 有些情况下，我们需要将公共的工程，或者公共的接口打成jar,然后上传到公共仓库，让其他工程共用，这里我模拟dubbo 的，写一个简单接口工程，然后打成jar,让其他工程使用。 二、实践 1.用idea 建立一个maven 工程，目录结构src->main->java 2.在Java 下面建立一个接口 和一个静态类，并且作为...
2015-03-11 21:02:15
241
原创 ubuntu 基础环境
一、序言 这里记录了安装ubuntu 系统，以及里面常用的东西，jdk,idea,maven,svn,git 等等工具的安装，因为这些动作不是经常操作的，因此这里做一个记录，方便新手或者忘记的时候看看。 二、JDK 安装 1.关于ubuntu 的安装，我这里不介绍了，用的是U盘启动的方式，版本是14.1，直接从官方网站下下来，我8G内存，用的64位的系统...
2015-03-11 14:16:08
219
spring+activemq(4)-异步消息限流
一、序言 有时候我们追求最快的方式发送消息，我们就采用的异步方式，并且不持久化。但是这样带来的问题有这样几个： 1.如果消费者的消费能力低于生产者，那么消息就会积压在broker, 从而导致broker 可能挂掉。 2.我们知道存放内存的模式，只要出现宕机或者其他问题，容易丢消息，因此得看情况而定 对于问题1...
2015-03-10 17:27:56
986
原创 JAVA 应用性能监控基础
一、序言 这里简单介绍了JAVA 应用程序部署linux 服务器上的一些常用监控信息，虽然现在很多自动化监控的东西，但是一些基本的东西，我们还是需要了解。这里是简单记录一下： 二、操作过程 1.我习惯性先看看 CPU 和内存的使用情况，做一个简单的关注 命令：top 可以关注运行状态 命令：大写P：按CP...
2015-03-09 15:22:51
154
原创 定时分割文件脚本
一、序言 这里有个任务，通过每天用户的登录日志文件，对固定信息进行切割，然后保存到新的文件，并上传到另外的服务器进行处理。 二、日志信息： 当天的日志文件名：webapp-login.log 日志主要内容： [INFO ] [16:09:31] LOGIN - 张三(803521136) - pramms_xxxxxxxxx[INFO ] ...
2015-03-05 20:34:08
318
原创 zookeeper windows 入门安装和测试
一、序言 以下是我对zookeeper 的一些理解： zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。 栗子1号： 假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视我KTV 的情况吧，是不是有人打架，或者发生火灾什么的，这时候我会给设置一个视频监控，然后每一家都连接到我的视频监控...
2015-01-04 20:27:06
618
原创 【转】如何合理地估算线程池大小？
原文地址：http://ifeve.com/how-to-calculate-threadpool-size/感谢网友【蒋小强】投稿。如何合理地估算线程池大小？这个问题虽然看起来很小，却并不那么容易回答。大家如果有更好的方法欢迎赐教，先来一个天真的估算方法：假设要求一个系统的TPS（Transaction Per Second或者Task Per Second）至少为20，然后假设...
2014-12-24 12:25:10
159
spring xmemcached 注解介绍
一、序言 前面介绍了下simple-spring-memcache 的一些基本配置，这里就介绍下 一些注解和简单场景的试用。 二、基本场景和注解使用 2.1.通过 userId 返回数据，先从数据库查询，然后缓存，以便后面直接从缓存获取 @ReadThroughSingleCache @ReadThroughSingleCac...
2014-12-23 18:04:03
189
原创 simple-spring-memcached 注解配置
一、序言 有了缓存，还是喜欢用注解去使用，本想和spring 写一个类似ehcache 的东西，后来发google 已经提供了spring 和memcache 的 注解配置，那就先拿来用用了~。~。 二、基本配置： 2.1 先把spring 和 memcached 结合起来，创建一个spring-xmemcached.xml 的文件 ...
2014-12-22 21:15:27
274
memcache windows 基本安装和测试
一、序言 这里先简单介绍下memcache 缓存在windows 上的安装 以及应用，然后再进行一些简单的测试，客户端用是xmemcached ，因为业界整体效果不错 1.先现在windos 64 位的，我是win8， 参考：http://blog.couchbase.com/memcached-windows-64-bit-p...
2014-12-19 17:15:13
218
spring+activemq - demo3-topic 持久化订阅
一、序言 demo2 留下了两个问题： 1.我们利用demo2 的配置，在queue 模式下 连续发送10W消息出现出现状况。 2.topic 模式下，消费者重启时间段收不到监听的信息怎么办？ 二、问题解析： 1.测试 发送10W消息，中途会出现 socket: tcp://localhost:61616...
2014-12-17 18:26:13
396
原创 activemq topic demo
这里仅仅记录下topic 模式的的消息情况： import org.apache.activemq.ActiveMQConnection;import org.apache.activemq.ActiveMQConnectionFactory;import javax.jms.*;import java.io.Serializable;...
2014-12-12 13:54:39
157
原创 spring+activemq - demo2- QUEUE和TOPIC 实现
一、序言 JMS 相关的东西已经出来了很久，本想使用阿里的rocketMQ 发现很多没遵循JMS 规范，暂时就用用activeMq,做一些常用的系统解耦 协同工作，这里还是和spring 进行集成，spring 和JMS 配合还是挺好的。 二、场景 A系统产生了一笔订单，那么我们其他B C 系统会拿到订单的基本信息，然后进行金额的计算 以及 用户资料的分...
2014-12-12 13:53:50
174
原创 spring +ehcache 持久化数据，重启恢复
今天有个需求，要求用户登录的时候展示一些信息，但是这些信息跨系统反复调用，比较慢，因此做数据缓存。有些系统不大，就ehcache 就可以了。但是因为有个子系统发布比较平凡，不希望重启之后缓存数据丢失，因此做持久化处理。框架是jfinal+spring+ehcache ，东西没啥区别。 下面是遇到的几个问题： 1.同一个类里面，A方法 ...
2014-12-08 17:24:22
4793
1
原创 [转]李平：大型网站的灵魂——性能
这篇文章，可以对才入换联网，还没形成整体概念的人，提供一些基础入门，特别从请求开始到结束部分，了解了解 还是不错的。原文地址：http://www.youkuaiyun.com/article/2014-09-30/2821940 什么是性能有人说性能就是访问速度快慢，这是最直观的说法，也是用户的真实体验。一个用户从输入网址到按下回车键，看到网页的快慢，这就是性能。对于我们来说，需要去挖掘这...
2014-10-24 14:45:48
353
空空如也
父类 静态方法 如何知道 是哪个从哪个子类进行调用？
2015-08-03
springmvc 入门 问题
2013-04-26
strust2 通过 属性赋予值，action 想获得list 对象集合，怎么获取
2012-11-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人