jokelyli-优快云博客

原创 spark streaming 提交offset不是你想的那样

背景：需要用streaming+kafka消费一批数据，数据处理的过程中可能会有一些问题，导致没有消费成功，所以想记录每个分区消费的offset，在创建createDirectStream的时候指定offset。测试过程中发现除了第一次指定的offset生效外，后续依然会从untilOffset消费，并非自己手动提交的offset位置。通过扒源码发现是自己对offset的理解...

2020-04-01 18:05:50 1644

原创后端生成PDF一些工具

大致分为以下几种1.利用PDF模板，读入模板，填充数据，生成带数据的PDF先要生成自己的PDF模板，然后在模板中定义变量，等待代码填充变量值。优点:代码简单；缺点：模板要先提供，表单域的变量只能是name，age这样的简单变量，而不能是user.name，user.age这样的复杂变量；而且这种生成PDF的方式要自己制作表单的时候就设计好那一块应该放什么，样式扩展性很差，不灵活...

2020-03-30 16:03:09 3074

原创 MultiThreadedHttpConnectionManager遇到的坑

先说背景，使用的是commons-httpclient 3.1版本封装的HttpUtils，请求一个失效的url。设置了重试大小3次，因为是失效的url，所以应该重试3次直接退出。但是现象是重试了两次后，第三次一直等不到结果，并且请求不会超时，不会中断，任务一直卡着。附有问题的代码初始化client部分 privatestaticHttpClient client ...

2019-11-06 15:27:34 4352

原创 elasticsearch 分页问题

elasticsearch分页分为两种：浅分页和深分页首先来看下浅分页实现方式就是from和size控制假如查询的索引有5个分片，from=0 size=10，此时es会将查询节点请求分配到其余分片所在节点。其余节点会返回自己数据结果集中的top10，然后返回给请求节点。请求节点接受到的数据集就有5*10个大小，然后再从中选取top10个返回。

2017-07-19 15:48:12 1553

原创 es 构造dsl性能优化点记录

1 regexpFilter或者wildcardQuery之类的模糊查询，本身的性能不高，因为有可能会触发多次匹配操作，尤其是避免以*或者.*开始，性能会有瓶颈

2017-07-14 15:38:24 1171

原创 Es对Date类型的处理

当我们想要存储一个业务bean的时候，一般都会添加createTime,updateTime字段。如果使用数据库，我们一般会将时间字段设计为Date类型，但是如果是使用es，倘若不了解其底层机制，那么会遇到一些意向不到的问题。我们先看一下es是如何对Date类型处理的，代码如下： private void writeValue(Object value) throws IOExcept

2017-07-05 10:50:18 35967

原创多数据更新冲突处理机制

一背景在做一个数据合并项目的时候，遇到了多数据源更新同一数据，导致并发更新冲突的问题。具体场景是，有一个数据实时采集服务，然后通过数据merge服务，完成最终的数据合并操作。但是在做合并操作时，有可能会存在并发冲突，后一个线程将前一个线程刚处理后的字段给覆盖。当时的存储引擎是es，虽然es本身自带版本控制功能，但是由于es自身的刷新时间间隔，以及项目本身设置的刷新时间较长（场

2017-07-04 18:08:06 1626

原创 subString（） jdk1.7改进

String b = a.subString(2); JDK6中通过观察源码发现b虽然创建了一个新的对象，但是value[]属性域仍然指向原来的a所指向的字符数组，只是重新定义了起始位置以及长度。原因是为了避免内存拷贝、加快速度。但如果有一个"非常"长的字符串,每次使用substring()时只想要很小的一部分,那么将会引起另一个性能问题: 虽然只需要很小的一部分,但是持有了整个v

2015-11-11 14:38:05 617

转载 C语言单链表实现19个功能完全详解

#include "stdafx.h"#include "stdio.h"#include #include "string.h" typedef int elemType ; /************************************************************************//* 以下是关于线

2014-11-01 22:09:30 524

转载 java并发编程-Executor框架

Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类，其中包括线程池，Executor，Executors，ExecutorService，CompletionService，Future，Callable等。他们的关系为：并发编程的一种编程方式是把任务拆分为一些列的小任务，即Runnable，然后在提交给一个Executor执

2014-10-22 10:51:44 598

原创并发线程有关问题

我记得当年本科在写聊天室系统的时候

2014-10-21 09:25:46 469

转载 HttpClient 学习整理

HttpClient 是我最近想研究的东西，以前想过的一些应用没能有很好的实现，发现这个开源项目之后就有点眉目了，令人头痛的cookie问题还是有办法解决滴。在网上整理了一些东西，写得很好，寄放在这里。HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java.net 包中

2014-03-12 14:48:33 557

转载 HttpClient入门

HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient，然后根据作者实际工作经验给出了一些常见问题的解决方法。HttpClient简介HTTP 协议可能是现在 In

2014-03-12 10:11:39 566

转载关于Java中的可变与不可变类

所谓不可变类，是指当创建了这个类的实例后，就不允许修改它的属性值。在JDK的基本类库中，所有基本类型的包装类，如Integer和Long类，都是不可变类，java.lang.String也是不可变类,虽然他不是基本类型。如:String var = "abcd";Long i = 0L;我们知道,当声明一个变量的时候,变量名实际上是该对象的指针;而我们在函数中传递该变量

2014-03-04 19:46:29 786

转载 myeclipse修改乱码（编码格式修改）

一、设置新建常见文件的默认编码格式，也就是文件保存的格式。在不对MyEclipse进行设置的时候，默认保存文件的编码，一般跟简体中文操作系统（如windows2000，windowsXP）的编码一致，即GBK。在简体中文系统下，ANSI 编码代表 GBK编码;在日文操作系统下，ANSI 编码代表 JIS 编码。 Window-->Preferences-->General

2014-03-04 14:43:06 624

原创我的阿里，百度面试经

鉴于很多同学都问我有关面试的问题，作为一个乐于分享的人来说，我就把我的经历和大家汇报一下吧。两次面试都是通过师兄的内推，好处是不用笔试了（对于一个不善于考试的我来说，这着实是一个很大的福利啊）。废话不多说，直接上真家伙。阿里一面过了，二面光荣挂掉，百度很幸运，顺利通过二面，拿到实习生offer。因为当时阿里的面试在前，可以说是一点经验都没有，想着自己平时项目啊，知识储备神马的还行，所

2014-03-04 13:37:30 1438

转载安装myeclipse8.5版 fatjar包遇到的问题

Myeclipse8.5本身有一个打包的工具,但是不能将别的jar文件也一起打包进来. fat-jar能够很好的解决上述问题。fat-jar它是sourceforge.net下的一个开源工具从http://sourceforge.net/projects/fjep地址可以下载该工具，下载完成后是一个zip压缩包，解压后将plugins文件夹下的net.sf.fjep.fatjar_0.0.27

2013-12-10 22:07:50 831

原创 NumberFormatException

今天在调试Hadoop程序的时候，提示NumberFormatException:for input string ""异常一直找不到是什么问题最后发现居然是路径写错了现在都没搞清为什么会出现这个错误提示

2013-11-29 20:41:28 1812

原创 hadoop读取文件java.io.EOFException解决

今天调试hadoop读取文件系统的时候遇到了一个java.io.EOFException异常原始代码String path="hdfs://master:9000/user/hadoop-0.20.2/tmp/7-0-initial-docid"; FileSystem fs = FileSystem.get(URI.create(path), context.getConfigur

2013-11-28 21:19:02 5383

JWS jar包和测试程序

包含jws所需的jar包 edu.mit.jwi和edu.sussex.nlp.jws.beta.11以及基于JWS写的词语相似度比较算法和JWS相关的帮助文档

2013-11-24

jwnl组件库

JWNL是用JAVA语言编写的用于读取WordNet词典库的组件库。文章包括jwnl各种操作wordnet的实例代码

2013-11-23

jena中文教程

一般来说，我们在Protege这样的编辑器里构建了本体，就会想在应用程序里使用它，这就需要一些开发接口。用程序操作本体是很必要的，因为在很多情况下，我们要自动生成本体，靠人手通过Protege创建所有本体是不现实的。Jena是HP公司开发的这样一套API，似乎HP公司在本体这方面走得很靠前，其他大公司还在观望吗？

2013-11-23

2005XT指令字典

包括java vc++6.0 汇编语言 vfp6.0 vb6.0 delphi Turboc的函数库

2012-12-10

前言 5 第1章信用卡数据分析系统编程理论基础 6 1.1 风险控制理论 6 1.1.1 信用卡风险的类型和特点： 6 1.1.2 信用卡风险管理的作用和手段： 6 1.2 数据库理论 7 1.2.1 ODBC连接数据库 7 1.2.2 结构化查询语言基础 8 1.2.3 ADO对象的数据库操作 9 第2章需求分析 12 2.1 项目建议书 12 2.2 数据实现流程图 13 2.3 使用软件的比较： 13 2.4 计划任务： 15 第3章总体的设计方案 17 3.1 概述 17 3.2 调用数据库表的结构 17 3.3 系统结构图 19 3.4 各功能模块： 19 第4章系统实现 23 4.1 系统流程图： 23 4.2登陆界面的实现： 26 4.3主界面的实现： 27 4.4风险控制界面的实现： 29 4.5透支持卡人的特性分析的实现： 29 4.5.1 透支持卡人特征分析主画面的实现 29 4.5.2 透支持卡人特征分析对比分析图的实现： 31 4.5.3 透支持卡人特征分析输出报表的实现： 32 4.6 透支持卡人年龄层次分析界面的实现： 32 4.6.1 透支持卡人年龄层次分析主界面的实现： 32 4.6.2 透支金额年龄层次分析对比分析图的实现： 34 4.7 冻结/止付/挂失卡的比例分析的实现： 37 4.8 透支总量的对比分析的实现： 37 4.9 持卡人、担保人的信用评估的实现： 37 第5章信用卡数据分析系统软件说明书 40 5.1 软件概述 40 5.2 功能 40 5.3 软件安装 40 5.3.1系统要求 40 5.3.2安装前的准备 40 5.3.3安装 40 5.4 运行说明 40 第6章对使用VB.NET建立本系统的展望 42 第7章小结 43 参考文献 44 附录 45 附录A: 外文资料翻译－原文部分： 45 附录B: 外文资料翻译－译文部分： 50

2012-12-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

随心所欲