mathlpz126的博客

jackson全局配置解决Java 8 date/time type `java.time.LocalDateTime` 问题

批量查询hive数据，通过管道方式快速写入到Redis集群，脚本编写

引入swagger包： <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>${swagger2.version}</version> </dependency>

Junit4中的注解：@RunWith(MockitoJUnitRunner.class) 升级替换为：@ExtendWith(MockitoExtension.class)注意：1、当涉及Spring时：如果测试中使用Spring测试框架功能（例如）@MockBean，则必须使用@ExtendWith(SpringExtension.class)。它取代了不推荐使用的 JUnit4@RunWith(SpringJUnit4ClassRunner.class)2、当不涉及Spring.

项目部署要连接外部系统（如苏研平台）的大数据平台hive和hbase组件，大数据平台配置了kerberos安全认证，但对方没有提供相关的连接示例代码。由于是第一次对接，部署调试过程中遇到很多问题，记录下来，仅供参考。1、hive连接配置代码： /** * @return */ @Bean(name = "datasourceHive") public DataSource getDataSourceHive() { // .

表信息（textfile存储格式）：desc dim_tencentyk_info;OKurl string video_id string video_name string .

总共需要以下几个类：package com.config.datasource;import com.alibaba.druid.pool.DruidDataSource;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Value;import org.springframework.context.annotation.Bean;import org.springfr

查询了很多网上的帖子，尝试各种配置都没有生效。本人项目文件配置：官方操作文档说明：<configuration> <appender name="ROLLING" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>mylog.txt</file> <rollingPolicy class="ch.qos.logback.core.rol.

代码脚本如下：#!/bin/bash# 连接mysql数据库，并查询结果，将结果输出到文件中# 1.定义连接变量mysql_hostname='172.28.65.133'mysql_port='3306'mysql_username='root'mysql_password='xxxxxx'#dbname='recom_video'time=`date -d "1 day ago" +"%Y-%m-%d"`save_f="t_st_video_info_${time}.txt"

使用sqoop将数据定时从hive表导入MySQL。话不多说，线上脚本：#!/bin/sh#********************************************************************************#********************************************************************************#reload env#当前目录路径mysqldhome_hostname=

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。前期启动遇到各种报错：NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionStateNoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionStateNoClassDefFoundError: org/apache/hadoop/hive/

1、停止服务脚本：#! /bin/shell# 杀死进程appName='recommend-app'pid=$(ps -ef | grep ${appName} | grep java | grep -v grep | awk '{print $2}')echo -e $pidkill -9 ${pid}sleep 2if [ $? -eq 0 ];then e...

话不多说，直接上代码：/** * 自定义日志记录 */@Documented@Target({ElementType.METHOD, ElementType.PARAMETER})@Retention(RetentionPolicy.RUNTIME)public @interface OptionalLog { /** * 日志模块 * *...

使用并发包中的Callable及Future类处理。话不多少，直接上代码：import lombok.extern.slf4j.Slf4j;import java.util.concurrent.Callable;/** * @Author: lp * @Date: 2019- */@Slf4jpublic class Mycallable implements Ca...

## Quartz seems to work best with the driver mm.mysql-2.0.7-bin.jar## PLEASE consider using mysql with innodb tables to avoid locking issues## In your Quartz properties file, you'll need to set#...

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l (1)find命令的一般形式       find pathname -options [-print -exec -ok]       pa

一、大类检查点：大类细项上传功能绕过文件上传检查功能上传文件大小和次数限制注册功能注册请求是否安全传输注册时密码复杂度是否后台检验激活链接测试重复注册批量注册问题登录功能

毕业之后工作两年有余，对现在的工作及工作环境有些不满，所以出来找下工作，看下外面的世界，同时也试下自己的水平。

对于默认直接把配置文件放任classpath下面，这种henjiandan首先说下log4j的配置，有两种方法：1、在web.xml中配置（推荐）：webAppRootKeywebapp.devportal log4jConfigLocation file:/opt/config/open_portal/opendev/appconfig/lo

代码截图：更改用户自定义变量，获取不同的名称：vars，即可。分析不同的线程，不同的session，不同的用户变量先贴上日志（4个不同的接口，5次并发请求）：2018-05-2410:44:38.451 INFO [http-nio-8080-exec-4] - interceptor.AuthValidationInterceptor.getAuthKey(AuthValidationInt...

     本人使用的是Alibaba的fastjson，经测试是不区分大小写的，可以直接转换，非常好用！com.alibaba.fastjson.JSONcom.alibaba.fastjson.JSON.parseObject(String text, Class&lt;ColorTmplSubmitResp&gt; clazz)    返回的json字符串：        {"resultco...

maven工程的pom文件，引入mysql、：&lt;!-- https://mvnrepository.com/artifact/org.apache.poi/poi --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.poi&lt;/groupId&gt; &lt;artifactId&gt;poi&lt;/art...

首先pom中添加plugin，只需添加plugin，不需要添加dependency依赖包！！！ &lt;!-- mybatis-generator --&gt; &lt;plugin&gt; &lt;groupId&gt;org.mybatis.generator&lt;/groupId&gt; ...

一次git错误提交的操作记录：$ git log（错误的commit记录，比如：push之前没有pull，造成代码错乱）commit c15809c85412701b8045c29e42b86ea79b757370 (HEAD -&gt; yyy_1.13_part2_videoMsg_20190104)Author: xxx

问题：已知字符串abcdefghijk, 有两个线程同时操作，实现一下一次循环遍历出123456789。例如：t1线程结果是1、 t2线程结果是2、 再是t1 = 3这样的.、、、本人使用ReentrantLock及Condition实现思路如下，欢迎多指点交流：PS：show me code:package com.lpz.test.interview;...

啊啊啊！记录。。。JDK8中return竟然不return了。。。but：：：2、两个for循环作对比，如下：

搜索网上各个案例，总结的一套比较全面且行之有效的方法。供大家参考使用！使用javax.mail自动读取邮件，并下载解析附件，IMAP/POP3协议等！直接上代码如下：package ***import org.apache.commons.lang3.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerF...

一、Redis入门介绍1.1 redis概述1.1.1  概念 1)Redis:REmote DIctionary Server(远程字典服务器) 2)是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的(key/value)分布式内存数据库，基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一,

1、mysql简介概述：开源的关系型数据库RDBMS，等。。高级MYSQL：mysql内核sql优化工程师mysql服务器的优化各种参数常量设定查询语句优化主从复制软硬件升级容灾备份sql备份2、linux版安装暂用mysql5.5，下载地址：http://mirrors.sohu.com/mysq

它在哪?redis.confUNITS单位1  配置大小单位,开头定义了一些基本的度量单位，只支持bytes，不支持bit2  对大小写不敏感INCLUDES包含和我们的Struts2配置文件类似，可以通过includes包含，redis.conf可以作为总闸，包含其他GENERAL通用daemonizep

Redis 键(key) keys *；exists key的名字，判断某个key是否存在move key db --->当前库就没有了，被移除了expire key 秒钟：为给定的key设置过期时间ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期type key 查看你的key是什么类型Redis字符串(Stri

缓存技术是网站服务端经常用到的一种技术，在读多写少的业务场景中，通过使用缓存可以有效地提高网站的性能，支撑高并发的访问量，对数据库做到很好的保护。我们在使用缓存的时候，如Redis、Memcached，基本上都遇到以下几个问题：缓存穿透、缓存并发、缓存失效（缓存雪崩）、热点key、DB缓存一致性。本案例结合平台开发过程中遇到的问题，简要总结了缓存中常见的问题并提供一些解决方案。案例介绍

查看java进程的pid：查看并dump出线程堆栈信息，在DOS窗口中显示：或者直接将日志信息输出到文件（管理员身份）：-l long listings，会打印出额外的锁信息，在发生死锁时可以用jstack -l pid来观察锁持有情况-m mixed mode，不仅会输出Java堆栈信息，还会输出C/C++堆栈信息（比如Native方法）

1、各种同步控制工具的使用1.1 ReentrantLock它是synchronized的增强版，sync功能简单，把多余的线程放入等待区，这些线程只能死等；写法上有区别；synchronized也是可重入的（它拥有强制原子性的内置锁机制,是一个重入锁,所以在使用synchronized时,当一个线程请求得到一个对象锁后再次请求此对象锁,可以再次得到该对象锁,就是说在一个synchroni

1.  传统线程技术回顾1.1             传统线程创建方式1.继承Thread类并重写run()方法 非匿名实现类 匿名实现类 2.调用Thread的有参构造器，参数传入Runnable对象  扩展1 线程的start()方法

一、什么是设计模式在软件工程中，设计模式（design pattern）是对软件设计中普遍存在（反复出现）的各种问题，所提出的解决方案。这个术语是由埃里希·伽玛（Erich Gamma）等人在1990年代从建筑设计领域引入到计算机科学的。《 设计模式：可复用面向对象软件的基础》 收录 23种模式：观察者模式 、策略模式 、装饰者模式 、享元模式 、模板方法 架构模式：M

1、无锁类的原理详解1.1 CASCAS算法的过程是这样：它包含3个参数CAS(V,E,N)。V表示要更新的变量，E表示预期值，N表示新值。仅当V值等于E值时，才会将V的值设为N。如果V值和E值不同，则说明已经有其他线程做了更新，则当前线程什么都不做。最后，CAS返回当前V的真实值。CAS操作是抱着乐观的态度进行的，它总是认为自己可以成功完成操作。当多个线程同时使用CAS操作一

锁优化的思路和方法：减少锁持有时间：减少其他线程等待时间，只同步需要同步的相关的代码；减少锁粒度：将大对象拆成小对象，增加并行度，降低锁竞争；偏向锁，轻量级锁成功率提高；ConcurrentHashMap；锁分离：根据功能进行锁分离；ReadWriteLock；读多写少的情况，可提高性能；读写分离思想延伸，只要操作互不影响，锁就可以分离；Linked

什么事NIO？New I/O简称，与旧式的基于流的I/O方法相对，表示一套新的I/O标准；jdk1.4引入的；NIO是基于块（Block）的，以块为基本单位处理数据，传统I/O基于字节（Byte）的；性能比流好些；为所有原始类型提供（Buffer）缓存支持；增加通道（Channel）对象，作为新的I/O抽象，类似旧式的Stream；支持文件锁，和内存映射文件的文件访问接口；使用

本文并非Java.io或Java.nio的使用手册，也不是如何使用Java.io与Java.nio的技术文档。这里只是尝试比较这两个包，用最简单的方式突出它们的区别和各自的特性。Java.nio提出了新的流(stream)通讯概念并且加入了新的缓冲、文件流以及socket(套接字)特性。java.io 概览这个包通过数据流和序列化机制来实现系统输入和输出。并且支持多种类型的数据流，