~Erin-优快云博客

问题描述：原本接口使用的是http的访问没有任何问题。但是上线之后因为安全的问题要使用https的进行访问接口。然后就报错No subject alternative names matching IP address xxx.xxx.xxx.xxx found解决办法：查找了很多资料发现https访问是有证书验证的。所以需要在代码层次对ssl的证书实现信任链接的操作第一步：在jsee中，证书的管理器类实现的是X509TrustManager的接口，所以我们只要实现该接口即可

2021-05-14 15:14:40 1226 1

原创 springboot ip地址黑白名单过滤

要想实现ip地址过滤的访问需求。最主要的两个核心是：1.创建拦截器import com.jeedan.rest.web.ApiSignInterceptor;import org.springframework.context.annotation.Configuration;import org.springframework.web.servlet.config.annotation.InterceptorRegistry;import org.springframework.web.

2021-03-10 17:43:58 2757 2

原创 springboot中autowird注解得到的实体为null

1.问题描述使用@autuwired注解的时候得到的实体为null2.问题分析：（1）在应用的Filter或Listener中使用了@Autowired，原因：因为Filter和Listener加载顺序优先于spring容器初始化实例，所以使用@Autowired肯定为null了~~解决：用ApplicationContext根据bean名称（注意名称为实现类而不是接口）去获取bean，随便写个工具类，然后调用SpringContextUtil.getBean("beanname.

2021-03-10 17:09:49 450

原创对java多线程理解

1.java多线程的实现针对java多线程的实现我们都知道：（1）继承 Thread 类，并重写 run 方法； public class Demo {public static class MyThread extends Thread {@Overridepublic void run() {System.out.println("MyThread");}}public static void main(String[] args) {T...

2020-11-27 14:42:21 127

原创请求转发和请求重定向在java中的操作

请求转发和请求重定向唯一的区别：请求转发：客户端的请求在服务器转发了几次。客户端都是无感的。地址栏的地址不会发生改变request.getRequestDispatcher("转发的servlet的方法的名字").forward(request, response);请求重定向：客户端请求在服务器转发。地址栏的地址是会发生改变的。 return "redirect:/loginInfoController/loginError.action";...

2020-11-06 14:42:11 216

原创 java获取http的post协议的参数

private static String getPostParameter(HttpServletRequest request) throws IOException { BufferedInputStream buf = null; int iContentLen = request.getContentLength(); byte sContent[] = new byte[iContentLen]; String sContent2.

2020-11-06 14:36:10 484

原创 java针对sign签名的操作

package com.jeedan.rest.web;import org.apache.commons.lang3.RandomStringUtils;import java.security.MessageDigest;import java.util.Iterator;import java.util.Map.Entry;import java.util.Set;import java.util.SortedMap;import java.util.TreeMap;publi.

2020-11-06 14:33:07 1973

原创 java针对aes的加密和解密的操作

package com.jeedan.rest.web;//import com.feinno.notify.common.vo.MessageBodyRequest;//import org.apache.commons.codec.binary.Base64;//import org.apache.commons.lang.StringUtils;import org.apache.commons.codec.binary.Base64;import org.apache.commons.

2020-11-06 14:32:05 296 1

原创 java使用poi操作excel导出为html

最近做了个项目需要对excel进行发送邮件。但是有个需求是需要将excel里面的sheet0的内容原本复制为邮件的正文。样式都要。所以只能操作excel转为html然后嵌套再邮件中发送了。1.导入pom <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId>

2020-05-11 09:15:54 1700

原创 apollo整合java客户端的简单的springmvc的项目

Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性。Apollo支持4个维度管理Key-Value格式的配置：application (应用) environment (环境) cluster (集群) namespace (命名空间)1.pom的引入&lt...

2020-04-29 15:33:18 3600

原创 kafka+自带zk的伪集群部署

kafka是用来传递消息的分布式的消息队列。kafka使用自带的zk进行伪集群部署的步骤如下：1.检查环境。kafka的启动需要jdk1.8的支撑。2.下载kafka的安装包https://archive.apache.org/dist/kafka可以在里面找到你想要的版本。3.在你想要的安装路径下解压tar -zxvf kafka.tgz4.要想启动kafka首...

2020-04-29 14:31:50 384

原创 exel一系列操作----java

1.添加maven依赖<dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version></dependency><dependency> &...

2020-04-16 14:19:38 219

原创 hbase 复制表数据

使用CopyTable同步HBase数据CopyTable是Hbase提供的一个数据同步工具，可以用于同步表的部分或全部数据使用步骤：1.创建目标表。表的列族和原表列族保持一致。如果不一致可以修改先增加新的：alter '表名',{NAME=>'cf1'}后删除旧的：alter '表名','delete'=>'CF'2.进入到hbase的bin目录下执行命令...

2020-04-14 14:44:47 1881

原创 mapreduce书写遇到的问题总结

1.mapreduce本地运行：1）导入jar包，找到hadoop的安装目录HADOOP_HOME就可以找到这些jar包HADOOP_HOME/share/hadoop/common目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；HADOOP_HOME/share/hadoop/common/lib目录下的所有JAR包；HADOOP_HO...

2019-12-20 15:45:49 802

原创 yarn的详解

yarn是什么？yarn是hadoop集群的资源管理系统，是hadoop2中引入的。最初的目的是为了改善MapReduce的实现。hadoop为什么引入yarn？解释这个问题之前我们先来了解一下hadoop1中mapreduce的运行机制。具体流程如下：1).客户端通过submit()方法提交作业2).submit()方法会创建一个内部的JobSummiter实例，并且调...

2019-12-12 17:18:09 834

原创 flume在非hbase部署的机器上部署，使用aysnHbaseSink

------------------------------------------------------------------------遇到的问题导致我们要部署--------------------------------------------------由于我们使用的flume对接了kafka通道。使用flume的sink充当kafka的消费者消费数据。无意间我们设置成了kafk...

2019-11-29 16:27:27 196

原创 hadoop+flume+kafkachannel修改commit cannot be completed due to group reblance的历程

解决办法：增加心跳时间heartbeat.interval.msj解决步骤详解：部署kafkachannel连接flume日志入库之后一直报一个错。前前后后一共改了好多参数session.timeout.ms group coordinator监控consumer的超时时间max.poll.interval.ms 批量处理数据的最大时间max.poll.record...

2019-11-14 17:41:31 926 1

原创 java结合kylin的jdbc实现查询

kylin支持直接的sql查询。那就意味这我们可以直接使用平时使用的sql从kylin中查出需要的数据方法如下：1.statenment的query查询/** * * @param sql 查询的语句 * @param projectName kylin内工程的名字 * @return * @throws Exception */ public st...

2019-09-20 11:08:48 495

原创 kylin之java调用Rest Api接口

1.官方文档http://kylin.apache.org/docs15/howto/howto_build_cube_with_restapi.htmlhttp://kylin.apache.org/docs15/howto/howto_use_restapi.html常用的接口有：1）获取segment列表GEThttp://host:port/kylin/api/cub...

2019-09-19 14:43:56 1198

原创 flume之多source配置

# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyrig...

2019-09-12 15:39:51 757

原创 flume之aysnhbase与java的结合

1.flume的sink为aysnhbase的配置# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional info...

2019-09-12 15:19:45 146

原创 flume之freebsd系统的安装

1.去http://flume.apache.org/网站下载相应的包apache-flume-1.7.0-bin.tar.gz2.用ftp传到相应的机上然后解压在/root/.cshrc里面配置环境变量就可以了3.4.配置conf中的flume-env.sh中的JAVA_HOMEJAVA_HOME=/usr/local/java/jdk1.8.0_1815.然后...

2019-05-17 11:08:45 143

原创 flume之kafkachannel

1.安装flume2.安装kafka3.测试kafka的topic是否能正常的传递消息4.都准备好之后开始接通kafkachannel，1）kafka的no-sink#定义agent名， source、channel的名称a0.sources = r1a0.channels = c1#具体定义sourcea0.sources.r1.type = execa0.so...

2019-05-14 17:20:59 3029

原创 java上传和下载

1.jsp页面<form id="subtaskForm" enctype="multipart/form-data" method="post" > <input type='file' id='file' name='file' style='width: 160px'> <a href='javascript:void(0);'...

2019-03-27 09:23:53 1033

原创 flume使用中遇到的错误

1.Space for commit to queue couldn’t be acquired原因：对于内存通道，当输入过多，而无法全部输出的时候，会导致内存通道崩溃，从而报错。解决办法：设置agent1.channels.<channel_name>.keep-alive = 30...

2019-03-27 09:08:35 1291

原创 hive常见错误

1.查找hive的查询报错在hive的日志中。找hive的日志一般在hive的安装目录的conf中有个log的配置文件可以找到日志的位置。一般默认为/tmp/用户名/hive.log2.常见的错误java.io.IOException:Connectionresetbypeer问题描述：hive 查询卡死，无法执行hive的命令错误信息：2013-03-2212:54:...

2019-03-06 10:02:33 847

原创 java发送邮件带附件和图片

import org.apache.commons.httpclient.HttpConnection;import org.json.JSONObject;import org.springframework.stereotype.Service;import javax.activation.DataHandler;import javax.activation.FileData...

2019-02-21 15:51:42 479

原创 java连接hive

maven依赖<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>2.0.0</version></dependency>

2019-02-19 16:01:51 1051

原创 java连接kylin

maven依赖<dependency> <groupId>org.apache.kylin</groupId> <artifactId>kylin-jdbc</artifactId> <version>1.5.3</version></dependency&gt

2019-02-19 15:58:17 965

原创 html转图片

JEditorPane editorPane=new JEditorPane(new URL(url)); editorPane.setSize(400,400); BufferedImage image=new BufferedImage(editorPane.getWidth(),editorPane.getHeight(),BufferedImage.TYPE_3BYTE_BG...

2019-02-19 15:52:32 774

原创 phantomjs+java截图

下载一个资源包 phantomjs-2.1.1-windows引入一下import org.springframework.stereotype.Service;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStream...

2019-02-19 15:44:25 330

原创 selenium+java截图

************************windows环境************************************************************* maven依赖 <dependency> <groupId>org.seleniumhq.selenium</groupId> <arti...

2019-02-19 15:29:55 924

原创 java发送邮件

<dependency> <groupId>javax.mail</groupId> <artifactId>mail</artifactId></dependency><dependency> <groupId>javax.activation&am

2019-02-12 13:44:06 234

原创 java循环文件夹读取各种文件

文件格式是这样的处理方法为：package com.caissa.chador_mr;import org.apache.commons.compress.compressors.bzip2.BZip2CompressorInputStream;import java.io.BufferedReader;import java.io.File;import java.io...

2019-01-25 16:45:38 2341

原创 java接收mail并解析

注意：密码为设置的授权码需要开启pop协议 package com.tongyi.platform.service.quartz;import javax.mail.Address;import javax.mail.BodyPart;import javax.mail.Flags;import javax.mail.Folder;import javax....

2019-01-25 10:24:45 270

原创 java远程上传文件或者文件夹到ftp服务器

1.上传或者下载单个文件import org.apache.commons.net.ftp.FTP;import org.apache.commons.net.ftp.FTPClient;import org.apache.commons.net.ftp.FTPFile;import org.apache.commons.net.ftp.FTPReply;import java.i...

2019-01-11 15:32:12 2321

原创 java远程调用shell脚本

1.maven引入jar包<dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>build210</version></depende

2019-01-11 15:26:11 236

原创 hbase存储原理

行式存储：维护大量索引。存储成本高。不能做到线性扩展。对于随机读的效率高。对事物处理能力支持好应用环境：表之间关联特性高。联机事务处理能力高。线性扩展不高数据量不能太大列式存储：根据列的数据的相似性利于数据压缩。存储成本低。查询效率高应用环境：对于单列或者列的获取较高。大数据环境利于数据压缩的 hbase的列族存储列族：列的组合。hbase table的组成...

2019-01-10 20:36:18 677

原创 superset的安装以及和echart整合

前提条件需要python3 1、创建虚拟环境python3 -m venv env_superset2、进入虚拟环境source /data/env_superset/bin/activate3、更新pip和setuptoolspip install --upgrade setuptools pip4、安装supersetpip install superset...

2018-12-21 18:14:27 3623 2