nickname_oo-优快云博客

原创 java.lang.NoClassDefFoundError: javax/servlet/http/HttpServletResponse

今天在Intelij IDEA运行之前的项目，突然报java.lang.NoClassDefFoundError: javax/servlet/http/HttpServletResponse这种错，怎么都不行，按照网上找的各种帖子，原因帖子上都有说，我不再啰嗦，但是支的招都不好使，一顿折腾后，下面这招解决了问题：1、pom文件修改为：<dependency> <groupId>javax.servlet</groupId> <artifa

2020-10-16 21:44:58 4057 1

原创 Flex 特殊字符及转义符 mxml 判断

当我们写判断条件时，如果多个判断条件，都是用&写多个判断条件，但是当在mxml文件中写多个判断时，写&却不好使，原因就是因为需要转义，常见的转义字符如下：<< >>&&''"" 具体使用如下：<mx:DataGridColumn labelFunctio...

2020-05-08 17:53:53 474

原创 logstash的安装及配置

首先声明logstash的版本是6.x，而非7.x，若7.0则提示：You are using a deprecated config setting "document_type" set in elasticsearch. Deprecated settings will continue to work, but are scheduled for removal from logsta...

2019-08-15 15:05:21 3621

原创网站漏洞扫描及常见问题解决

一、工具介绍最近需要漏扫和渗透性测试，学习了行家的博客，决定使用下面几个工具，分别是Nessus、nmap、appscan和SQLmap。Nessus：Nessus 是目前全世界最多人使用的系统漏洞扫描与分析软件。总共有超过75,000个机构使用Nessus 作为扫描该机构电脑系统的软件。nmap：nmap 是不少黑客爱用的工具，黑客会利用nmap来搜集目标电脑的网络设定，从而计划攻...

2019-08-13 10:29:53 5023

原创 elasticsearch安装及IK的配置

1、下载并安装Elasticsearch服务1.1、安装Java JDK：在安装Elasticsearch引擎之前，必须安装ES需要的软件环境，安装Java JDK和配置JAVA_HOME环境变量，Elasticsearch7.0以上版本需要安装jdk11以上版本，Elasticsearch5.0以上版本需要安装jdk1.8，其他版本安装jdk1.7即可。安装jdk后最好禁用Ja...

2019-08-12 15:27:24 286

原创 appscan常见问题修改

jsp中添加：<meta http-equiv="Content-Security-Policy" content="script-src 'self'; object-src 'none'; style-src cdn.example.org third-party.org; child-src https:">servlet中添加：/**解决Missing "C...

2019-07-01 16:21:27 2627

原创编辑器大小写转换

1、notepad++大写转小写 Ctrl+ U小写转大写 Ctrl + Shift + U2、UltraEdit大写转小写 Ctrl+ F5小写转大写 ALT + F5shift+F5大小写互换3、Eclipse大写转小写 Ctrl + Shift + Y小写转大写 Ctrl + Shift + X1、Intellij idea...

2019-06-18 11:28:28 2150

原创 sql group by 与sum

今天用到了个统计，记得以前写过，但是猛然好像忘记了，在此记录一下，也分享给需要的小伙伴。SELECT item1_id,result,SUM(CASE WHEN result = '1' THEN 1 ELSE 0 END) as r1 ,SUM(CASE WHEN result ='2' THEN 1 ELSE 0 END) as r2,SUM(1) as total FROM `test...

2019-05-23 15:17:30 7243 1

原创 tika

Tika是一个内容抽取的工具集合(a toolkit for text extracting)。利用Tika，我们可以获得文件的实际类型（https://blog.youkuaiyun.com/helihongzhizhuo/article/details/90404387）、文件的编码格式（https://blog.youkuaiyun.com/helihongzhizhuo/article/details/9040...

2019-05-21 13:54:04 384

原创 Tika获取文件类型

public String getfiletype(String file){ File f = new File(file); AutoDetectReader dr = null; Tika tika = new Tika(); //创建一个Tika类 //利用Tika的detect方法检测文件的实际类型 Sy...

2019-05-21 12:04:09 3393

原创解压rar和zip文件名中文乱码问题，以及获取zip文件中的内容

import java.io.*;import java.util.Enumeration;import java.util.zip.ZipEntry;import com.github.junrar.Archive;import com.github.junrar.rarfile.FileHeader;import org.apache.commons.compress.archiv...

2019-05-21 10:41:40 2736

原创 Maven错误：was cached in the local repository, resolution will not be reattempted until the update

解决办法：命令中增加个参数U，如下：mvn -U clean install -Dmaven.test.skip=trueuse-Uparameter to force a check for the updated releases and snapshots on remote repositories, and resolve this issue.Actually you c...

2019-05-17 11:07:30 8063 1

原创解析zip java.lang.IllegalArgumentException: MALFORMED报错信息

这个错误是由于编码问题，需要先检测文件编码，修改后代码如下：File file = new File(sfile);// //利用Tika的AutoDetectReader类检测文件的编码格式 dr = new AutoDetectReader(new FileInputStream(file)); String cha...

2019-05-15 11:23:50 6024

原创 maven install报错：BASE64Decoder是内部专用API，可能会在未来发行版本中删除

今天遇到sun.misc.BASE64Decoder是Sun的专用API，可能会在未来版本中删除的错误算是maven的一个bug，升级下版本就好了，修改pom的配置，我之前version是2.1，改成2.5.1后确实好了，2.1是error，而到了2.5.1变成了warning，如下：pom修改如下：<plugins> <plugin>...

2019-03-27 09:38:52 11449 1

原创 Windows上Ruby开发环境的配置

1. 下载和安装Ruby下载：https://rubyinstaller.org/downloads 下载完后，安装即可添加devkit到系统PATH了 1 先新建名为DEVKIT的变量。 2 然后再添加到PATH中去。 NOTE:你可能需要重启powershell才能是变量生效。 2. 安装RubyMine下载链接：http...

2018-12-20 16:17:50 2056

原创 filebeat + logstash + influxdb

Filebeat是一个开源的文件收集器，主要用于获取日志文件，并把它们发送到logstash或elasticsearch。Filebeat安装filebeat的安装步骤见： https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html概要如下：yum install file...

2018-12-14 15:15:42 1912

原创带搜索功能的下拉选择框select2

效果如下： API:http://select2.github.io/select2/需要引用jquery插件select2 引入css <link href="/select2/4.0.5/css/select2.min.css" rel="stylesheet">引入js依赖于jquery.js<script src="/select2/4....

2018-11-14 15:29:51 10324

原创 linux系统下selenium webdriver

1、selenium各版本selenium各版本 http://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java2、确认使用的selenium版本及版本对应的firefox从selenium 3.0.0开始就要求firefox为48及以上版本，可以通过selenium changelog查看。chang...

2018-09-30 11:21:00 4627 1

原创 es 原生API

1、创建索引http://192.168.1.1:9200/indexname1?pretty{ "settings" : { "number_of_shards" : 3, "number_of_replicas" : 2, "refresh_interval": "300s" }}put为创建get为查看ht...

2018-08-07 17:58:50 1136

原创 elasticsearch安装及常见错误

1、下载https://www.elastic.co/downloads2、配置修改配置文件，详情见https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html?nsukey=xvzjcgmgqazKrr8Mh74Q4kvGMUrtfpOvEiFaR44ofwk1Bygcis8JmOn%2...

2018-08-07 11:33:25 640

原创常用sql操作

1、创建数据库CREATE DATABASE IF NOT EXISTS secencipher DEFAULT CHARSET utf8 COLLATE utf8_general_ci2、生成数据表DROP TABLE IF EXISTS `encipher`;CREATE TABLE `encipher` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c...

2018-07-05 14:55:54 217

原创 IntelliJ IDEA 配置Tomcat 运行Web项目并打war包

1、配置web项目1.1、首先引入项目File ---> open 弹出框中选中待引入的项目；若为maven项目，可以点一下右面的 Maven Projects，引入相关依赖（在此之前可以先在命令窗口中执行下mvn clean install）1.2、把项目配置好，主要是配置好JDK等等，如下：1.3开始配置项目File ----> project...

2018-05-17 10:58:14 85954 14

原创数据采集及埋点、无埋点

随着移动互联网时代的兴起和数据量的大规模爆发，越来越多的互联网企业开始重视数据的质量，用户对数据的需求已经不仅仅局限于简单的 PV、UV，而是更加重视用户使用行为数据的相关分析。在数据分析的道路上，数据采集是重中之重。数据采集的质量直接决定了你的分析是否准确。而随着企业对数据的要求越来越高，埋点技术也被推到了“风口浪尖”。今天就来聊聊在数据采集的道路上经常会遇到各的问题。比较常用的网站数据统计分析...

2018-05-16 21:18:20 14095 1

转载 kafka connect

一. Kafka Connect简介　　Kafka是一个使用越来越广的消息系统，尤其是在大数据开发中（实时数据处理和分析）。为何集成其他系统和解耦应用，经常使用Producer来发送消息到Broker，并使用Consumer来消费Broker中的消息。Kafka Connect是到0.9版本才提供的并极大的简化了其他系统与Kafka的集成。Kafka Connect运用用户快速定义并实现各种Con...

2018-05-16 14:18:43 12189

原创验证码识别

其实，验证码识别其实就是用好用好tesseract-ocr，下面我先说下步骤：1、去https://github.com/tesseract-ocr/tesseract/wiki 下载tesseract-ocr，然后安装一下；2、代码中pom中加入：<dependency> <groupId>net.sourceforge.tess4j</groupId&gt...

2018-05-15 15:44:23 773

转载 java通过JDBC连接hiveserver

最近需要用到这个，先放这里吧，用的时候可以直接用了1、hive依赖hadoop，将hdfs当作文件存储介质，那是否意味着hive需要知道namenode的地址？实际上在hive的hive-env.sh 中配置了 HADOOP_HOME=/home/install/hadoop-2.5.12、hive的本地模式和远程模式有什么区别？ hive本质上是将sql语法解析为mapredu...

2018-05-15 11:00:21 511

原创 chrome 应用程序无法启动，因为应用程序的并行配置不正确

某天电脑关机重启后，Google Chrome报出以下错误：C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chrome.exe应用程序无法启动，因为应用程序的并行配置不正确。有关详细信息，请参阅应用程序事件日志，或使用命令行 sxstrace.exe 工具。解决方案：步骤1：进入chrome的安装路径C:\Progra...

2018-03-05 09:27:15 63458 35

转载 elasticsearch query and

{ "query": { "bool": { "must": [ { "match": { "name.formatted": { "query": "daniel tyrone", "operator": "and"

2018-01-31 14:38:34 330

原创 elasticsearch创建索引和查询索引

1、注册索引settings='{"settings":{"index":{"number_of_shards":15,"number_of_replicas":6,"refresh_interval":"300s"}},"analysis":{"analyzer":{"ik":{"tokenizer":"ik_smart"}}}}'curl -XPUThttp://xxxxx:920

2018-01-26 18:47:42 918

转载 elasticsearch性能优化

1. 多线程程序插入，可以根据服务器情况开启多个线程index 速度可以提高n倍, n>=2 2. 如果有多台机器，可以以每台设置n个shards的方式，根据业务情况，可以考虑取消replias curl -XPUT 'http://10.1.*.*:9200/dw-search/' -d '{ "settings" : { "number

2018-01-26 18:20:12 1183

转载 MD5算法

MD5的全称是Message-Digest Algorithm 5（信息-摘要算法），是基于消息摘要原理的，消息摘要的基本特征就是很难根据摘要推算出消息报文。消息摘要（Message Digest）又称为数字摘要(Digital Digest)。它是一个唯一对应一个消息或文本的固定长度的值，它由一个单向Hash加密函数对消息进行作用而产生。如果消息在途中改变了，则接收者通过对收到消息的新产

2018-01-13 21:46:17 289

原创 ftpserver配置

简单的说，apache的ftpserver只需要我们配置两个文件：ftpd-typical.xml和users.properties(在安装目录的res/conf文件夹下)，然后linux下通过bin目录下的ftpd.sh指令（windows用ftpd.bat），启动服务就可以了（ftpd指令需要传递一个参数，为res/conf/ftpd-typical.xml），详细介绍如下：1、下载

2017-12-29 07:25:35 3823

原创 hive数据直接写入到es索引中

1、创建索引 put： http://es.dm.youkuaiyun.com/item_for_related post： http://es.dm.youkuaiyun.com/item_for_related/item/_mapping { "blog": { "_all": { "enabled": false

2017-11-23 11:41:54 3930

原创 redis-cli 将内容写入文件中

echo "keys 'cf_a1s2_*'" | redis-cli -h '127.0.0.1' -p 6379 -a '123456' > /tmp/cf_a1_keys.txt

2017-10-24 18:02:21 8419

原创 java.lang.VerifyError: Expecting a stackmap frame at branch target 16 类似java异常

报异常的方法内使用了Java 7的新特性：自动资源释放，类似于try(){}，即在try后面跟一括号，在括号里面对一些资源赋值，try里面的代码块执行完毕之后会自动释放try后面的括号中声明的资源。Java 7 会使用新的Class类型校验器，新的类型校验器将老的校验器分为两步：1、类型推断2、类型校验新的类型校验器通过在javac编译时嵌入类型信息到bytecod

2017-10-17 13:54:04 1467

转载 Flex DateField 日期范围

<![CDATA[ import mx.controls.DateField; [Bindable] private var today:Date = new Date(new Date()

2017-08-21 06:15:55 980

原创 spark hive 运行Exception

1、 Error: java.lang.UnsupportedOperationException: Not implemented by the HftpFileSystem FileSystem imp问题原因：字面意思来看就是FileSystem的一些方法（getScheme等）没有被实现，主要原因是hadoop-hdfs的jar包冲突（调用的hadoop-hdfs的jar包

2017-08-01 16:23:39 564

原创 htmlunit中 java.lang.NoClassDefFoundError: org/apache/http/cookie/CookieSpecProvider 异常

使用htmlunit时报出如下错误：java.lang.NoClassDefFoundError: org/apache/http/cookie/CookieSpecProviderat com.gargoylesoftware.htmlunit.WebClient.createWebConnection(WebClient.java:1962)at com.gargoylesoftw

2017-07-26 10:06:37 4460

原创 java url处理常遇到的问题

1、通过HttpURLConnection得到的数据中文乱码urlConnection = (HttpURLConnection) url.openConnection(); urlConnection.setRequestMethod(method);urlConnection.setDoOutput(true);urlConnection.setDoInput(t

2017-06-23 14:50:12 645

原创 jTessBoxEditor训练验证码图片

1. 功能介绍利用jTessBoxEditor工具进行Tesseract3.02.02样本训练，提高验证码识别需求是对某个网站的验证码进行样本训练，形成自己的语言库，来提高验证码识别率。2. 环境准备关于tesseract样本训练有一个官方流程说明， https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesseract#ru

2017-05-11 18:41:22 7834