qq_24702263-优快云博客

原创安装thrift 0.9.3

1.下载安装包：thrift-0.9.3.tar.gz2.解压：]# tar xvzf thrift-0.9.3.tar.gz 得到：thrift-0.9.3目录3.yum安装：# yum install boost-devel-static libboost-dev libboost-test-dev libboost-program-options-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev..

2020-08-16 18:06:46 896

原创 python 学习记录-2

python在每一段代码的最后都可以写分号。也可以不写。在本地测试的时候基本不会有影响。import sysfor line in sys.stdin: ss = line.strip().split(','); if len(ss) != 3: continue; u , i , s = ss; print("%s\t%s\t%s" % ( i,u,s));和import sysfor line in sys.stdin: ss = line.strip().spl

2020-06-26 23:13:48 190

原创 python学习记录-1

从Pycharm中的sys.stdin读取文件有输入的、常规写法：for line in sys.stdin: name, value = line.strip().split("\t") print name也可以：import syssys.stdin = open('input.in', 'r') #输入文档sys.stdout = open('output.out', 'w')#输出文档for line in sys.stdin： ss , v.

2020-06-26 23:07:07 274

原创 hadoop入门篇-搭建环境的问题

在搭建hadoop环境的过程中需要配置core-site.xml、hdfs-site.xml、yarn-site.xml。因马虎在core-site.xml配置文件中<property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/src/hadoop-2.6.5/tmp</value></property>搭建环境的hadoop版本（...

2020-05-31 23:07:34 193

原创 JAXB- XML外部实体注入安全代码漏洞(XXE)

XXE攻击（XML External Entity），此漏洞发生在应用程序解析XML输入时，没有禁止外部实体的加载，导致可加载恶意外部文件，造成文件读取、命令执行、内网端口扫描、攻击内网网站、发起dos攻击等危害。具体的可以看：https://blog.youkuaiyun.com/qq_24702263/article/details/106137827JAXB是什么？JAXB实现了java对象与xml之间的转换package com.jaxb; import java.io.FileInpu

2020-05-15 11:47:01 2155

转载 XXE攻击

XXE攻击xml基础知识要了解xxe漏洞，那么一定得先明白基础知识，了解xml文档的基础组成。另外php版本大于5.4.45的默认不解析外部实体XML用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。XML文档结构包括XML声明、DTD文档类型定义（可选）、文档元素为什么使用 DTD？通过 DTD，您的每一个 XML 文件均可携带一个有关其自身格式的描述。通过 DTD，独立的团体可一致地使用某个..

2020-05-15 11:33:04 411

原创 xml与java对象转换-（Unmarshaller.unmarshal）

XML和javabean相互转换public static String beanToXML(Class c , Object object) throws JAXBException { String xml = null; JAXBContext context = JAXBContext.newInstance(c); Marshaller m =context.createMarshaller(); m.setProperty(Marshaller.JAXB_

2020-05-15 11:00:40 2598

原创 Quartz定时任务-@DisallowConcurrentExecution注解

Quartz定时任务默认都是并发执行的，不会等待上一次任务执行完毕，只要间隔时间到就会执行, 如果定时任执行太长，会长时间占用资源，导致其它任务堵塞。在Spring中这时需要设置concurrent的值为false, 禁止并发执行。<property name="concurrent" value="true" />当不使用spring的时候就需要在Job的实现类...

2020-04-15 15:02:47 3009 1

原创 pgsql中distinct on的用法

在pgsql使用过程中有一个需求，是需要根据一个字段去重其他字段不去重，然后查询出表中的字段。这里就要说到group by、distinct两种。group by吧，就是需要使用聚合函数，但我只有某一个字段（name字段）有需求，其他的字段按照原来的展示。但是在使用聚合函数不符合预期，所以就放弃。distinct，这个是只能去重一个字段，但是不能查询出表中字段。比如我就只是针对name去重...

2020-04-04 16:16:43 9926

原创 BeanUtils.copyProperties()对象复制

要使用的BeanUtils.copyProperties()的人，我认为都是比较‘懒’的，因为有这种精神所以推动我们去偷懒。将一个对象中的属性拷贝到另一个对象中。当然完全可以使用set。。get。。但是总感觉这样哪里不对。。于是找到了BeanUtils.copyProperties()。但是这里要提示一下。BeaUtils有两个不同的归属包。一个是org.apache.common...

2020-03-24 16:16:23 186

原创 HashMap之java.util.ConcurrentModificationException问题原因及解决办法

Map<Warn,Object> map = new HashMap<>();for(Entry<Warn,Object> entry : map.entrySet()){ ... ... map.remove(entry.getKey()); ...}报错：java.util.ConcurrentModificati...

2020-01-02 21:17:20 3282

转载 Map.entry详解及Map的遍历方式

本文只用作学习作用。转载链接在文末。Map.entrySet() 这个方法返回的是一个Set<Map.Entry<K,V>>，Map.Entry 是Map中的一个内部接口，包装一个map的节点，这个节封装了key,value，以及别的值（比如hashmap中的哈希码和next指针）。他的用途是表示一个映射项（里面有Key和Value），而Set<Map.Entry...

2019-12-28 12:18:20 907

原创 SpringBoot+MyBatis日志输出SQL

看看怎么配置让日志能输出SQL，在此记录一下可以直接在springboot 的配置文件的application.properties里面定义 logging.level.com.abc=DEBUGlogging.level.com.csdn.mapper=debuglogging.level.com.csdn.test.mapper=debug在具体配置中，logging.leve...

2019-12-18 10:21:22 184

转载详记一次MySQL千万级大表优化过程！

原文地址：https://www.zhihu.com/question/19719997/answer/549041957本文只是摘文学习用处，原文请参考上述地址。问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。问题前提：老系统，...

2019-12-11 18:06:39 174

qq_24702263的博客