- 博客(98)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 【无标题】
日常业务开发时，难免会遇到分页问题，按传统方式都是用limit来操作。当翻页过多的时候，就不得不面的深分页问题，导致查询性能急剧下降。
2022-07-06 15:50:12
347
原创 k8s读书笔记（一）k8s概念和架构概览
Kubernetes(以下简称K8s)是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单高效，Kubernetes提供了应用部署、规划、更新、维护的一种机制。 在Kubenetes中，所有的容器均在Pod中运行，一个Pod可以承载一个或者多个相关的容器。同一个Pod中的容器会部署在同一个物理机器上并且能够共享资源。一个Pod也可以包含0个或者多个磁盘卷组（volumes）,这些卷组将会以目录的形式提供给一个容器，或者被所有Pod中的容器共享。Docke
2022-06-16 14:37:46
476
原创 数据仓库流程控制组件
1. 流程控制组件流程控制（也称工作流、任务流）是 ETL 重要的组成部分，通常是以 DAG 的方式配置，每次调用都会沿着有向无环图从前往后依次执行直至最后一个任务完成。流程控制可以在 ETL 工具内配置，也可以在调度系统配置。传统 ETL 工具基本上都是单机版的，如果 ETL 的任务节点分布在多个服务器上，整体的流程依赖就会变的复杂起来（跨服务器的调度无法解决，就只剩下两种方法了：预估前置依赖完成时间、监控前置依赖运行状态比如将运行状态写入数据库等），这时候使用调度工具里的流程控制功能就是最优解。2
2022-01-14 20:24:26
1619
原创 Kakfa集群安装和部署
1. 安装启动kafka1.1. 使用Docker方式进行安装1.1.1. 下载镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka1.1.2. 启动启动Zookeeper容器docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper1.1.2.1. 启动kafka容器，其中192.168.59.101是宿主机的IP地址do
2022-01-11 21:50:59
1315
原创 kafka 全配置项说明
文章目录1. kafka 全配置项说明1.1. 基本配置项1.2. kafka中Leader,replicas配置参数1.3. kafka中zookeeper参数配置1. kafka 全配置项说明1.1. 基本配置项broker.id = 0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logs kafka数据的存放地址，多个地址的话用逗号分割 /d
2022-01-11 21:48:58
1080
原创 大数据量背景下快速排重利器
一、前言当我们使用主流数据结构如 Lists, Maps, Sets, Trees等等时，我可以得到确切的结果，无论这个数据存在或是不存在。概率数据结构能够提供一种基于内存的，快速的查找出一种可能而非确切的结果。这种概率数据结构就是布隆过滤器（Bloom filter）。 布隆过滤器可以检查值是“可能在集合中”还是“绝对不在集合中”。2.1 定义布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在
2022-01-05 21:41:03
1224
原创 Spring-Security 核心类详解一
1. Spring-Security 核心类图2. 核心类说明2.1. SecurityContextHolderSecurityContextHolder 是用来保存 SecurityContext 的。SecurityContext 中含有当前正在访问系统的用户的详细信息。默认情况下，SecurityContextHolder 将使用 ThreadLocal 来保存 SecurityContext，这也就意味着在处于同一线程中的方法中我们可以从 ThreadLocal 中获取到当前的 Secur
2020-09-28 11:11:19
627
原创 单例模式之懒汉模式&饿汉模式
文章目录1. 概述2. 懒汉模式2.1. 优缺点3. 饿汉模式4. 二者对比1. 概述单例模式属于创建型模式的一种，应用于保证一个类仅有一个实例的场景下，并且提供了一个访问它的全局访问点，如spring中的全局访问点BeanFactory，spring下所有的bean都是单例。单例模式的特点：从系统启动到终止，整个过程只会产生一个实例。想必大家对上述的概念应该是耳熟能详了，但单例模式又细分为懒汉式，饿汉式，注册式，序列化式。下面比较一下懒汉式和饿汉式：2. 懒汉模式顾名思义，懒汉模式该只在你需要
2020-09-08 20:29:37
484
原创 kafka VS Rabbit
1. 前言经历过多个基于微服务的场景，经常在问自己“到底是用Kafka还是Rabbit，二者之间该怎么选择，它们各有什么优点和缺点”。本文先从他们内部的消息传递模式说起。2. 架构对比2.1. RabbitmqRabbitMQ是一个通用的消息代理，通过包括点对点、请求/响应及发布订阅在内的多种消息通信模式。其采用的是一种智能代理/傻瓜消费的模式，侧重消息的持续投递与处理，并通过代理本身来维护消费者自身状态。RabbitMQ是一个设计成熟的消息代理中间件，支持包括Java, node.js, .NE
2020-06-08 20:12:26
332
原创 k8s快速精通（一）-k8s架构和关键术语
1. 初识K8s1.1. K8s 架构1.1.1. master：负责集群的管理和控制etcd：保存了整个集群的状态；ApiServer：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制；ControllerManager：负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；Scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；1.1.2. node：计算节点，负责跑任务；只和APIServer通信kubelet：负责维护
2020-05-16 21:52:08
658
原创 连接池配置清单
参考文献(Druid连接池的实用配置详解)[https://blog.youkuaiyun.com/scholar_man/article/details/78844172]配置参数配置缺省值说明name配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。 如果没有配置，将会生成一个名字，格式是：“DataSource-” + System.ide...
2019-12-24 10:24:49
194
原创 使用sqoop从MySQL采集数据到HDFS
1. 使用sqoop从MySQL采集数据到HDFS1.1. sqoop 安装和配置1.1.1. 下载sqoopwget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压缩到 /usr/local/sqoo...
2019-12-17 19:52:15
1110
原创 InnoDB存储引擎
InnoDB存储引擎1. 连接mysql2. 数据库与引擎的关系3. 版本介绍4. 体系架构4.1. 后台线程4.1.1. **Master Thread**4.1.2. **IO Thread**4.1.3. **Purge Thread**4.1.4. **Page Cleaner Thread**4.2. 内存4.2.1. 缓冲池4.2.1.1. 缓冲池管理算法 -LRU算法4.2.2. 重...
2019-11-28 09:29:20
1516
原创 openldap2.4 的同步&分布式部署方式
1、Syncrepl （全量模式）：slave服务器用拉的方式同步master数据，使用该方法最大的缺陷在于：当你修改了一个Entry中的任何一个属性，那么该方法会把所有的条目都同步过来。2、Delta-syncrepl（增量模式）：比syncrepl多了一个基于日志的同步功能。每在master修改一条数据后，就会产生一个日志文件，salve通过master的日志进行相应的修改3、N-WA
2014-12-26 21:55:20
10378
原创 6、openldap的OLC配置
一、将配置转换成使用olc1、停止LDAP服务器；2、编辑slapd.conf在第一个数据库配置之前加如下的配置项# before the first database definitiondatabase config# NOTE: the suffix is hardcoded as cn=config and # MUST not have a suffix di
2014-12-26 19:12:35
4103
2原创 nginx_fastcgi_c++ 服务器环境搭建
1.Nginx1.1.安装Nginx 的中文维基 http://wiki.codemongers.com/NginxChs 下载 Nginx 0.6.26（开发版）（请下载最新版本）tar zxvf nginx-0.6.26.tar.gz./configure，注意了类似checking for *** ... not found项，可能是依赖包没有，则需要安装依赖包缺少PCRE，
2014-08-06 13:49:56
2603
转载 Storm源码结构 (来源Storm Github Wiki)
写在前面本文译自Storm Github Wiki: Structure of the codebase，有助于深入了解Storm的设计和源码学习。本人也是参照这个进行学习的，觉得在理解Storm设计的过程中起到了重要作用，所以也帖一份放在自己博客里。以下的模块分析里没有包括Storm 0.9.0增加的Netty模块，对应的代码包在Storm Github下的storm-netty文件夹内
2014-07-30 19:52:08
3251
原创 CURL 宏定义列表
列表CURL库一共有17个函数 curl_close：关闭CURL会话 curl_copy_handle：复制一个CURL会话句柄,同时3复制其所有参数 curl_errno：返回最后一个错误码 curl_error：返回一个字符串，用以描述当前会话的最后一个错误
2014-07-22 19:15:04
5626
转载 利用数据库漏洞扫描评估数据库安全性 6 渗透攻击
前面的文章中，我们分别测试了数据库漏洞扫描系统的授权扫描、弱口令扫描、非授权扫描，今天我们测试Oracle数据库下的“渗透攻击”，由于此模块具备破坏性，所以尽量不要在实际环境中测试，强烈建议您搭建一个仿真环境进行测试。OK，let’s go ！创建扫描任务，我们选择口令攻击：确认之后自动进行口令测试，测试完毕后自动进入下一个环节，要求输入登录信息：我们选择SQL注入渗透：
2013-03-19 14:53:03
1573
转载 利用数据库漏洞扫描评估数据库安全性 5 非授权扫描
在前面的文章中，我们已经给大家介绍了“数据库漏洞扫描系统”的“授权扫描”和“弱口令扫描”，今天我们来下针对MySQL和MS SQL Server的“非授权扫描”。新建一个数据库漏洞扫描任务，这里为MySQL，输入地址、端口、实例名、数据库版本。选择相应的数据库漏洞扫描策略发起扫描……速度很快，大约不到1分钟即可扫描完毕。在写本文之前，为了测试效果，我们特意下载了MySQL的老版
2013-03-19 14:50:30
1599
转载 利用数据库漏洞扫描评估数据库安全性 4 弱口令扫描
在前面，我们给大家介绍了数据库漏洞扫描的一些知识，并且发起了一次针对Oracle数据库的“授权扫描”，现在我们进行一次“弱口令扫描”，因为弱口令实在是数据库几乎最大的威胁，所以，在数据库漏洞扫描中专列了“弱口令扫描”。本项的目标依然是Oracle数据库。发起扫描的方式如前面文章所言，在任务上鼠标右键“弱口令扫描”数据库漏洞扫描会列出任务包含的数据库服务器地址，填入数据库登录信息，这里用
2013-03-19 14:49:48
3055
转载 利用数据库漏洞扫描评估数据库安全性 3 授权扫描
前面我们已经给数据库漏洞扫描系统增加了扫描任务，现在我们开始发起一次授权扫描。授权扫描的意思是：在对数据库进行漏洞扫描的过程中，要输入帐号、口令等信息，属于“数据库管理员授权”进行的“正规”扫描。因为会输入帐号信息，因此可扫描的项目比其它方式更多。OK，下面我们开扫！右键在任务分组上选择我们创建的任务，这里是“Oracle 10g”，会弹出菜单，选择“授权扫描”。会自动读出
2013-03-19 14:48:32
2527
转载 利用数据库漏洞扫描评估数据库安全性 2 创建扫描任务
本文与大家一起，做一次Oracle数据库的漏洞扫描。测试环境：VMware下的Windows Server 2003 Oracle 10g（Windows版） 其它：无任何补丁 数据库漏洞扫描系统默认支持三员，以适应等级保护项目以及军工系统的数据库安全评估。首先，需要建立一个任务分组，如不同部门、不同管理员、不同数据库类型等，均可建立分组，以方便扫描任务的管理。这里的任务分
2013-03-19 14:46:43
1571
转载 利用数据库漏洞扫描评估数据库安全性 1 概述
无论是CRM、ERP，还是OA、CAPP，目前市面上不同厂家的产品也几乎全部是基于数据库的，就是说：C/S的也好、B/S的也好；内网的也好、公网的也好，亦或是各种“云”，几乎还是把数据保存到数据库里面。所以，数据库安全了，业务系统的安全性也就“基本上”得到了保障。今天游侠安全网拿到的这款数据库漏洞扫描系统支持较多的检测项，可以说在国内，甚至算上国外的数据库的数据库漏洞扫描品牌，本产品都丝毫不逊
2013-03-19 14:45:51
1751
原创 关于SOC系统的个人理解
1、SOC是什么SOC不是一个软件，也不是一个产品，它更倾向于一个安全框架，在安全框架下，进行多种功能的融合，需要人、技术、流程、策略相结合，才有了产品型SOC到运营型SOC的转变。2、为何要做SOC国内厂家基本都是在忽悠，把60分的东西吹成120分，加上种种其他的原因，导致目前一个成功的SOC项目，那做SOC到底为了什么，我的观点是为了提升安全运维能力，从被动式运维升级到价值式运维。
2013-03-19 14:35:41
5753
原创 postgresql PREPARE 用法
NamePREPARE -- 创建一个准备好的查询SynopsisPREPARE plan_name [ (datatype [, ...] ) ] AS statement描述PREPARE 创建一个已准备好的查询。 一个已准备好的查询是服务器端的对象，可以用于优化性能。 在执行 PREPARE 语句的时候，指定的查询被分析，重写以及规划。 当随后发出 EXE
2013-01-17 19:49:54
6178
转载 libnids中TCP/IP栈实现细节分析（下）——IP分片重组
在此之前，如果不懂IP分片技术的话，请参照这里。IP分片技术比较简单暴力，没有TCP那样复杂复杂的窗口协议。基本上只是暴力的拆分和重组，代码基本在ip_defragment.c中。先从总体上说说。首先，每个IP（主机）都会有IP分片包（注意是IP，不是IP对）。所以，每个IP都有一个如下的结构体来维护上面的所以IP分片：struct hostfrags { struct ipq *ip
2013-01-11 17:43:11
4842
转载 libnids中TCP/IP栈实现细节分析（上）——TCP会话重组
libnids是网络安全方面的一个库，可以用来检测网络上的攻击行为。其中最有价值的部分是，它模拟了linux内核中3层和4层的协议栈。可以供我们进一步研究linux内核中的TCP/IP协议栈做一些有价值的参考。这里简单谈谈这个库中模拟3、4层协议的实现细节（在继续读下去之前，有必要复习一下TCP/IP协议相关理论，主要是滑动窗口协议）。这里送上一张网上到处都有的TCP状态转化图，算是开胃小菜：
2013-01-11 17:39:46
8671
原创 MS Active Accessibility 接口技术
Microsoft© Active Accessibility 2.0 is a COM-based technology that improves theway accessibility aids work with applications running on Microsoft Windows?. Itprovides dynamic-link libraries that a
2012-12-20 10:07:20
3297
转载 一个基于线程池的WSAEventSelect模型服务器设计
//WSAEventSelect.h#include "CInitSocket.h"typedef struct _SOCKET_OBJ{ SOCKET sock; //套接字句柄 HANDLE hEvent; //与次套接字相关的事件对象句柄 sockaddr_in addrRemote; //客户端地址信息 _SOCKET_OBJ *pNext; //指向
2012-11-27 16:45:47
1235
原创 VC下让_FILE_输出相对路径
用VS2010编写C应用程序，有时要使用_FILE_定位到产生错误的那个源文件名。但在DEBUG模式下会默认输出完整的日志文件，会造成日志内容太长，看过去很不爽，修改之。Debug模式下，visual c++的编译器cl.exe会设置一个/ZI的选项，由于/ZI选项包含了/FC选项，这个选项会让代码中的__FILE__扩展成一个绝对路径的文件名，注意不是release的/Zi，这个选项让__F
2012-11-15 17:10:03
3212
原创 UNIX SIGIO信号的使用
windows平台下异步IO可以通过WSAEventSelcet来实现IO读写操作的异步通知，UNIX下也有一个类型的SIGIO信号来实现IO异步通知机制。为了验证该功能，自己做了一个 demo，发帖保存一下。1.首先初始化一个socket（当然也可以用其它的文件描述符）；将这个文件描述符设置成异步非阻塞；初始化一个SIGIO信号的处理函数struct sockaddr_in serv_a
2012-10-19 17:26:04
9710
原创 使用 OpenSSL API 进行安全编程
第一部分 概述 http://www.ibm.com/developerworks/cn/linux/l-openssl.html第二部分安全握手 http://www.ibm.com/developerworks/cn/linux/l-openssl2.html第三部分 提供安全服务 http://www.ibm.com/developerworks/cn/linux/l-op
2012-08-28 09:44:17
1086
转载 SSL原理
RSA公钥加密在计算机产业中被广泛使用在认证和加密。可以从RSA Data Security Inc.获得的RSA公钥加密许可证。公钥加密是使用一对非对称的密码加密或解密的方法。每一对密码由公钥和私钥组成。公钥被广泛发布。私钥是隐密的，不公开。用公钥加密的数据只能够被私钥解密。反过来，使用私钥加密的数据只能用公钥解密。这个非对称的特性使得公钥加密很有用。使用公钥加密法认证 认证
2012-08-28 09:41:27
729
原创 新浪微博XSS攻击源代码
function createXHR(){ return window.XMLHttpRequest? new XMLHttpRequest(): new ActiveXObject("Microsoft.XMLHTTP");}function getappkey(url){ xmlHttp = createXHR(); xmlHttp.open("GET",url,false);
2012-05-11 15:32:24
1937
转载 网络内容审计解决方案
随着我国电子政务系统的实施建设以及企业信息化的飞速发展，网络信息日益重要，内部人员对机密文件、敏感信息的窃取和泄漏，在互联网上发布和访问非法内容，以及在工作时间利用公司网络资源进行与工作无关的活动屡见不鲜，如何保证网络行为、信息内容的合规性、合法性、健康性已成为网络安全研究领域中的热点问题，在此背景下网络内容审计得到了快速的发展。 网络内容审计技术是针对网络流量中非法信息传播的问题，综合运用
2012-04-26 14:56:16
1838
转载 【防注入】实践有效的网站防SQL注入（一）
几年前，网站中大多数都存在sql注入。sql注入在这几年可以说已经被广大网站管理者所认知，并在搭建网站的时候都能注意到网站防注入这一问题，但为什么我们EeSafe现在收录的网站中，还是有很大一部分存在sql注入问题？我想并不是由于网站站长不知道sql注入的危害（危害我这里就不说了，大家可以去百度等搜索引擎上查找），而是由于网站对于像sql注入这样的问题的防范和发掘不够深造成的，这里我把防范sql的
2012-03-29 16:33:12
1523
转载 打造最快的Hash表
最近在网上看到篇文章，大家一起学习学习。先提一个简单的问题，如果有一个庞大的字符串数组，然后给你一个单独的字符串，让你从这个数组中查找是否有这个字符串并找到它，你会怎么做？有一个方法最简单，老老实实从头查到尾，一个一个比较，直到找到为止，我想只要学过程序设计的人都能把这样一个程序作出来，但要是有程序员把这样的程序交给用户，我只能用无语来评价，或许它真的能工作，但...也只能如此了。最合
2012-03-19 15:12:36
662
apk反编译利器 apktool
2011-08-13
Windows insertaller 安全清除工具
2010-02-09
数据挖掘：概念与技术
2009-01-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人