<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[MSDA的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/MSDA</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; MSDA]]></copyright><item><title><![CDATA[【无标题】]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/125641358</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/125641358</guid><author>MSDA</author><pubDate>Wed, 06 Jul 2022 15:50:12 +0800</pubDate><description><![CDATA[日常业务开发时，难免会遇到分页问题，按传统方式都是用limit来操作。当翻页过多的时候，就不得不面的深分页问题，导致查询性能急剧下降。]]></description><category></category></item><item><title><![CDATA[k8s读书笔记（一）k8s概念和架构概览]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/125315616</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/125315616</guid><author>MSDA</author><pubDate>Thu, 16 Jun 2022 14:37:46 +0800</pubDate><description><![CDATA[Kubernetes(以下简称K8s)是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单高效，Kubernetes提供了应用部署、规划、更新、维护的一种机制。 在Kubenetes中，所有的容器均在Pod中运行，一个Pod可以承载一个或者多个相关的容器。同一个Pod中的容器会部署在同一个物理机器上并且能够共享资源。一个Pod也可以包含0个或者多个磁盘卷组（volumes）,这些卷组将会以目录的形式提供给一个容器，或者被所有Pod中的容器共享。Docke]]></description><category></category></item><item><title><![CDATA[数据仓库流程控制组件]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/122501642</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/122501642</guid><author>MSDA</author><pubDate>Fri, 14 Jan 2022 20:24:26 +0800</pubDate><description><![CDATA[1. 流程控制组件
流程控制（也称工作流、任务流）是 ETL 重要的组成部分，通常是以 DAG 的方式配置，每次调用都会沿着有向无环图从前往后依次执行直至最后一个任务完成。
流程控制可以在 ETL 工具内配置，也可以在调度系统配置。传统 ETL 工具基本上都是单机版的，如果 ETL 的任务节点分布在多个服务器上，整体的流程依赖就会变的复杂起来（跨服务器的调度无法解决，就只剩下两种方法了：预估前置依赖完成时间、监控前置依赖运行状态比如将运行状态写入数据库等），这时候使用调度工具里的流程控制功能就是最优解。
2]]></description><category></category></item><item><title><![CDATA[Kakfa集群安装和部署]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/122442544</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/122442544</guid><author>MSDA</author><pubDate>Tue, 11 Jan 2022 21:50:59 +0800</pubDate><description><![CDATA[1. 安装启动kafka
1.1. 使用Docker方式进行安装
1.1.1. 下载镜像
docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

1.1.2. 启动

启动Zookeeper容器

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

1.1.2.1. 启动kafka容器，其中192.168.59.101是宿主机的IP地址
do]]></description><category></category></item><item><title><![CDATA[kafka 全配置项说明]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/122442495</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/122442495</guid><author>MSDA</author><pubDate>Tue, 11 Jan 2022 21:48:58 +0800</pubDate><description><![CDATA[文章目录1. kafka 全配置项说明1.1. 基本配置项1.2. kafka中Leader,replicas配置参数1.3. kafka中zookeeper参数配置
1. kafka 全配置项说明
1.1. 基本配置项

broker.id = 0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况
log.dirs=/data/kafka-logs   kafka数据的存放地址，多个地址的话用逗号分割 /d]]></description><category></category></item><item><title><![CDATA[大数据量背景下快速排重利器]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/122332739</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/122332739</guid><author>MSDA</author><pubDate>Wed, 05 Jan 2022 21:41:03 +0800</pubDate><description><![CDATA[一、前言

当我们使用主流数据结构如 Lists, Maps, Sets, Trees等等时，我可以得到确切的结果，无论这个数据存在或是不存在。概率数据结构能够提供一种基于内存的，快速的查找出一种可能而非确切的结果。这种概率数据结构就是布隆过滤器（Bloom filter）。 布隆过滤器可以检查值是“可能在集合中”还是“绝对不在集合中”。

2.1 定义

布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在]]></description><category></category></item><item><title><![CDATA[Spring-Security 核心类详解一]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/108846086</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/108846086</guid><author>MSDA</author><pubDate>Mon, 28 Sep 2020 11:11:19 +0800</pubDate><description><![CDATA[1. Spring-Security 核心类图

2. 核心类说明
2.1. SecurityContextHolder
SecurityContextHolder 是用来保存 SecurityContext 的。SecurityContext 中含有当前正在访问系统的用户的详细信息。默认情况下，SecurityContextHolder 将使用 ThreadLocal 来保存 SecurityContext，这也就意味着在处于同一线程中的方法中我们可以从 ThreadLocal 中获取到当前的 Secur]]></description><category></category></item><item><title><![CDATA[单例模式之懒汉模式&饿汉模式]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/108476518</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/108476518</guid><author>MSDA</author><pubDate>Tue, 08 Sep 2020 20:29:37 +0800</pubDate><description><![CDATA[文章目录1. 概述2. 懒汉模式2.1. 优缺点3. 饿汉模式4. 二者对比
1. 概述
单例模式属于创建型模式的一种，应用于保证一个类仅有一个实例的场景下，并且提供了一个访问它的全局访问点，如spring中的全局访问点BeanFactory，spring下所有的bean都是单例。单例模式的特点：从系统启动到终止，整个过程只会产生一个实例。
想必大家对上述的概念应该是耳熟能详了，但单例模式又细分为懒汉式，饿汉式，注册式，序列化式。下面比较一下懒汉式和饿汉式：
2. 懒汉模式

顾名思义，懒汉模式该只在你需要]]></description><category></category></item><item><title><![CDATA[kafka VS Rabbit]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/106627687</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/106627687</guid><author>MSDA</author><pubDate>Mon, 08 Jun 2020 20:12:26 +0800</pubDate><description><![CDATA[1. 前言
经历过多个基于微服务的场景，经常在问自己“到底是用Kafka还是Rabbit，二者之间该怎么选择，它们各有什么优点和缺点”。本文先从他们内部的消息传递模式说起。
2. 架构对比
2.1. Rabbitmq

RabbitMQ是一个通用的消息代理，通过包括点对点、请求/响应及发布订阅在内的多种消息通信模式。其采用的是一种智能代理/傻瓜消费的模式，侧重消息的持续投递与处理，并通过代理本身来维护消费者自身状态。RabbitMQ是一个设计成熟的消息代理中间件，支持包括Java, node.js, .NE]]></description><category></category></item><item><title><![CDATA[k8s快速精通（一）-k8s架构和关键术语]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/106165866</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/106165866</guid><author>MSDA</author><pubDate>Sat, 16 May 2020 21:52:08 +0800</pubDate><description><![CDATA[1. 初识K8s
1.1. K8s 架构


1.1.1. master：负责集群的管理和控制

etcd：保存了整个集群的状态；
ApiServer：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制；
ControllerManager：负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；
Scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；

1.1.2. node：计算节点，负责跑任务；只和APIServer通信

kubelet：负责维护]]></description><category></category></item><item><title><![CDATA[连接池配置清单]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/103678636</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/103678636</guid><author>MSDA</author><pubDate>Tue, 24 Dec 2019 10:24:49 +0800</pubDate><description><![CDATA[参考文献

(Druid连接池的实用配置详解)[https://blog.youkuaiyun.com/scholar_man/article/details/78844172]

配置参数




配置
缺省值
说明




name

配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。 如果没有配置，将会生成一个名字，格式是：“DataSource-” + System.ide...]]></description><category></category></item><item><title><![CDATA[使用sqoop从MySQL采集数据到HDFS]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/103586542</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/103586542</guid><author>MSDA</author><pubDate>Tue, 17 Dec 2019 19:52:15 +0800</pubDate><description><![CDATA[1. 使用sqoop从MySQL采集数据到HDFS
1.1. sqoop 安装和配置
1.1.1. 下载sqoop

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
解压缩到 /usr/local/sqoo...]]></description><category></category></item><item><title><![CDATA[InnoDB存储引擎]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/103287461</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/103287461</guid><author>MSDA</author><pubDate>Thu, 28 Nov 2019 09:29:20 +0800</pubDate><description><![CDATA[InnoDB存储引擎1. 连接mysql2. 数据库与引擎的关系3. 版本介绍4. 体系架构4.1. 后台线程4.1.1. **Master Thread**4.1.2. **IO Thread**4.1.3. **Purge Thread**4.1.4. **Page Cleaner Thread**4.2. 内存4.2.1. 缓冲池4.2.1.1. 缓冲池管理算法 -LRU算法4.2.2. 重...]]></description><category></category></item><item><title><![CDATA[openldap2.4 的同步&分布式部署方式]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/42177851</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/42177851</guid><author>MSDA</author><pubDate>Fri, 26 Dec 2014 21:55:20 +0800</pubDate><description><![CDATA[1、Syncrepl （全量模式）：slave服务器用拉的方式同步master数据，使用该方法最大的缺陷在于：当你修改了一个Entry中的任何一个属性，那么该方法会把所有的条目都同步过来。
2、Delta-syncrepl（增量模式）：比syncrepl多了一个基于日志的同步功能。每在master修改一条数据后，就会产生一个日志文件，salve通过master的日志进行相应的修改
3、N-WA]]></description><category></category></item><item><title><![CDATA[6、openldap的OLC配置]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/42175361</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/42175361</guid><author>MSDA</author><pubDate>Fri, 26 Dec 2014 19:12:35 +0800</pubDate><description><![CDATA[一、将配置转换成使用olc
1、停止LDAP服务器；
2、编辑slapd.conf
在第一个数据库配置之前加如下的配置项



# before the first database definitiondatabase config# NOTE: the suffix is hardcoded as cn=config and # MUST not have a suffix di]]></description><category></category></item><item><title><![CDATA[PyCharm 使用简介]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/38705525</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/38705525</guid><author>MSDA</author><pubDate>Wed, 20 Aug 2014 14:14:33 +0800</pubDate><description><![CDATA[最近由于项目需要，领导要求使用python以方便扩展，没有办法，赶]]></description><category></category></item><item><title><![CDATA[nginx_fastcgi_c++ 服务器环境搭建]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/38400059</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/38400059</guid><author>MSDA</author><pubDate>Wed, 06 Aug 2014 13:49:56 +0800</pubDate><description><![CDATA[1.Nginx
1.1.安装

Nginx 的中文维基 http://wiki.codemongers.com/NginxChs 下载
 Nginx 0.6.26（开发版）（请下载最新版本）tar zxvf nginx-0.6.26.tar.gz./configure，注意了类似checking for *** ... not found项，可能是依赖包没有，则需要安装依赖包缺少PCRE，]]></description><category></category></item><item><title><![CDATA[Storm源码结构 (来源Storm Github Wiki)]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/38305719</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/38305719</guid><author>MSDA</author><pubDate>Wed, 30 Jul 2014 19:52:08 +0800</pubDate><description><![CDATA[写在前面
本文译自Storm Github Wiki: 
Structure of the codebase，有助于深入了解Storm的设计和源码学习。本人也是参照这个进行学习的，觉得在理解Storm设计的过程中起到了重要作用，所以也帖一份放在自己博客里。以下的模块分析里没有包括Storm 0.9.0增加的Netty模块，对应的代码包在Storm Github下的storm-netty文件夹内]]></description><category></category></item><item><title><![CDATA[CURL 宏定义列表]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/38047809</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/38047809</guid><author>MSDA</author><pubDate>Tue, 22 Jul 2014 19:15:04 +0800</pubDate><description><![CDATA[列表CURL库一共有17个函数



         
   curl_close：关闭CURL会话
            curl_copy_handle：复制一个CURL会话句柄,同时3复制其所有参数
            curl_errno：返回最后一个错误码
            curl_error：返回一个字符串，用以描述当前会话的最后一个错误
      ]]></description><category></category></item><item><title><![CDATA[招聘广告]]></title><link>https://blog.youkuaiyun.com/MSDA/article/details/24468843</link><guid>https://blog.youkuaiyun.com/MSDA/article/details/24468843</guid><author>MSDA</author><pubDate>Fri, 25 Apr 2014 14:00:25 +0800</pubDate><description><![CDATA[招聘广告]]></description><category></category></item></channel></rss>