raoping2017-优快云博客

转载 Nginx/LVS/HAProxy 负载均衡软件的优缺点详解

文章目录1、概述 2、nginx 负载均衡功能介绍 3、LVS 介绍 4、HAProxy 介绍 5、总结1、概述Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV

2017-05-15 19:40:59 796

原创 redis 集群中 Slave-read-only 参数的使用注意事项

文章目录1、概述2、redis 集群中 Slave-read-only 参数的使用注意事项3、操作示例4、小结1、概述介绍 redis 集群参数使用技巧。2、redis 集群中 Slave-read-only 参数的使用注意事项如果为yes，代表为只读状态，但并不表示客户端用集群方式以从节点为入口连入集群时，不可以进行set操作，且set操作的数据不会被放在从节点的槽上，会被放到某主节点的

2017-05-11 15:08:53 24581 10

原创 redis 集群中主节点被系统杀掉问题

文章目录1、概述2、问题描述3、解决方法1、概述redis 运行问题的处理。2、问题描述redis 集群中主节点被系统杀掉问题。3、解决方法原因调查：由于主从不同步并且主从差异（数据差异）过大，从节点向主服务器发送全同步命令（全部数据的同步动作），主服务器接收命令 fork() 出子进程利用 copy-on-write 方式持久化数据库，由于在持久化时还在对主节点进行操作，所以此时子进程会

2017-05-11 14:32:31 3238

原创 kafka 运行问题：kafka.common.KafkaException: Failed to acquire lock on file .lock 的处理

文章目录1、概述2、问题描述3、解决方法1、概述kafka 运行问题，kafka 异常退出后重启的问题。2、问题描述[2016-08-31 10:42:36,015] INFO shutting down (kafka.server.KafkaServer)[2016-08-31 10:42:36,017] INFO Terminate ZkClient event thread. (or

2017-05-11 14:24:06 17153 1

原创 kafka 运行问题：ERROR Uncaught error in kafka producer I/O thread 的处理

文章目录1、概述2、问题描述3、解决方法1、概述kafka 运行问题处理。2、问题描述ERROR Uncaught error in kafka producer I/O thread: (org.apache.kafka.clients.producer.internals.Sender)org.apache.kafka.common.protocol.types.SchemaExce

2017-05-11 14:14:35 9062 1

原创安装 dpdk-ans 时的编译问题：librte_ans.a(ans_init.o): unrecognized relocation (0x2a) in section `.text'

文章目录1、概述2、问题描述3、解决方法1、概述https://github.com/opendp/dpdk-ans 程序安装编译过程环境问题的解决。2、问题描述dpdk-ans/librte_ans/librte_ans.a(ans_init.o): unrecognized relocation (0x2a) in section `.text'/usr/bin/ld: final

2017-05-11 12:30:16 8756

原创基于 dpdk-nginx 的 c1000k 并发研发

文章目录1、概述2、dpdk 介绍3、ans 简介4、dpdk-nginx 简介5、nginx 和 dpdk-nginx 压测数据对比6、小结7、后续问题1、概述本文简单介绍 dpdk 和 ans，以及基于 ans 用户协议改造的 nginx -- dpdk-nginx 的使用方式和压测数据，以说明 dpdk-nginx 在单机上的 c1000k 并发性能。2、dpdk 介绍

2017-05-07 19:41:49 5088 1

原创 redis 集群搭建过程及搭建问题处理

文章目录1、Redis 简介2、Redis 集群搭建3、Redis 集群搭建问题记录1、Redis 简介 Redis 的主从复制技术，当实现了多节点的 master-slave 后，我们也可以把它叫做集群，它主要是利用切片技术来组建的集群。集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点，这里我们需要一个规则或者算法，通常的做法是获取 key 的哈希值，然后根据节

2017-05-02 22:25:55 685

原创 kafka 集群搭建过程及搭建问题处理

文章目录1、Kafka 简介2、Zookeeper 集群搭建3、Kafka 集群搭建4、Kafka 集群搭建问题记录1、Kafka 简介 Kafka是一个消息系统，由LinkedIn贡献给Apache 基金会，称为Apache 的一个顶级项目；Kafka对消息保存时根据 Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer，无论是Kafka集群，还是Pro

2017-05-02 22:14:49 2392

原创 nginx 惊群处理及原子锁技术

文章目录1、nginx 原子锁实现介绍2、处理惊群实现原理3、gcc 原子操作4、nginx 原子锁自实现程序1、nginx 原子锁实现介绍 Nginx中的锁是自己实现的，分为两种，一种是支持原子实现的原子锁，另外一种是文件锁。本文我们重点介绍原子锁的实现。我们可以看到在线程中实现锁就是通过一个共享的堆上的内存（通过malloc实现），那么在进程中实现锁也是通过这样一个共享的

2017-05-01 15:26:23 861

原创 openresty 开发入门

文章目录1、openresty 安装2、lua 测试程序3、nginx.conf 文件配置4、系统启动1、openresty 安装（1）下载 openresty-1.9.15.1.tar.gz；（2） tar -xzvf openresty-1.9.15.1.tar.gz；（3）进入 openresty-1.9.15.1；（4） ./configure --prefix=/opt/

2017-05-01 14:16:15 537

原创 nginx 事件驱动模型

目录1、概述2、nginx 高并发能力的原因3、nginx 时间驱动模块代码介绍1、概述本贴讲述 nginx 事件驱动模型工作原理及工作流程介绍。2、nginx 高并发能力的原因为什么 nginx 可以采用异步非阻塞的方式来处理呢，或者异步非阻塞到底是怎么回事呢？我们先回到原点，看看一个请求的完整过程。首先，请求过来，要建立连接，然后再接收数据，接收数据后，再发送数据。具体到

2017-05-01 10:21:32 918

原创 nginx 架构入门

目录 1、概述 2、nginx 进程模型 3、进程模型代码介绍1、概述本帖讲解 nginx 框架代码及框架工作的基本流程。2、nginx 进程模型 nginx在启动后，会有一个master进程和多个worker进程。master进程主要用来管理worker进程，包含：接收来自外界的信号，向各worker进程发送信号，监控worker进程的运行状态，当worker进程退出后(异常情况下)，

2017-04-30 23:06:22 435

原创 c 通用 makefile

文章目录1、概述 2、makefile 3、使用1、概述通用的 c 程序 makefile。2、makefile ver=debug# 源文件，自动找所有 .c 和 .cpp 文件，并将目标定义为同名 .o 文件SOURCE := $(wildcard *.c) $(wildcard *.cpp)OBJS := $(patsubst %.c,%.o,$(patsubst %.c

2017-04-10 18:44:38 508

转载千万级规模高性能、高并发的网络架构经验分享

前言这篇文章是我见到过讲架构比较深刻的一篇文章了，虽然也有不太懂的地方，但整体上讲理论与实践相结合，有理有据的，是篇不错的文章，所以这里整理一下，转载出去，感谢作者的分享。转载于：http://www.cnblogs.com/shanyou/p/5048099.html文章目录1、架构以及我理解中架构的本质2、新浪微博整体架构是什么样的3、大型网站的系统架构是如何演变的4、微博的技术挑战和正

2017-04-07 10:33:05 1816

原创关于本微博的文档的使用权限说明

本人创立本技术微博的主旨是资源共享，其中的技术文档、代码均可无条件转载、复制、使用，如转载请标明出处，谢谢。

2017-04-06 17:11:04 467

原创红黑树的应用开发及性能测试

1、概述本文主要描述红黑树的概念、经典应用场景，并在应用开发层面示例代码说明红黑树的高效特性。2、epoll 与红黑树 epoll 的高效就在于，当我们调用 epoll_ctl 保存上百万个句柄，epoll_wait 仍然可以飞快的返回，并有效的将发生事件的句柄给我们用户。这是因为我们在调用epoll_create 时，linux 内核除了帮我们在 epoll 文件系统里建了个 fi

2017-04-06 16:45:10 1677

此程序最早是基于网上的一个 select 程序开发的，后来让我改造成 epoll 模型的并发程序，最后又稍作改造并测试，形成现在的程序，最早的程序出处已经忘记了。其中对于 epoll 的 ET 和 LT 模式的使用一开始存在一些误解，这主要是由于一开始参考的网上的一些例子导致的，最终看了一个兄弟的帖子（参考链接1），针对 ET 和 LT 的正确使用，才解决了开始并发静态业务无法达到 nginx 接近

2017-03-31 16:39:16 1561

原创开篇

最近在看 nginx 的源码，尝试着用 epoll 实现了一个高并发网络模型，经过几番努力终于实现，其处理静态页面的并发能力与 nginx 相差无几，这个结果也得意于网络上兄弟们的各种分享贴，自己也有一些技术心得，为了回馈互联网的资源共享和兄弟们的付出，决定开放自己的技术微博，将自己技术研发过程分享出来供大家学习使用。其实，一直都有整理 code 的习惯，整理的每个小程序都一可以作为一篇微

2017-03-30 16:38:16 398

raoping2017的博客