may_fly的博客

零拷贝介绍 零拷贝是从操作系统角度看的，是没有CPU拷贝 零拷贝不是不需要拷贝，而是减少不必要的CPU拷贝次数 主要是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源 ，也就是说缓冲区之间没有数据是重复的 零拷贝是网络编程的关键，很多性能优化都离不开它 零拷贝的优势 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够...

功能 1)编写一个 NIO 群聊系统，实现服务器端和客户端之间的数据简单通讯（非阻塞） 2)实现多人群聊 3)服务器端：可以监测用户上线，离线，并实现消息转发功能 4)客户端：通过channel 可以无阻塞发送消息给其它所有用户，同时可以接受其它用户发送的消息(由服务器转发得到) 基本知识 三种网络I/O BIO 同步阻塞 IO，Block IO，IO 操作时会阻塞线程，并发处理能力低。 Sock...

spark streaming背压机制 背压机制产生的背景 背压(back pressure)机制主要用于解决流处理系统中，业务流量在短时间内剧增，造成巨大的流量毛刺，数据流入速度远高于数据处理速度，对流处理系统构成巨大的负载压力的问题。 如果不能处理流量毛刺或者持续的数据过高速率输入，可能导致Executor端出现OOM的情况或者任务崩溃。 旧版背压机制(spark1.5之前) 旧版架构图 r...