<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[may_fly的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/may_fly</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; may_fly]]></copyright><item><title><![CDATA[零拷贝]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/104192449</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/104192449</guid><author>may_fly</author><pubDate>Thu, 06 Feb 2020 10:23:21 +0800</pubDate><description><![CDATA[零拷贝介绍
零拷贝是从操作系统角度看的，是没有CPU拷贝
零拷贝不是不需要拷贝，而是减少不必要的CPU拷贝次数
主要是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源 ，也就是说缓冲区之间没有数据是重复的
零拷贝是网络编程的关键，很多性能优化都离不开它
零拷贝的优势

减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务
减少内存带宽的占用
通常零拷贝技术还能够...]]></description><category></category></item><item><title><![CDATA[基于NIO的聊天室]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/104192361</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/104192361</guid><author>may_fly</author><pubDate>Thu, 06 Feb 2020 10:16:26 +0800</pubDate><description><![CDATA[功能
1)编写一个 NIO 群聊系统，实现服务器端和客户端之间的数据简单通讯（非阻塞）
2)实现多人群聊
3)服务器端：可以监测用户上线，离线，并实现消息转发功能
4)客户端：通过channel 可以无阻塞发送消息给其它所有用户，同时可以接受其它用户发送的消息(由服务器转发得到)
基本知识
三种网络I/O
BIO
同步阻塞 IO，Block IO，IO 操作时会阻塞线程，并发处理能力低。
Sock...]]></description><category></category></item><item><title><![CDATA[spark streaming背压机制]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/103922862</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/103922862</guid><author>may_fly</author><pubDate>Fri, 10 Jan 2020 13:27:09 +0800</pubDate><description><![CDATA[spark streaming背压机制
背压机制产生的背景
背压(back pressure)机制主要用于解决流处理系统中，业务流量在短时间内剧增，造成巨大的流量毛刺，数据流入速度远高于数据处理速度，对流处理系统构成巨大的负载压力的问题。
如果不能处理流量毛刺或者持续的数据过高速率输入，可能导致Executor端出现OOM的情况或者任务崩溃。
旧版背压机制(spark1.5之前)
旧版架构图

r...]]></description><category></category></item><item><title><![CDATA[Leetcode--91.Decode Ways]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/103356832</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/103356832</guid><author>may_fly</author><pubDate>Mon, 02 Dec 2019 20:47:40 +0800</pubDate><description><![CDATA[Decode Ways
题目链接
https://leetcode.com/problems/decode-ways/
题目表述
A message containing letters from A-Z is being encoded to numbers using the following mapping:
'A' -&gt; 1
'B' -&gt; 2
...
'Z' -&gt; 26...]]></description><category></category></item><item><title><![CDATA[hive中map/reduce数量的问题]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/102888436</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/102888436</guid><author>may_fly</author><pubDate>Sun, 03 Nov 2019 22:39:23 +0800</pubDate><description><![CDATA[hive的map和reduce数量如何确定
map的数量

确定map的数量：主要决定因素有input文件的总个数，input中文件的大小，集群设置的文件块大小(默认128M，可在hive shell中通过set dfs.block.size查看)三种
举例：文件不足128M则当做一个块，大于128M则拆分

input目录下有七个文件，大小均为64M，则共7个map
input目录下有10M，1...]]></description><category></category></item><item><title><![CDATA[spark操作hive初实验]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/102794994</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/102794994</guid><author>may_fly</author><pubDate>Tue, 29 Oct 2019 10:48:24 +0800</pubDate><description><![CDATA[spark操作hive初实验
IDEA基于mave搭建spark操作hive环境
pom.xml配置如下
&lt;?xml version="1.0" encoding="UTF-8"?&gt;
&lt;project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSc...]]></description><category></category></item><item><title><![CDATA[spark中aggregateByKey算子详解]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/102587712</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/102587712</guid><author>may_fly</author><pubDate>Wed, 16 Oct 2019 16:19:23 +0800</pubDate><description><![CDATA[参数：(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) =&gt; U,combOp: (U, U) =&gt; U)


作用：在kv对的RDD中，，按key将value进行分组合并，合并时，将每个value和初始值作为seq函数的参数，进行计算，返回的结果作为一个新的kv对，然后再将结果按照key进行合并，最后将每个分组的value...]]></description><category></category></item><item><title><![CDATA[JAVA API连接HBase 错误：java.net.UnknownHostException]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/101265421</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/101265421</guid><author>may_fly</author><pubDate>Tue, 24 Sep 2019 10:13:33 +0800</pubDate><description><![CDATA[使用java api连接hbase时提示如下错误

环境




hostname
ip
user
jps




mayfly
192.168.1.102
mayfly
Jps， HRegionServer， QuorumPeerMain， Kafka， JobHistoryServer， NameNode， HMaster， DataNode， NodeManager


mayfly
192...]]></description><category></category></item><item><title><![CDATA[ubuntu /etc 设置权限777带来的问题--/sudoers权限错误]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/101264827</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/101264827</guid><author>may_fly</author><pubDate>Tue, 24 Sep 2019 09:17:08 +0800</pubDate><description><![CDATA[错误
sudo: /etc/sudoers is world writable
sudo: no valid sudoers sources found,quitting
sudo: unable to initialize policy plugin

解决方案？

首先网上的大多数教程是，使用su命令，但是ubuntu默认禁用了root用户，所以这个行不通
网上的另一批教程，使用命令pkexe...]]></description><category></category></item><item><title><![CDATA[kafka集群安装]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/100973390</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/100973390</guid><author>may_fly</author><pubDate>Wed, 18 Sep 2019 09:57:56 +0800</pubDate><description><![CDATA[kafka的安装
1. 解压安装包
tar -zxvf kafka_2.11-0.11.0.0.tgz -C target_dir/
2. 修改文件名称
mv kafka_2.11-0.11.0.0/ kafka
3. 在kafka目录下创建logs文件夹
mkdir logs
4. 修改配置文件
vim kafka/config/server.properties
修改内容如下:
#broker...]]></description><category></category></item><item><title><![CDATA[spring boot @RequestMapping详解]]></title><link>https://blog.youkuaiyun.com/may_fly/article/details/99819042</link><guid>https://blog.youkuaiyun.com/may_fly/article/details/99819042</guid><author>may_fly</author><pubDate>Tue, 20 Aug 2019 09:37:23 +0800</pubDate><description><![CDATA[@RequestMapping
参考： https://www.oschina.net/translate/using-the-spring-requestmapping-annotation
这个注解会将 HTTP 请求映射到 MVC 和 REST 控制器的处理方法上。
注:path和value这两个属性是一样的，用于指定HTTP请求资源（URI）的实际映射地址，当不指定具体的属性值时，默认是给...]]></description><category></category></item></channel></rss>