<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a458131857的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a458131857</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a458131857]]></copyright><item><title><![CDATA[kafka笔记-KafkaProducer]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/115420076</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/115420076</guid><author>a458131857</author><pubDate>Sat, 03 Apr 2021 20:37:17 +0800</pubDate><description><![CDATA[KafkaProducer

1. 主要的成员变量

KafkaThread：producer启动的时候会创建一个线程，这个线程里面有个重要的Sender

Sender:sender也是在producer初始化化的时候创建的,两个重要的东西KafkaClient（即NetWorkClient）,还有个重要的东西RecordAccumator

发送数据的时候会调用recordAccumator.append方法，recordAccumator内部有个暂存数据的ConcurrentMap,这里主要维护了一个]]></description><category></category></item><item><title><![CDATA[hadoop原理巧用到异地机房双活]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/107074686</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/107074686</guid><author>a458131857</author><pubDate>Thu, 02 Jul 2020 01:13:57 +0800</pubDate><description><![CDATA[为什么要考虑hadoop集群异地双活？因为我们一般集群的建设基本上都是部署在同一个地方，为了保证公司业务24小时不间断服务，所以必须要考虑集群的高可用，而我们常见的高可用一般是给A集群搞个灾备集群B集群，A、B集群不会再同一个机房，A、B集群的数据同步依赖于hadoop自身提供的工具distcp，那么discp有什么缺点呢。

1.长时间占用yarn资源

2.一般只同步重要的部分数据（这一点其实没毛病）

3.两个集群必须所有节点必须网络畅通

4.天级别数据延迟，因为我们可能一天24小时都在同步...]]></description><category></category></item><item><title><![CDATA[idea右键run一个mini-hadoop集群]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/107074578</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/107074578</guid><author>a458131857</author><pubDate>Wed, 01 Jul 2020 23:42:28 +0800</pubDate><description><![CDATA[仓库地址：https://github.com/changkunw/hadoop-mini-cluster

这个代码是我从hadoop的源码里面扣了一部分出来，然后做了些修改，可以实现在idea里面就启动NameNode和DataNode，方便理解hadoop源码。

运行，runMiniClusterExample





运行之后就可以在启动一个迷你的hadoop集群了，


...]]></description><category></category></item><item><title><![CDATA[Netty使用经验总结]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/105661602</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/105661602</guid><author>a458131857</author><pubDate>Tue, 21 Apr 2020 16:37:56 +0800</pubDate><description><![CDATA[不得不说的netty里面万能tcp粘包解决组合（变长协议）

LengthFieldPrepender
LengthFieldBasedFrameDecoder

我认为netty里面提供的这两个东西，组合使用能够解决在任何场景的tcp粘包的问题，所以在用netty解决tcp粘包的时候，一定要学会这套组合拳，使用这两个东西就是说发送消息的时候，将消息的长度带上，然后根据消息的长度来进行拆包。（这两...]]></description><category></category></item><item><title><![CDATA[hadoop client获取Active NameNode 小窍门]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/105218370</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/105218370</guid><author>a458131857</author><pubDate>Tue, 31 Mar 2020 11:20:12 +0800</pubDate><description><![CDATA[获取NameNode的方法
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(configuration);
DistributedFileSystem dfs = (DistributedFileSystem) fileSystem;
DFSClient client...]]></description><category></category></item><item><title><![CDATA[yarn的两种ContainerExecutor]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/104947347</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/104947347</guid><author>a458131857</author><pubDate>Wed, 18 Mar 2020 16:20:07 +0800</pubDate><description><![CDATA[yarn里面的资源分配器给了两种，分别是：DefaultContainerExecutor和LinuxContainerExecutor，这两个都继承ContainerExecutor

区别

DefaultContainerExecutor不会做cpu的分配，只做内存的分配
LinuxContainerExecutor可以做cpu的分配，即采用这种资源分配器才会有提交到yarn的任务才会有c...]]></description><category></category></item><item><title><![CDATA[Dbvisualizer连接大数据带Kerberos的hive]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/95205300</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/95205300</guid><author>a458131857</author><pubDate>Tue, 09 Jul 2019 17:20:51 +0800</pubDate><description><![CDATA[工具
MIT Kerberos : https://web.mit.edu/kerberos/kfw-4.1/kfw-4.1.html
DBVisualizer ：https://www.dbvis.com/download/10.0   根据自己需要选择是否需要带jdk的
安装软件
软件安装默认下一步，没有什么需要注意的
本地环境变量配置

krb5.ini ： 可以从集群中拷贝一个，放到c:\...]]></description><category></category></item><item><title><![CDATA[java最佳实践]]></title><link>https://blog.youkuaiyun.com/a458131857/article/details/50263337</link><guid>https://blog.youkuaiyun.com/a458131857/article/details/50263337</guid><author>a458131857</author><pubDate>Fri, 11 Dec 2015 14:25:04 +0800</pubDate><description><![CDATA[java 最佳实践Java 是在世界各地最流行的编程语言之一, 但是看起来没人喜欢使用它。而 Java 事实上还算是一门不错的语言，随着 Java 8 最近的问世，我决定编制一个库，实践和工具的清单，汇集 Java 的一些最佳实践。作者博客.目录
风格 
结构
构建器模式
Immutable Object Generation
Exceptions
依赖注入
避免空值
默认不可变更
避免大量的工具类]]></description><category></category></item></channel></rss>