
网络
yyoc97
--
展开
-
Mac固定虚拟机IP
mac上实现虚拟机之间,虚拟机与主机互联 如标题所示,我们需要在mac上实现虚拟机之间的互联。以方便我们后续分布式项目开发。而在集群项目中我们经常需要设定节点IP,如果不固定IP的话会带来诸多的不便。所以我们最好的方式就是设置虚拟机静态IP地址。而网络上更多的是windows的设置教程,关于mac的却很少。今天找到一篇介绍关于vmvare-fusion 静态ip设置的问题,才得以解决http原创 2017-10-20 10:23:00 · 4098 阅读 · 0 评论 -
Spark为何使用Netty通信框架替代Akka
解决方案: 一直以来,基于Akka实现的RPC通信框架是Spark引以为豪的主要特性,也是与Hadoop等分布式计算框架对比过程中一大亮点,但是时代和技术都在演化,从Spark1.3.1版本开始,为了解决大块数据(如Shuffle)的传输问题,Spark引入了Netty通信框架,到了1.6.0版本,Netty居然完成取代了Akka,承担Spark内部所有的RPC通信以及数据流传输。 网络IO扫盲贴...转载 2018-12-20 00:49:17 · 345 阅读 · 0 评论 -
ip关联城市数据下载及源码
github 数据清洗之ip地址解析:https://github.com/wzhe06/ipdatabase 简述 获取某个城市只需要把IpHelper 类下95行0改为1。 // 源码 IpHelper.findRegionByIp(ip) 方法默认是返回省份 String province = row.getCell(0).getStringCellValue(); ...转载 2018-12-26 12:35:29 · 431 阅读 · 0 评论