
大数据
清晨的炸鸡啤酒花生米
这个作者很懒,什么都没留下…
展开
-
学习MapReduce?这一篇就够了
看到一篇非常不错的帖子,通俗易懂! https://blog.youkuaiyun.com/zuochang_liu/article/details/81842773?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160440151219724836715912%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=16044015121972483671原创 2020-11-03 19:43:27 · 1948 阅读 · 10 评论 -
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
在Windows做MapReduce案例的时候遇到这个问题,通过以下方法设置成功解决。 解决方案 检查环境变量是否配置正确 Hadoop bin目录下hadoop.dll和winutils.exe c:\windows\system32 下的hadoop.dll 64位jdk 如果环境变量没有问题,那么将bin目录下的hadoop.dll复制到C:\Windows\System32目录下,重新运行试一下 如果上诉方案依然没有解决问题可以将NativeIO.java复制到IDEA中,建好对应的包即可。原创 2020-11-03 13:45:34 · 1745 阅读 · 3 评论 -
HDFS的黑白名单机制
HDFS的黑白名单机制 黑名单 - 在网络SEO优化当中,搜索引擎或者义务用户收集的搜索引擎垃圾制造者列表,可以用于从搜索引擎封杀这些垃圾制造者,或者抵制他们。 白名单 - 白名单的概念与“黑名单”相对应。如果设立了白名单,则在白名单中的用户(或IP地址、IP包、邮件等)会优先通过,不会被当成垃圾邮件拒收,安全性和快捷性都大大提高。 通俗来讲,黑名单策略就是名单中记录的节点不能通过,其他记录放行。与之相对应的白名单就是只有名单中的记录可以通过,未记录的信息不能通过。 HDFS—添加白名单 由于集群中添加原创 2020-10-30 19:20:26 · 1350 阅读 · 11 评论 -
RPC协议是什么?RPC协议与HTTP协议的区别
什么是RPC协议? RPC是一种远程过程调用的协议,使用这种协议向另一台计算机上的程序请求服务,不需要了解底层网络技术的协议。 在 RPC 中,发出请求的程序是客户程序,而提供服务的程序是服务器。 HTTP是一种超文本传输协议。是WWW浏览器和WWW服务器之间的应用层通讯协议。 RPC协议与HTTP协议的区别 RPC是一种API,HTTP是一种无状态的网络协议。RPC可以基于HTTP协议实现,也可以直接在TCP协议上实现。 RPC主要是用在大型网站里面,因为大型网站里面系统繁多,业务线复杂,而且效率优势非原创 2020-10-29 10:13:55 · 1579 阅读 · 2 评论 -
什么是Zookeeper的容灾性?
什么是Zookeeper的容灾性? Zookeeper本身是分布式存储,至少3个节点,里面分leader和follower 简单来说,就是有一个主节点,另外2个从节点一旦某个节点挂掉了,Zookeeper会自动通过选举产生一个新的节点继续提供服务;而一旦这个坏掉的节点又重新好了,会自动加入到节点集群里面中这个机制保障了对外提供服务不会中断,就是Zookeeper的容灾性 ...原创 2020-10-27 19:18:00 · 510 阅读 · 0 评论 -
偏向锁机制
偏向锁的机制 为什么需要偏向锁? 在大多数的情况下,锁不仅不存在多线程的竞争,往往是某个线程多次获得锁。为了降低线程获得锁和释放锁带来的性能消耗,因此引入了偏向锁和轻量级锁。偏向锁主要是降低单线程访问时频繁加锁,释放锁的消耗,当前线程一旦获得锁,再无竞争的情况下,那么下次访问代码块相当于几乎零成本的获得锁,不需要维护轻量级锁。 偏向锁的加锁过程 一个线程获得代码块的偏向锁,java对象头的MarkWord和栈帧的锁记录会存储偏向线程的ID。每次该线程出入代码块时,不需要进行CAS加锁和解锁,只要确认Mark原创 2020-10-26 20:10:27 · 463 阅读 · 0 评论