
大数据
IT8421
这个作者很懒,什么都没留下…
展开
-
Hbase+Hadoop+Zookeeper集群(含排错)
Hbase+Hadoop+Zookeeper集群一、服务器规划和基础配置*RM-ResourceManager,HM-HMaster,SN-SecondaryNameNode,NM-NodeManager,HR-HRegionServer IP Hostname 角色 10.0.0.1 Node...原创 2019-04-15 22:11:46 · 1275 阅读 · 0 评论 -
大数据排序问题
问题一个文件中有9亿条不重复的9位整数,对这个文件中数字进行排序直接想法9亿条(9e8)数据,每个数据能用int存储因此所需要内存 **9e8*4B = 3.6e9B = 3.6GB**,这是装载所需要的 排序复杂度一般都是nlogn因此需要的内存更大方法一 数据库排序将文本文件导入到数据库中,让数据库进行索引排序操作后提取数据到文件。评价操作简单, 运算速度较慢,...原创 2019-04-12 23:00:28 · 204 阅读 · 0 评论 -
详解Linux运维工程师高级篇(大数据安全方向)
hadoop安全目录: kerberos(已发布) elasticsearch(已发布)https://blog.51cto.com/chenhao6/2113873 knox oozie ranger apache sentry 简介: 从运维青铜到运维白银再到运维黄金,这里就要牵扯到方向问题也就是装备,根据自己的...原创 2019-04-16 23:01:23 · 374 阅读 · 0 评论 -
K8S认证、授权与准入控制(RBAC)详解
前言RBAC (Role-Based Access Control,基于角色的访问控制)是一种新型、灵活且使用广泛的访问控制机制,它将权限授予“角色”(role)之上,这一点有别于传统访问控制机制中 将权限直接赋予使用者的方式,简单点来说就是将权限绑定到role中,然后用户和role绑定,这样用户就拥有了和role一样的权限。 在任何将资源或服务提供给有限使用者的系统上,认证和授权都是两个必...原创 2019-04-18 22:21:45 · 3971 阅读 · 0 评论