- 博客(21)
- 收藏
- 关注
RSS订阅原创 Sentry源码之HiveServer2鉴权过程
前言Sentry是Hadoop生态中的一员，扮演着“守门人”的角色，看守着大数据平台的数据安全的访问。它以Plugin的形式运行于组件中，通过关系型数据库（PostgreSQL、MySQL）或本地文件来存取访问策略，对数据使用者提供细粒度的访问控制。本文试图在源码层剖析Sentry的鉴权过程，以帮助更好的理解权限的鉴定过程。博客地址Sentry源码之HiveServer2鉴权过程Sen
2018-01-20 09:50:41
2488
原创 AtomicXFieldUpdater，属性原子修改的外部工具类
前言最近在看资料的时候偶然间看到了AtomicLongFieldUpdater这个工具类，觉得新鲜就查阅了相关的资料，发现居然是jdk1.5就有的工具类，不禁感叹自己对Java的理解还是太浅了，于是在此整理一下该类的资料，作为知识储备。本篇博客原文地址AtomicXFieldUpdater，属性原子修改的外部工具类AtomicXFieldUpdater根据名字，我们可以知道Atom
2018-01-20 09:49:30
519
原创 VMware虚拟机添加磁盘
前言最近在搞使用CDH安装Hadoop的时候，需要搭建一个内网的yum源(参考使用httpd搭建内网yum源)，并把CDH的RPM包放上去，方便虚拟机内网使用yum进行安装。由于我最开始虚拟机内网yum源只设置了20G的磁盘，硬盘剩余空间已经不够用，因此考虑给该虚拟机添加硬盘，并将该硬盘挂载到httpd的子目录上，在该磁盘上单独放CDH的包。
2017-10-19 16:00:32
4069
原创 zookeeper与etcd
背景最近在看到Pachyderm的介绍时，看到作者拿YARN和Kubernetes做类比，拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解，毕竟他们都有资源管理和调度的职能，只不过YARN上运行的对象是JVM，而Kubernetes上运行的是容器。但是拿Zookeeper和etcd来类比我就有些不懂了，在我之前的概念里zookeeper并不是一个存储组件啊，
2017-09-29 14:31:46
1179
原创 MapReduce1的工作原理
背景《Hadoop权威指南》这本书上关于MapReduce的工作机制进行了详细的介绍，job运行过程每一步的讲解比较清晰，在此进行整理和汇总。MapReduce1 简介MapReduce1 是Hadoop2.0之前的MapReduce程序调度机制，也就是YARN出现之前的经典调度模型，最顶层包含了4个独立的实体。客户端， 提交MapReduce程序jobtracker，协调作业的运行。
2017-09-27 15:29:20
459
翻译 （翻译）Pachyderm介绍-建造一个现代的Hadoop
背景最近在调研时发现了Pachyderm这个项目，感觉他们做的工作挺有意思的。Pachyderm将Docker和Hadoop联合起来，旨在使得大数据分析的过程更加便捷，众多非Java语言的工具也可以方便的使用到大数据的分析中来，并在HDFS的基础上增加了版本控制，使得数据可以进行增量分析。我在Medium上看到一篇相关介绍，讲的比较详细，原文是英文的，因此翻译下来分享一下，也方便自己之后的查阅。 原
2017-09-26 20:51:05
2516
原创 Ambari 功能简介
背景最近在做关于Hadoop集群的可视化部署相关的调研，发现了Ambari这个有趣的东西，在使用的过程中，整理了一部分功能列表，在此分享。Ambari简介Ambari是Hortonworks开源的Hadoop平台的管理软件，具备Hadoop组件的安装、管理、运维等基本功能，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。功能列表操作级别：
2017-09-26 20:48:44
24450
原创 VMware下仅主机模式（host-only）下的ip配置
在编程学习中，很多时候，我们希望将数据库和软件的运行进行分离，比如软件通过ip地址连接到数据库进行存储操作，但由于学习成本有限，我们通常的办法是将数据库装在虚拟机上，在主机（host）上模拟一个远程连接的操作，此时就需要主机通过ip可以访问到VMware上安装的虚拟机。VMware的网络配置有三种：桥接、仅主机模式、NAT模式。桥接模式在连接有线的时候，可以直接获取ip，主机通过该ip可以访问虚拟机
2016-09-04 16:21:11
37101
3
翻译 地图和地理空间革命：地理学大规模开放在线课堂（MOOC）
作者：Anthony C. Robinson, Joseph Kerski, Erin C. Long, Heng Luo, DavidDiBiase，Angela Lee地理和John A.达顿电子学院，宾夕法尼亚州立大学，302步行者大厦，大学园区，PA16802，USA; ESRI的公司，380纽约街，雷德兰兹，CA92373，USA（首稿：2014年5月13日，最终稿：2014
2016-07-13 11:45:40
3793
原创 HTML5中的Indexed Database
Indexed Database一种在浏览器中通过JavaScript操作的功能的数据库，为同一个源执行的程序共享空间，在同一个源拥有的空间中可以创建多个数据库，而在1个数据库中又可以创建多个对象存储。 对象存储类似于mongDB中的数据集合。 连接数据库：var indexedDB = window.indexedDB ||
2015-05-11 16:21:13
495
原创 Web Storage
Web Storage 是一种简单的将JavaScript处理的数据永久保存的接口，它可以让我们不通过服务器进行数据的读写，可以很好的减少和服务器的通信，实现离线操作。 特点： 1、以键值对的形式存储 2、能够以普通JavaScript对象的方式进行读写 Web Storage提供了同源服务的共享内存，不同服务，只要源相同，就可以共享存储，大部分浏览器
2015-05-11 15:29:18
623
原创 HTML5中缓存技术
通过指定HTML文件的缓存文件列表，就可以使客户端缓存列表中的文件到本地，这一特性可以减少不必要的通信访问，甚至可以开发离线使用的web应用程序。下面是一个简单的例子。在HTML中指定缓存列表文件后缀为appcache，但其实并没有规定特定的拓展名，但为了清楚文件的用途，推荐使用.appcachecache.html test cache Cac
2015-05-08 12:20:15
819
原创 javascript中闭包学习笔记
闭包，从代码的形式上是在函数声明的内部声明另一个函数，从功能上讲，闭包是一种具有状态的函数，函数内的局部变量在函数调用后仍然有效。下面是一个闭包的简单的例子： function f(){ var cnt = 0; return function(){ return ++cnt;}}var fn=f(); //将函数的返回值赋给变量fn();
2015-05-04 15:35:58
473
原创 HashSet的存储机制
Java中Set接口下的HashSet类是一个存储不可重复数据的集合，可是我们在用的时候往往发现，明明看似重复的数据，HashSet仍然存储了进去，这不免让我们感到疑惑，不是说存储不可重复的数据的吗？下面通过实验一步一步搞懂HashSet的存储机制。 1、假设有以下类public class Student { String stuName; public Student()
2015-04-24 10:45:09
3806
原创 VS2010中String^的几个常用类型转换
因为课程设计不得不用C++来写，而且底层函数字符串返回的都是unsigned char* 的，而VS2010中窗口控件中显示的字符串都是String^ ，所以整个过程基本上就是在各个类型之间进行转换，第一次用VS写程序，也是第一次接触.NET，刚开始真是被各个类型转换搞得头疼，下面总结一下用到的几个关于String^ 转换，希望以后用到的时候可以方便，也希望可以方便他人。 1、
2015-04-24 10:15:35
3308
原创 VS2010连接SQLSERVER2008数据库的步骤
1、在要连接数据库的类中使用using namespace System::Data::SqlClient; 将类型引入2、定义一个连接对象，以便后续连接 private: SqlConnection^ myconnection;//定义一个数据库连接对象3、编写连接数据库的函数 private: System::Void connect(){try{myconn
2015-04-21 22:39:37
1926
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人