Make progress step by step everyday.....

转载URL：  http://blog.youkuaiyun.com/wulantian/article/details/42705283//CDH安装配置kerberos认证过程---coco# by coco# 2014-12-23CDH-5.2.0-1.cdh5.2.0安装成功，已经运行了几个月了。现在把确实的认证安装配置上。下面是详细的安装配置过程，已经过程中遇到的

前言HDFS 是一个能够面向大规模数据使用的，可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作 而不会有数据损失。一、HDFS体系结构1、Na

Hadoop集群磁盘IO非常高问题描述如图：原因很多：1：停止应用程序2：停止服务3：监控linux系统 ，检测磁盘

深刻理解HDFS工作机制  http://www.cnblogs.com/wxisme/p/6270860.html　深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。

Hbase服务启动以及shell命令使用遇到的问题

使用process_monitor.sh监控hadoop进程的crontab配置 可以从下列链接找到process_monitor.sh：https://github.com/eyjian/mooon/blob/master/common_library/shell/process_monitor.sh------------------------------------

原文地址： InputFormat的数据划分、Split调度、数据读取三个问题的浅析http://www.aboutyun.com/thread-6803-1-1.html(出处: about云开发)在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Spli

转载请注明出处：http://www.cnblogs.com/xiaodf/本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。1. 准备测试数据123456cat /tmp/events.csv10.1.2.3,US,android,c

#大数据/数据挖掘/推荐系统/机器学习相关资源Share my personal resources ##书籍* 各种书~各种ppt~更新中~ * 机器学习经典书籍小结 * 机器学习&深度学习经典资料汇总 #视频* 浙大数据挖掘系列 * 用Python做科学计算 * R语言视频

4种常用压缩格式在Hadoop中的应用目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。--------------------------------------分割线 ----------------------------

作为大数据工程师，你必须熟练运用的性能优化技术 作为大数据工程师，你必须熟练运用的性能优化技术 2016-09-21 吴朱华大数据 大数据大数据微信号 hzdashuju功能介绍 大数据蕴藏着丰富的信息和价值，如何处理好大数据并发掘其潜藏的商业价值，这是大数据时代的新挑战。我们将为大家提供与大数据相关的最新技术和资讯。作者介绍吴朱

CDH 的Kerberos认证配置博客分类：  Hadoop http://xubo8118.blog.163.com/blog/static/1855523322013918103857226/关于：hadoop的安全机制 hadoop kerberos的安全机制 参考Cloudera官方文档：Configuring

GitHub      Kerberos参考链接： + Configuring Authentication in Clouera Manager + Understanding Kerberos + Instlling Kerberos + Troubleshooting Authentication Issues + Configuring YARN for L

目录(?)[+]HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机

HDFS原理解析（整体架构，读写操作流程及源代码查看等）前言HDFS 是一个能够面向大规模数据使用的。可进行扩展的文件存储与传递系统。是一种同意文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来訪问文件的动作。由程序与用户看来，就像是訪问本地的磁盘一般。即使系统中有某些节点脱机，总体来说系统仍然能够持续运作而不会有数据损失。 一...