- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hbase整体架构剖析
概念Hbase是一个开源的、面向列的、稀疏的、适合存储海量非结构化和半结构化的、具备高性能、高可靠性、可灵活扩展的、支持实时数据读写的分布式数据储存系统。典型特征：大表：一个表可以有上亿行，上百万个列； 面向列：面向列（族）的存储、检索和权限控制； 稀疏：表中为空（null）的列不占用存储空间。 数据类型单一：HBase 中的数据类型只有一种String 无模式：每...
2018-11-16 16:48:25
3111
3
转载 hadhoop安装
文章出处：http://www.aboutyun.com/forum.php?mod=viewthread&tid=6153&extra=page%3D11. 前言本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。2. Hadoop家族截止2009-8-19日，整个Hadoop家族由以下几个子项目组成：...
2018-09-03 17:16:02
2414
转载 MapReduce 中Shuffle的工作原理
写的很详细，有些流程不是很懂，转载此文，方便以后学习，文章转载来自https://www.cnblogs.com/ljy2013/articles/4435657.htmlMapReduce 中Shuffle的工作原理 所谓Shuffle过程可以大致的理解成：怎样把map task的输出结果有效地传送到reduce输入端。也可以这样理解， Shuffle描述着数据从map task输出到...
2018-09-03 15:44:01
2629
原创 MapReduce 工作原理解析
MapReduce 工作原理图 原理图流程分析：user program链接了MapReduce库，实现了最基本的Map函数和Reduce函数。图中执行的顺序都用数字标记了。MapReduce库把输入文件进行分片（分成M份，M为用户定义），每一份通常有16MB到64MB，然后使用fork将用户进程拷贝到集群内其它机器上。 master是任务调度者，为空闲wor...
2018-09-03 10:56:52
421
原创 Linux操作命令
1.Linux系统下的文件结构"/":所有目录的根节点，linux系统就这一个目录，其余的目录都是其子目录。"..":上一级目录".":当前目录2.常用命令（入门级）1.创建一个/data目录 (make directory) 方法一：mkdir /data 方法二：cd / mkdir data 拓展： cd .. 返回上一...
2018-09-02 17:33:25
240
转载 CAS实现单点登录SSO执行原理探究
说明：文章写的很不错，对我帮助很大，特地转载一下。原文链接：https://blog.youkuaiyun.com/javaloveiphone/article/details/52439613一、不落俗套的开始1、背景介绍单点登录：Single Sign On,简称SSO，SSO使得在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。CAS框架：CAS（Centr...
2018-08-21 17:09:01
156
原创 git入门之运行机制与基本操作
1.git 运行机制 工作区：电脑里能直接看到的目录。 暂存区：一般存放在 ".git目录下" 下的index文件（.git/index）中， 本地仓库：工作区有一个隐藏目录.git,这个就是本地仓库，也称版本库。如下图，该文件是隐藏文件。远程仓库：托管代码，国内的有码云，国外有github。可以把自己的代码上传上去与人共享，也可以把别人的代码Down下来。2.基本操作...
2018-08-12 20:39:48
1213
原创 Linux系统上搭建Redis分布式集群
前提：Redis服务器已经搭建目的：搭建伪分布式，实现一台虚拟机运行6个Redis实例具体步骤：1.把之前安装Redis的bin文件如果开了AOF持久层配置，这里若有.aof文件也要删掉（最后只保留下面的7个文件）2.把该bin文件复制6份，保存在redis-cluster的子文件下3.修改每个redis.conf文件中的属性：port端口号，clust...
2018-07-30 08:21:30
520
原创 关于Java远程连接linux系统中的Redis服务器报错（connect timed out）解决
Caused by: redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: connect timed out 上述为异常代码。异常原因：CentOS防火墙没有关。在CentOS中防火墙默认是开启的，接下来介绍CentOS6和CentOS7两个版本关防火墙的方法。...
2018-07-28 18:37:13
2486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人