
hadoop
文章平均质量分 72
database520
当你回首往事的时候,觉得努力过,没亏待过自己,那么就是不枉此生。
展开
-
hadoop系统运维-linux quta配置
1. 客户端 quta 配额修改(1) 编辑账户/群组的阀值与宽限时间用edquota去设置用户myquota1的磁盘使用限制。七个栏位的意义分别是:(1)檔案系統 (filesystem):說明該限制值是針對哪個檔案系統 (或 partition);(2)磁碟容量 (blocks):這個數值是 quota 自己算出來的,單位為 Kbytes,請不要更動他;原创 2014-04-09 23:35:46 · 535 阅读 · 0 评论 -
redis基本命令及应用场景
在安装redis目录下,执行./bin/redis-server redis-conf来启动redis的服务,执行./bin/redis-cli来启动redis客户端,在客户端操作命令。一、String数据类型1、String是redis数据库中最基本的数据类型,可以接受图片、json格式数据,redis中的字符串的value最多可以容纳512m2、基本命令append key v原创 2015-12-17 00:05:28 · 449 阅读 · 0 评论 -
hadoop伪分布环境搭建
hadoop的伪分布(单节点) 1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置 使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统) 2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证原创 2015-12-30 23:24:04 · 274 阅读 · 0 评论 -
Hadoop分布式集群安装
1、准备3台机器 192.168.80.111 cluster111 192.168.80.112 cluster112 192.168.80.113 cluster1132、在伪分布搭建的基础上,为另外2台机器设置主机名、IP映射关系、免密码登录3、执行ssh-copy-i xxx ,把公钥复制去另外一台机器,使得两台机器可以互相免密码原创 2016-01-01 10:24:59 · 232 阅读 · 0 评论 -
MapReduce:超大机群上的简单数据处理(Google三大论文之一)
摘要网络MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数据,原创 2016-02-02 17:18:13 · 381 阅读 · 0 评论 -
Google's BigTable 原理(Google三大论文之一)
摘自网络题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。 ------ 编者 官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 RSS 数据源。 以下发言 是 Andrew Hitchcock 在 2005原创 2016-02-02 17:26:36 · 784 阅读 · 0 评论 -
Google File System(中文翻译) (Google三大论文之一)
摘自网络Google文件系统 GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 (1)设计想定 GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了它与早期的文件系统明显不同原创 2016-02-02 17:28:08 · 318 阅读 · 0 评论