
分布式计算
文章平均质量分 82
guxch
愿意与大家讨论编程那点事。邮箱:guxch@sohu.com
展开
-
OpenResty使用(二)
OpenResty的使用。原创 2022-07-08 09:17:10 · 1069 阅读 · 1 评论 -
OpenResty使用(一)
OpenResty的使用介绍。原创 2022-07-07 14:38:10 · 2608 阅读 · 0 评论 -
Redis Stream使用要点
本文的适用于Redis6.0。一、流信息条目id流(stream)中信息条目的ID必须是单调增的,为此,redis采用时间戳+自增id这种方式来保证,并且这两个数都是64bit,不会有溢出问题,最后一点,redis在增加信息条目时会检查当前id与上一条目的id,自动纠正错误的情况,一定要保证后面的id比前面大。一个流中信息条目的ID必须是单调增的,这是流的基础,所以本文首先强调一下。几个特殊的ID:-,+:最小和最大可能出现的Id,也就是“0-1”和“最大整数-最大整数(64位)”$原创 2020-07-10 16:56:35 · 2010 阅读 · 0 评论 -
分布式协调器ZooKeeper3.4—管理员手册
【ZooKeeper是Apache Hadoop下的开源软件,是一个分布式的协调器,本文来自于Zookeeper的官方网站,地址为:http://zookeeper.apache.org/doc/r3.4.5/zookeeperAdmin.html】ZooKeeper Administrator's Guide:A Guide to Deployment and Administratio翻译 2013-02-01 17:21:28 · 4977 阅读 · 0 评论 -
Thrift介绍与应用(三)—hbase的thrift接口
一、概述Hbase是目前比较火的列存储数据库,由于Hbase是用Java写的,因此它原生地提供了Java接口,对非Java程序人员,怎么办呢?幸好它提供了thrift接口服务器,因此也可以采用其他语言来编写Hbase的客户端,本文即是Hbase C++接口的介绍。目前的Hbase(0.94.11,本文即基于此版本)有两套thrift接口(可以叫thrift1和thrift2),它们并不兼容原创 2013-09-29 14:43:51 · 52779 阅读 · 4 评论 -
thrift介绍及应用(四)—hadoop的thrift接口
一、概述hadoop是目前使用比较多的分布式文件系统,由于hadoop是用Java写的,对非Java程序人员,不好直接使用它的接口,不过它提供了thrift接口服务器,因此也可以采用其他语言来编写hadoop的客户端,本文主要介绍的是它C++客户端的使用。目前hadoop稳定版是1.2.1,thrift接口文件位于/src/contrib/thriftfs/if/hadoopfs.thri原创 2013-09-29 16:08:20 · 12659 阅读 · 1 评论 -
hadoop2.0介绍(一)
一、概述现在大数据很“热”,hadoop系列(也称为The Hadoop Project Ecosystem)东西随着也很“热”,不过hadoop也确实有此“资本”,hadoop起源于google的产品,本身就是为海量数据量身定做的。Hadoop大致在2005-2006年成形,经过几年的发展,估计明年能出2.0正式版。2.0版与1.0版有比较大的区别(开源产品的硬伤:随意性比较大),具体来说,原创 2013-11-26 10:04:14 · 13807 阅读 · 1 评论 -
hadoop2.0介绍(二)
(接上文)2. YARN(MapReduce NextGen/MRv2)这三个名字都在说明一个东西,改进的mapreduce。(注:有些文章中,将YARN与MapReduce分开,认为YARN是MapReduce的基础/支撑,具体的分布式计算的实现依然是MapReduce,这样理解也可以,本文是将它们合在一起介绍。)Mapreduce包含三方面的内容:终端用户使用的API及使用原创 2013-11-26 10:04:58 · 6675 阅读 · 0 评论 -
HDFS 用户手册(Apache Hadoop 2.1.1-beta)
(Apache Hadoop 2.1.1-beta,摘自http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html)目的概述先决条件Web接口Shell命令DFS管理命令备用NameNodeCheckpoint节点Backup节点引入检查点翻译 2014-01-13 10:14:22 · 5021 阅读 · 0 评论 -
HDFS架构(Apache Hadoop 2.1.1-beta)
(Apache Hadoop 2.1.1-beta,摘自http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html)HDFS Architecture HDFS架构Introduction 引言The Hadoop Distributed File System翻译 2014-01-16 15:35:17 · 3711 阅读 · 0 评论 -
分布式协调器ZooKeeper3.4—程序员手册
【ZooKeeper是Apache Hadoop下的开源软件,是一个分布式的协调器,本文来自于Zookeeper的官方网站,地址为:http://zookeeper.apache.org/doc/r3.4.5/zookeeperProgrammers.html】Programmer'sGuide:Developing Distributed Applications that use Zo翻译 2013-02-01 17:28:39 · 5510 阅读 · 1 评论 -
分布式协调器ZooKeeper3.4—入门
【ZooKeeper是Apache Hadoop下的开源软件,是一个分布式的协调器,本文来自于Zookeeper的官方网站,地址为:http://zookeeper.apache.org/doc/r3.4.5/zookeeperStarted.html】GettingStarted: Coordinating Distributed Applications with ZooKee翻译 2013-02-01 09:13:33 · 2785 阅读 · 0 评论 -
分布式协调器ZooKeeper3.4—概述
【ZooKeeper是Apache Hadoop下的开源软件,是一个分布式的协调器,本文来自于Zookeeper的官方网站,地址为:http://zookeeper.apache.org/doc/r3.4.5/zookeeperOver.html)】ZooKeeper: A Distributed Coordination Service forDistributed Applic翻译 2013-02-01 09:08:42 · 3888 阅读 · 0 评论 -
Hypertable - 架构
Architecture(http://hypertable.com/documentation/architecture/)架构Google ArchitectureGoolge的架构Hypertable is a massively scalable databasemodeled after Google's Bigtable database. Bigtable翻译 2012-07-18 22:19:45 · 2459 阅读 · 0 评论 -
Hypertable在Ubuntu12.04上standalone模式的安装
前段时间,花精力翻译了Hypertable官方网站上的有关文档,还有参考手册,比较长,以后有时间再说。翻译这些文档,其实也是自己学习消化的过程。下面就从安装起,来一次Hypertable之旅。本人使用的是64位Ubuntu(建议使用64位,否则会有麻烦),版本为12.04,本文及以后的测试,都是基于该操作系统。本文是Hypertable最简单的一种安装:standalone,Hyp原创 2012-08-07 22:19:52 · 1277 阅读 · 0 评论 -
Hypertable - 程序员指南
Developer Guide开发者手册(http://hypertable.com/documentation/developer_guide/) Tableof ContentsHQL TutorialHadoop MapReduceHadoop Streaming MapReduceRegular Expression FilteringAtomic Counters翻译 2012-08-07 21:52:36 · 6050 阅读 · 0 评论 -
Hypertable - 安装-Hadoop
【 Hypertable有几种安装方式,入下表:1. 单机:安装于单机,采用本地文件系统2. Hadoop:分布式安装,在Hadoop之上(HDFS)3. MapR:分布式安装,在MapR之上4. ThriftBroker:在应用服务器上安装ThriftBroker】 Hadoop(http://hypertable.com/documentation/installa翻译 2012-07-25 22:45:10 · 3086 阅读 · 2 评论 -
Hypertable - 安装-MapR
【 Hypertable有几种安装方式,入下表:1. 单机:安装于单机,采用本地文件系统2. Hadoop:分布式安装,在Hadoop之上(HDFS)3. MapR:分布式安装,在MapR之上4. ThriftBroker:在应用服务器上安装ThriftBroker】MapR(http://hypertable.com/documentation/installation/翻译 2012-07-27 08:24:11 · 3491 阅读 · 0 评论 -
Hypertable - 安装-ThriftBroker
【 Hypertable 有几种安装方式,入下表:1. 单机:安装于单机,采用本地文件系统2. Hadoop:分布式安装,在Hadoop之上(HDFS)3. MapR:分布式安装,在MapR之上4. ThriftBroker:在应用服务器上安装ThriftBroker 】ThriftBroker only(http://hypertable.com/do翻译 2012-07-27 16:45:19 · 1812 阅读 · 0 评论 -
Hypertable - 安装-单机
【 Hypertable 有几种安装方式,入下表:1. 单机:安装于单机,采用本地文件系统2. Hadoop:分布式安装,在Hadoop之上(HDFS)3. MapR:分布式安装,在MapR之上4. ThriftBroker:在应用服务器上安装ThriftBroker 】Standalone(http://hypertable.com/documentation/i翻译 2012-07-25 22:34:51 · 2522 阅读 · 0 评论 -
对Hypertable中数据行存储的理解
一、背景Hypertable与Hadoop中HBase一样,是一种分布式No SQL库,本文结合作者对Hypertable的理解,描述一下对这种key-value存储形式的表的理解。关于Hypertable的基础知识,见作者翻译的系列文章。以下的例子基于mytable这个表,表的定义如下:CREATETABLE mytable(name,score,desc,ACCESS GR原创 2012-09-30 23:03:50 · 1337 阅读 · 0 评论 -
Hypertable - 管理指南
Administrator GuideThis document provides information on how to administer a hypertable deployment.本文描述如何管理Hypertable。Table of ContentsMonitoring SystemHypertable安装监控指导翻译 2012-08-07 22:16:48 · 1769 阅读 · 0 评论 -
C++语言实现的WebService开发库—gsoap应用介绍
因为项目中需要使用WebService,所以将webservice的有关东西温故了一下。以前采用C#,这几乎不成什么问题,毕竟C#与WebService几乎是同时火起来的,所以C#天然地支持webservice就不奇怪了。Java的情况大致与C#一样,C/C++就不同了,还好有gSOAP,就用一下吧。一、gSOAP简介gSOAP是一个开发SOAP和XML应用(它们组成了webservice原创 2013-01-16 17:06:24 · 12583 阅读 · 10 评论 -
Hypertable - 概述
【注:近来需要使用分布式数据库,就把Hypertable看了一下,现将官方网站的有关文档翻译出来,供大家参考。】Overview(http://hypertable.com/documentation/)概述Hypertable is a high performance, opensource, massively scalable database modeled afte翻译 2012-07-18 22:19:05 · 1919 阅读 · 0 评论