- 博客(30)
- 收藏
- 关注
RSS订阅原创 eclipse下编译hadoop源代码(转)
hadoop是一个分布式存储和分布式计算的框架。在日常使用hadoop时，我们会发现hadoop不能完全满足我们的需要，我们可能需要修改hadoop的源代码并重新编译、打包。下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译。因项目使用的hadoop版本是0.20.2，所以我们基于hadoop-0.20.2来进行二次开发。（1）首先从svn上签出源代码
2017-07-28 15:55:17
247
原创 hadoop mapred
hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限.先编辑mapred-site.xml，修改配置如下(增加四个队列):property> name>mapred.queue.namesname>
2017-07-28 15:54:58
312
原创 部署与管理ZooKeeper(转)
本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方面，可以查看《ZooKeeper快速搭建》。1.部署本章节主要讲述如何部署ZooKeep
2017-07-28 15:54:34
218
原创 ZooKeeper典型应用场景(转)
ZooKeeper典型应用场景一览数据发布与订阅（配置中心） 发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样：应用在启动的时候会主动来获取一次配置，同时，在节点上注
2017-07-28 15:54:08
187
转载 ZooKeeper概述(转)
ZooKeeper是一个用于分布式应用的开源分布式协调服务。它提供了简单的原语集合，分布式应用可在这些原语之上构建用于同步、配置维护、分组和命名的高层服务。ZooKeeper的设计使得编程容易，并且使用类似于广泛熟知的文件系统目录树结构的数据模型。它运行在Java环境中，但是有Java和C语言绑定。分布式协调服务是出了名的难得编写正确，很容易出现竞争条件和死锁之类的错误。ZooKeeper
2017-07-28 15:53:49
167
原创 ZooKeeper程序员指南(转)
1 简介本文是为想要创建使用ZooKeeper协调服务优势的分布式应用的开发者准备的。本文包含理论信息和实践信息。本指南的前四节对各种ZooKeeper概念进行较高层次的讨论。这些概念对于理解ZooKeeper是如何工作的，以及如何使用ZooKeeper来进行工作都是必要的。这几节没有代码，但却要求读者对分布式计算相关的问题较为熟悉。这四节是：l ZooKe
2017-07-28 15:53:29
149
原创 HBase体系结构(转)
HBase的服务器体系结构遵循简单的主从服务器架构，它由HRegion服务器（HRegion Server）群和HBase Master服务器（HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器，而HBase中所有的服务器都是通过ZooKeeper来进行协调，并处理HBase服务器运行期间可能遇到的错误。HBase Master Serv
2017-07-28 15:53:00
394
转载 通过Java Api与HBase交互(转)
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.
2017-07-28 15:52:16
146
转载 HBase配置性能调优(转)
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServ
2017-07-28 15:51:42
182
原创 JAVA正则表达式：Pattern类与Matcher类详解(转)
以下我们就分别来看看这两个类：一、捕获组的概念捕获组可以通过从左到右计算其开括号来编号，编号是从1 开始的。例如，在表达式 ((A)(B(C)))中，存在四个这样的组：1 ((A)(B(C)))2 (A)3 (B(C))4 (C)组零始终代表整个表达式。 以 (?) 开头的组是纯的非捕获 组，它不捕获
2017-07-28 15:51:23
145
转载 JavaScript/Jquery返回顶部代码
返回顶部 "utf-8" /> "text/javascript" src="jquery-1.8.2.js"> "text/css"> body{ height:2000px; } #scrollTop{ posi
2017-06-15 12:00:07
270
转载 js对数组按顺序排序
console.log("------默认排序(ASCII字符排序)------"); var arr = [1,2,55,12,88]; arr.sort(); //ASCII字符代码从小到大排序 console.log(arr.toString()); console.log("------自定义函数排序------"); var arr1 = [1,2,55,1
2017-06-15 11:59:43
442
转载 一些JS常用的方法
/** * JS公用类库文件 */ (function(){ Tools = { W: window, D: document, Postfix: ".php", GetId: function(id){return document.getElementById(id)}, hi
2017-06-15 11:59:18
172
转载 怎样提高WebService的性能
服务器端WebService程序using System.Runtime.Serialization.Formatters.Binary;using System.IO;using System.IO.Compression;using System.Data.SqlClient;………public class Service1 : System.Web.Servi
2017-06-15 11:54:06
209
原创 Microsoft Enterprise Library 5.0 系列(三)
一、简介及用途在实际的项目开发中，我们总会需要对数据进行验证，以保证数据的可靠性，而为了使这些验证可以在不同的地方进行复用（如winform、web、WPF等），就需要将验证进行封装，EntLib的Validation模块就为我们解决了这个问题而产生的，其内置了多种常见的验证器，如字符串、日期、类型转换、正则表达式等，同时还提供了自定义验证的接口，方便我们根据实际的业务需求进行扩展。
2017-06-15 11:53:45
212
转载 Microsoft Enterprise Library 5.0 系列(四)
企业库日志应用程序模块工作原理图:从上图我们可以看清楚企业库日志应用程序模块的工作原理,其中LogFilter,Trace Source,Trace Listener,Log Formatter的信息都可以在Category配置文件中反映出来,通过配置文件,调用LogWriter类的Writer方法,就可以将包含日志信息的LogEntry实体写入Category配置文件中指定的设备
2017-06-15 11:53:13
470
转载 Expression Blend学习二UI布局
什么是布局？· Panels控件（其实就是容器控件）· 对内部的子控件提供了自动布局功能· 可以在容器控件内继续添加容器控件（一个复杂的界面往往是多种容器控件嵌套而组成的）· 一些界面器控件也是嵌套了容器控件而组成的（比如ListBox就嵌套了StackPanel控件）· 你也可以自己来制作一些容器控件一些常见的布局控件Canvas最
2017-06-15 11:52:53
249
转载 Expression Blend学习四控件
Expression Blend制作自定义按钮1.从Blend工具箱中添加一个Button,按住shift,将尺寸调整为125*125;2.右键点击此按钮，选择Edit control parts(template)>Edit a copy...3.在弹出的Create style resource对话框中，修改新按钮样式的名称4.在左侧的Objec
2017-06-15 11:50:37
214
原创 Expression Blend学习5控件
Expression Blend ButtonStyle- TextButton本章以TextButton为例，讲解如何最简单，最快速的制作一个专业的TextButton。对于这个TextButton的需求是这样的，鼠标悬浮时，光标变为“手指”，并改变按钮的前景色，鼠标按下时，有明显的按下的感觉。都会遇到一个问题，ContentPresenter没有Foreground属性
2017-06-15 11:49:09
1421
原创 Expression Blend学习动画基础
什么是动画（Animation）？动画就是时间+换面的组合，画面跟着时间变化。最常见的是flash的动画，还有GIF动态图片。动画的主要元素时间线（Timeline）：定义了值随着时间的变化方式。有不同类型的时间线，可用于改变不同类型的值。所以时间线的基类都是Timeline。为了连续改变double，可以使用DoubleAnimation类。Timeline的主要
2017-06-15 11:47:56
1383
原创 WPF三维图形
wpf 三维图形基础生成三维图形的基本思想是能得到一个物体的三维立体模型（model）。由于我们的屏幕只有二维，因而我们定义了一个用于给物体拍照的照相机（Camera）。拍到的照片其实是物体到一个平坦表面的投影。这个投影由3D渲染引擎渲染成位图。引擎通过计算所有光源对3D空间中物体的投影面反射的光量，来决定位图中每个像素点的颜色。物体的每一个表面都有一种材质（material）和一个画刷(
2017-06-15 11:47:38
642
转载 Quora的技术探索
关于问答类的应用，最早接触的是stackoverflow和知乎 ，而Quora作为知乎的原型，因为其创始人来自FaceBook而吸引了我。事实上关于Quora的技术分析，冯大辉和陈皓都已经有所详细的阐述：《Quora 用了哪些技术 ?》《Quora使用到的技术》。通过他们的文章，我看到了一篇更详细的说明《Quora’s Technology Examined》。看完以后感觉有很多东西值得深
2017-06-15 11:46:59
200
原创 CentOS搭建python开发环境
装了个CentOS 5.5，想在上面搭个python的开发环境，可是还是遇到了很多问题，记录一下过程：1、python升级 查看python版本python -VPython 2.4.3因为python3的变化很大，还是希望用新的版本，goole了一把，看到有一个指导贴:cd /usr/local/srcwget http://www.p
2017-06-15 11:46:01
277
转载 Linux命令扫盲 之 sar
今天在读《大规模Web服务开发技术》一书的时候，书中提到了sar这个命令，感觉很有用，有必要整理学习一下。（对于一位Linux初学者，不能放过任何一个学习机会 ：P）打开自己的CentOS，敲入“sar”，表示很失望：[root@localhost ~]# sar bash: sar: command not found竟然没有安装，不过还好linux下安装还是非常方便
2017-06-15 11:45:41
193
转载 href=#与href=javascriptvoid(0)的区别
href=#与href=javascriptvoid(0)的区别＃"包含了一个位置信息默认的锚点是＃top 也就是网页的上端而javascript:void(0) 仅仅表示一个死链接这就是为什么有的时候页面很长浏览链接明明是＃可是跳动到了页首而javascript:void(0) 则不是如此所以调用脚本的时候最好用void(0)或者
2017-06-15 11:40:31
119
转载 JQuery 判断checkbox是否选中，checkbox全选，获取checkbox选中值
DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">html xmlns="http://www.w3.org/1999/xhtml">head>meta http-equiv="Content-Type"
2017-06-15 11:38:04
217
转载 php位运算 与 或 异或 取反
* 13&7 13的补码 00000000 00000000 00000000 00001101 7的补码 00000000 00000000 00000000 00000111 13&7 00000000 00000000 00000000 00000101 = 5 5|4 5的补码 00000000 00000000 00000000 00000101 4的补码 00000000 000000
2017-06-15 11:37:45
393
转载 PHP session 跨子域问题总结
Session主要分两部分：一个是Session数据，该数据默认情况下是存放在服务器的tmp文件下的，是以文件形式存在另一个是标志着Session数据的Session Id，Session ID，就是那个 Session 文件的文件名，Session ID 是随机生成的，因此能保证唯一性和随机性，确保 Session 的安全。一般如果没有设置 Session 的生存周期，则 Session
2017-06-15 11:37:04
290
转载 HTTP、FTP状态码 汇总
HTTP1xx - 信息提示（这些状态代码表示临时的响应。客户端在收到常规响应之前，应准备接收一个或多个 1xx 响应。 ）• 100 - 继续。• 101 - 切换协议。2xx - 成功（这类状态代码表明服务器成功地接受了客户端请求。）• 200 - 确定。客户端请求已成功。• 201 - 已创建。• 202 - 已接受。• 203 - 非权威性信
2017-06-15 11:36:39
324
转载 Js实现页面跳转的几种方式
第一种："javascript" type="text/javascript"> window.location.href="login.php?backurl="+window.location.href; 第二种： alert("返回");window.history.back(-1);
2017-06-15 11:36:12
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人