- 博客(41)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 测试Hadoop的启动顺序及遇到的问题
测试环境：一个namenode一个secondary namenode，以实现namenode的HA三个datanode节点两个RM，以实现Resource Manager的HA共部署了7个虚拟机，操作系统是Ubuntu 14. 所有虚拟机是在本机加载，所以为了节省资源，Zookeeper分别部署在三个datanode节点上。 Hadoop的sbin目录下的star...
2016-05-02 20:30:58
1827
原创 给公司研发部门培训的HDFS的PPT文档及问题答疑
之前的一篇博客说到，公司请的大数据培训师那简直一个差啊，就差直接说自己是骗子。忍无可忍之下，搭建了个环境，简单跑了一下，然后把HDFS的主要代码翻了一遍。不得不说，设计的真不错。不过据说当年的初期的版本代码啥的也很烂。 写了两份关于HDFS的培训文档，给研发部门培训了下。后面原准备接着来两次mapreduce和spark的培训，因为种种原因，一直耽搁下来。HDFS培训完针对同学提出的问...
2016-04-06 23:30:30
221
原创 Hadoop2.7.1安装的一些坑
1. 在/etc/profile里更新了JDK的版本，因为Hadoop2.7只能使用JDK1.7，更新后，需要即时更新，可以使用命令>. /etc/profile. 2. hadoop 2.7 的Eclipse plugin没有测试成功，但是Hadoop官方网站已经提供了开发工具，实际上也是一个Eclipse的plugin（http://hdt.incubator.apache.o...
2016-04-06 23:21:10
254
原创 Hadoop1.0部署的各种坑及解决之道
2015年由于对公司请的外部的大数据讲师的水平实在不敢恭维，所以就准备搭个环境熟悉一下环境，进步研究一下源代码。所以在本机搭了几个虚拟机，分别对应namenode,datanode(3),secondarynamenode。当时部署的时候使用的是1.0的稳定版本，但是各种坑。耐着性子一点点调试下，也就顺手记在一个word文档里。最近忽然有写博客的念头，就先把手头上有的东西先发上来。 ...
2016-04-06 22:28:22
346
Restlet实战（三十）(完结篇)运行流程之源代码分析(续)
前面一篇文章分析了servlet里init方法，包括init方法本身以及调用的方法源代码，这篇文章继续，按照servlet的生命周期，接下去会调用servlet的service方法： @Overridepublic void service(HttpServletRequest request, HttpServletResponse response) throws Servl...
2009-08-24 14:25:56
205
Restlet实战（二十九）(完结篇)运行流程之源代码分析
终于到了完结篇，也体会到写书人的痛苦，虽然我仅仅是写了几十篇博客。完结篇结合源代码分析Restlet的运行流程，也算是完美的结束。当然了，也不是说从此不再关注Restlet，后续如果有新的东西出来，比如现在2.0的版本就快release了，新功能，包括API都变动了不少，如果后续有时间的话，会继续写，但是会作为博客随笔，而不是作为实战系列了。 在分析之前，首先一个环境，因为毕竟不同的环境涉...
2009-08-20 17:32:38
389
Restlet实战（二十八）源代码分析之压缩 (Compression)
上篇文章我给出了如何在客户端和服务器端使用Restlet实现表示的压缩，这一篇将结合源代码看看Restlet的API是如何支持压缩的。 首先看解压缩，开发中的代码： Representation rep = new DecodeRepresentation(response.getEntity());String testText = rep.getText(); 当然...
2009-08-10 15:36:28
112
Restlet实战（二十七）压缩 (Compression)
在进入代码部分之前，还是贴出<<RESTful Web Service>>里对压缩的说明，毕竟这是本非常不错的书，而且书上说的比较清晰明了。 象XML文档这种文本格式的表示可以又很大的压缩率。HTTP客户端可以请求一个压缩版的表示，并为用户进行透明的解压。其工作原理是这样的：客户端在发送HTTP请求时，在Accept-Ecoding包头里指出客户端支持那些压...
2009-08-05 12:09:21
205
Restlet实战（二十六）事务 (Transaction)
<<Restful Web Service>>这本书再第8章REST和ROA最佳实践的事务章节对如何实现事务是这么写的：可以把简单的事务暴露为批量操作，或者采用重载的POST，不过还有一种做法，你猜对了，就是事务本身暴露为资源。 并结合一个例子给出具体的操作步骤描述：比如把资金从支票帐户转移到储蓄帐户，比方说“支票帐户”暴露于/accounts/check...
2009-08-02 23:29:08
226
Restlet实战（二十五）缓存 (Cache)
说明：以下部分文字说明摘自<<Restful Web Service>>.条件GET机制令客户端可以在表示没有发生变化时，只使用很少的带宽。而缓存机制使得客户端可以根本不必要发送第二次GET请求。其基本原理是：客户端在做HTTP GET或HEAD请求时，可以把服务器返回的HTTP响应报头缓存起来；这样，当客户端再次发出相同的GET或HEAD请求时，可以直...
2009-07-31 22:18:46
195
Restlet实战（二十四）获取参数值(续)
这个系列之前已经有一篇文章写如何获取参数值，看Restlet实战（十二）获取参数值 ，在那篇文章中，提到了三种类型获取值。 1. 从Web Form中获取值 2. 从查询中获取值 3. 从Cookie中获取值 而本篇文章我翻译网上的一篇文章也是涉及到获取和设置参数值，算是一个补充，原文见这里 ...
2009-07-31 14:44:22
317
原创 欢迎加入Restlet圈子
如果你进来是因为想看Restlet相关的文章，那么欢迎你加入restlet圈子，里面也有不少好的内容，地址是http://restlet.group.iteye.com/
2009-07-28 22:28:13
172
Restlet实战（二十三）实现条件GET (Conditional Get)
先普及一下什么是条件GET，以下摘自<<Restful Web Service>>: 条件HTTP GET（conditional HTTP GET）既能几声服务器带宽，又能节省客户端带宽，作用是避免服务器重复向一个客户端发送相同的表示。它是通过两个响应报头（Last-Modified和ETag）和两个请求报头（IfModified-Since和If-Non...
2009-07-28 17:47:21
284
Restlet实战（二十二）仿造PUT和DELETE
在Restlet实战（七）－提交和处理Web Form 中提到，表单(form)的动作(action)仅仅支持GET和POST，所以那里我们如果要通过form提交修改的数据，不得不进入HTTP标准方法POST对应的方法执行。这实际上是不得已而为之的做法。当然，DELETE也不支持，也会调用POST方法。那么有没有什么办法可以访问到真正的PUT和DELETE标准方法对应在Restlet中要执行的方法...
2009-07-28 13:17:09
139
Mylyn+Trac
论坛上不少关于项目管理工具的文章，所以，也就又很多管理辅助工具被提到，记得刚工作的时候第一次用到Bugzilla，感觉自己一步迈进了小康了. 不但可以定义bug严重级别，bug修复状态等等，还可以结合mail通知，很是方便。可以这么说，用的好，可以很有效的管理整个软件周期内的bug。 谈到Mylyn ＋Trac，以前也看到有人发帖提过，但是始终没有计划去看看，甚至去研究，只知道不少人说不错...
2009-07-23 20:52:33
114
Restlet实战（二十一）如何保护确定的资源(续)
在Restlet实战（十七）如何保护确定的资源 中我给出一个如何保护确定资源的解决方案，大致是override类Guard中的doHandle方法，然后加入我们自己的判断逻辑。在结尾，我也提出了自己的疑问：判断那些Uris需要认证保护应该由Restlet来完成，而不是由开发者自己写逻辑代码。 本篇文章将结合一个示例介绍如何解决上述问题。此示例将对/customers, /customers...
2009-07-16 16:18:34
190
Restlet实战（十九）使用Restlet实现Web Service
先说明本篇文章要实现的功能，仍然做一些假设，当前系统是基于Restlet的企业信息管理系统，而关于企业员工的管理，已经有人力资源系统，那么需求是人资系统可以实时查看企业信息管理系统中的人员资料是否与自己系统中的资料，这就涉及到Get操作，而另外，如果人员资料在人资系统中改变或者新增加员工，则需要通知企业信息管理系统去做相应的维护。 下文将演示一个人资系统从企业信息管理系统取用户的操作，以及...
2009-07-15 21:34:42
219
Restlet实战（十八）Restlet如何产生WADL
现在究竟REST是否需要WADL这种东西，有很多争论，有人说不需要，给出的理由是，如果客户端根据WADL来编写了客户端，那将来服务改变了怎么办；有人说需要，但是基于特定的形式，比如APP。众说纷纭吧。 先不管了。看看Restlet里面是如何支持WADL的。Restlet里提供了一组类：WadlComponent, WadlApplication, WadlResource等，如果想了解的更...
2009-07-11 21:57:35
203
Restlet实战（十七）如何保护确定的资源
在面向资源的架构中，资源的保护的重要性不言而喻，且不说对那些资源进行新增、修改、删除的操作，就是get，有时候敏感资源也不是响应任何的请求。 但有时候我们要面临这样一种情况：对所有资源的部分资源进行认证保护，比如，对所有基于get资源的访问不作任何认证，而对其它的如PUT、POST、DELETE，则只对部分某一部分资源进行认证保护，如/customers, /customers/{cust...
2009-07-11 21:55:15
116
Restlet实战（十六）结合源代码分析及使用Filter
其实在Web应用中Filter对大家来说一点都不陌生，比如说在我之前项目的架构中，就使用filter做过Session是否失效、设定页面字符集、设置本地化，如： 设定本地化的Filter代码： Cookie cookie = WebUtil.getCookie(req, INFOSYSCoreStatics.LOCALE_KEY);Locale locale = null;...
2009-07-11 21:13:56
218
Restlet实战（十五）如何与表示层交互
首先还是设定一个应用场景，看看用restlet如何实现。 很多信息系统的某一个功能点的流程通常都是这样，首先进入一个列表页面，点击页面上的新增按钮，则进入新增页面，新增数据成功后，或者回到当前页面或者回到列表页面，这要看具体是怎么要求的。 下面就以Customer为例来模式实现这个流程。 需要说明的是，Restlet是使用Freemarker模板作为页面的展示而不是Jsp。...
2009-07-10 13:51:12
105
Restlet实战（十四）如何在Restlet得到Servlet request和Session
如果你现在已经有一个web系统，而为了一些需求，你集成了restlet来提供Restful web service，那么如何在restlet里面获取放到HttpServletRequest和Session里面的值呢？ 可以利用ServletCall类来达到目的，我们可以在Resource的init方法里面加入一些代码： @Overridepublic void init(Con...
2009-07-09 16:39:10
874
Restlet实战（十三）如何在Servlet中呼叫Restlet
看到这个题目，或许你会问，你之前的很多文章不都是与servlet有关吗？这不是重复吗？ No，假设你现在正在用MVC的framework，如Struts，Spring MVC等来建造一个Web系统，但是当前需求要求你的代码能灵活的与另外的一个系统对接。那么你想到了使用Restlet来构建Restful web service。因此，你想在你的servlet里面使用restlet。 ...
2009-07-09 14:47:39
139
Restlet实战（十二）获取参数值
本篇文章将讲解三种不同值的获取方法。 1.从Web Form中获取值 如果看过此系列文章中的Restlet实战（七）－提交和处理Web Form 对此应该有一定的印象，简单把代码贴过来加深印象： @Override public boolean allowPost() { return true; } @Over...
2009-07-07 15:06:30
292
Restlet实战（十一）结合源代码修改Restlet-Spring配置文件
上篇文章结合了Restlet的源码分析了Restlet－spring的配置文件，并提出了相关的问题，本篇将对这一问题做一个测试解答。 首先修改一下Spring的配置文件： <bean id="restRoute" class="org.restlet.ext.spring.SpringRouter"> <property name="attachments"&...
2009-07-04 23:56:25
181
Restlet实战（十）结合源代码分析Restlet-Spring配置文件
在Restlet实战（四）与Spring集成给出了Restlet如何与Spring进行集成。下面就结合Restlet的源码分析一下Spring配置文件。 在Spring的配置文件中，我们能看到这样的代码： <entry key="/customers"> <bean class="org.restlet.ext.spring.SpringFinder">...
2009-07-03 17:04:44
204
Restlet实战（九）访问敏感资源之Digest认证
首先对所有的请求进行安全检验和认证，后面会给出对固定的URL进行安全认证的情况。对Restlet1.1.5来说，需要借助于Guard类来完成。 说一下大概的思路，建立一个Guard，并把它直接attach到Componet，当请求过来以后，会首先路由到这个Guard，如果通过认证，则路由到对应URL的Resource，否则，拦截掉。 首先修改Spring的配置文件： &l...
2009-07-02 21:26:10
326
Restlet实战（八）访问敏感资源之基础认证（Basic）
我们设定一个场景：一个信息系统是基于Rest风格的，另外与一套CRM系统通信，当CRM中维护的Customer资料有变动或者创建一个新的Customer，则与信息系统通信，来更新或者创建信息系统的Customer。 基于上述我们假设的场景，下面从代码上来看看如何在Restlet里面实现Basic 认证。假设认证发生在当一个request是为了修改Customer信息。仍旧基于此系列前面文章...
2009-07-02 17:45:02
138
Restlet实战（七）－提交和处理Web Form
本节演示如何使用Restlet通过提交Web Form来创建一个Customer。 首先创建一个customer.jsp作为测试form提交文件<html><head><script> function doSubmit(){ document.forms[0].submit(); }</script>...
2009-07-02 15:49:06
129
Restlet实战（六）－正确设计资源
在上篇文章的末尾，我提到资源的设计有一点问题，增加客户的功能应该放到Customers resource而不是Customer Resource。本文首先会改正这个问题。 首先把创建Customer的代码从Customer Resource移到Customers Resource，另外创建一个查询所有customer的get方法，代码如下： public class Custome...
2009-06-30 16:58:25
101
Restlet实战（五）创建对应PUT、POST、DELETE的方法
之前的系列文章，为了测试一些功能点，所以只选择get这种情况，本文将添加另外三种主要的方法POST, PUT, DELETE.对应我们的业务方法是新增、修改、删除。此文对上篇文章示例代码进行修改。 首先在CustomerResource里加入代码： @Overridepublic boolean allowPut() { return true;} @Overr...
2009-06-30 14:00:15
198
Restlet实战（四）与Spring集成
在上一篇文章中介绍了如何在restlet.xml中设置Component，本篇将介绍restlet如何和Spring结合。 首先将相应的jar文件放到WEB-INF/lib下，针对上一篇的示例代码，我们做一些修改，当然也包括一些配置。 首先 在web.xml注释掉如下代码： <servlet> <servlet-name&...
2009-06-29 13:58:47
245
Restlet实战（三）使用Component让不同的Application对应不同的资源
在Restlet实战（二）我给出的例子中，把Order和Customer两个资源attach到Order Application上，看如下代码： public class OrderApplication extends Application { @Override public synchronized Restlet createRoot() ...
2009-06-28 21:30:49
211
Restlet实战（二）使用一个Application管理多个资源
说明，本系列文章所使用的Restlet版本是1.1.5, 2.0的版本API做了不少改动。不过现在还没有最终的release。所以暂时不会考虑2.0，不过后面的系列文章中会提到那些功能只有2的版本才有。 回到正题，既然主题是实战，可能读者会问，怎么不见具体的例子和代码？别急，一口吃不了个胖子，慢慢来，还是贴一个图，一张说明各个组件空间分布的图： 还是强调一下，这张图还是很有用的，后...
2009-06-25 17:00:35
246
Restlet实战（一）Restlet入门资料及概念
先贴上几个本人认为比较有价值，值得初学者一看的文章。http://www.matrix.org.cn/resource/article/2007-11-30/1312be72-9f14-11dc-bd16-451eadcf4db4.html http://blog.sina.com.cn/s/blog_537c5aab010096v8.html~type=v5_one&labe...
2009-06-25 13:40:13
535
原创 （转）深入浅出REST
作者 Stefan Tilkov 译者 苑永凯。来源于这里。这是一篇不错的文章。不知你是否意识到，围绕着什么才是实现异构的应用到应用通信的“正确”方式，一场争论正进行的如火如荼：虽然当前主流的方式明显地集中在基于SOAP、WSDL和WS-*规范的Web Services领域，但也有少数人用细小但洪亮的声音主张说更好的方式是REST，表述性状态转移（REpresentational State ...
2009-06-25 10:48:13
122
原创 Hello REST!!!
前段时间集中的了解了一下REST，网上查了不少资料，论坛里的讨论帖子也看了不少，买了 Restful Web Services那本书，大体翻了翻，终于对REST有了一个初步的印象。理论终究要联系实际，基于自己做了Java有7、8年的时间，所以搜索了目前基于REST的Java框架。比较有名的有两个：Cetia4和Restlet。网上大致的看了一下对这两个framework的评价，初步的印象是...
2009-06-25 10:14:58
119
本地安装rails2.0.2
[i][/i]本地安装rails2.0.2, 公司的网络有防火墙和代理，所以想通过” gem install rails --include-dependencies”安装就不行了，既然不行，那我们就本地安装rails好了。先去http://rubyforge.org/frs/?group_id=307下载rails的安装包rails*.gem,因为当前最新版本号是2.0.2，所以文件...
2008-05-07 16:58:01
122
开发Rails遇到的问题以及解决方法
开始学习Ruby和Rails,记录学习过程中遇到的问题，以及解决办法，当然也可能有更好的办法。1.ruby 1.8.6 和 rails 2.0,使用RadRail创建系统后，信息如下：[code="ruby"]MissingSourceFile in SayController#hello This error occurred while loading the followin...
2008-05-04 22:44:50
177
空空如也
两个有序的List merge的问题
2008-07-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人