- 博客(18)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 dubbo(分布式架构)+zookeeper(注册中心)+spring(provider和consumer) 基本使用
1.前言看到网上各种dubbo的教程,应该基本上都是从一个地方贴过来的,一看到千篇一律的provider中main方法中的system.in.read()就头疼了,随便找找都是一个样,估计都没自己认真写过吧！工作之余,今天就写一个基于tomcat容器的provider、基于zookeeper单节点注册中心来玩玩儿。2.准备工作 1>由于项目都是在maven下构建的,请先安装maven
2015-07-24 14:44:14
13373
原创 maven3简单配置和使用
1.安装jdk,安装配置信息略2.下载maven3压缩包,解压该包到指定路径 如E:\myresource\myprofile\apache-maven-3.2.13.配置环境变量 M2_HOME:E:\myresource\myprofile\apache-maven-3.2.1 path中加入以下路劲%M2_HOME%\bin4.验证安装成功与否,打开命令提示符cmd,mvn
2014-04-01 10:22:32
5305
原创 windows环境下 springMVC+jdbc+redis整合配置
好久不写写博客了,最近不是很忙,就给自己充充电,研究研究redis,最近一些项目也有类似的问题出现,用户频繁访问数据库,并且用户需要的很多数据并不频繁更行,没必要每次都去查询数据库,否则数据库亚历山大啊，尤其是手机平板客户端的一些数据需要频繁交互却又不会频繁更新，对于数据库的鸭梨很大,于是就想着把那些常用的数据放到缓存里，对于缓存框架目前我所知道的只有memcached和redis,redis,一
2014-03-20 11:31:58
11952
原创 hadoop-2.2.0源码编译
1.准备工作下载jdk6、maven3.1以及protobuf2.5以及hadoop2.2.0-src.tar.gz 将上述文件下载到myresource/software文件夹下载myresource文件夹下新建文件夹programfiles安装jdkjdk.tar.gz格式：可直接解压到programfilesjdk.bin格式：先修改操作权限 sudo chmod u+x
2013-12-24 14:53:11
2243
原创 lucene4.6索引创建和搜索例子
最近无事，闲来看了看lucene4.6，也来学习一下，写了些小例子总的来说lucene全文检索步骤大体上有两方面：索引过程和搜索过程，具体如下：1.索引过程创建IndexWriter,它的作用是用来写索引文件可以将IndexWriter看做是一个特定类型的数据库,用来存放各种表,可以将Document看做是一张张的表IndexWriter iw=new IndexWriter(Di
2013-12-23 14:50:35
17788
3
原创 nginx-1.4.2+tomcat6+memcache做服务器集群以及session共享
简介使用nginx做分发器，tomcat6做服务器，使用memcached实现session共享1.搭建环境：windows2.准备：下载nginx-1.4.2,解压到E:\server\nginx文件夹下下载tomcat6 解压到E:\server\tomcat文件夹下,tomcat准备两个tomcat 分别命名tomcat6-1,tomcat6-2下载memcache
2013-09-24 11:59:23
3700
原创 hadoop之作业提交过程
1.执行Shell命令：用户编写的MapReduce程序，通过Shell命令来提交作业。2.作业文件上传：JobClient将作业提交到JobTracker之前，需要进行一些初始化工作，例如前面所提到的调用getSplits方法将文件切分为split文件、创建HDFS目录之类的。3.产生InputSplit文件：用户提交MapReduce作业后，JobClient会调用InputForma
2013-06-20 17:31:20
1525
原创 Hadoop之split
文件上传至HDFS之前,InputFormat接口的getSplits方法会将文件划分切割成为若干个可序列化的split一个大数据的文件一般要划分为若干个split，因此，处理一个split的时间远远小于处理整个大数据文件的时间，根据木桶效应，整个Map处理的速度则是由群集中所有运行map节点的最慢的那个节点决定，如果将splits分成较为细粒度的数据大小，而同时对不同的节点计算机根据其速度分
2013-06-14 15:17:33
5489
原创 Hadoop之InputFormat接口的设计与实现
InputFormat主要用于描述输入数据的格式，它提供以下连个功能1.数据切分：按照某个规则策略将输入的数据切分成若干个split，以便确定Map Task的个数以及对应的split2.为Mapper提供输入数据：给定某个split，能将其解析成一个个的key/value对 inputFormat包含两个方法 InputSplit[] getSplits(Job
2013-06-13 16:53:15
2426
原创 hadoop之MapReduce作业的生命周期
1.作业的提交和初始化：用户提交作业后，首先由JobClient实例将作业相关信息上传到分布式文件系统HDFS上（一般为HDFS），然后JobClient通过RPC框架通知 JobTracker。 JobTracker收到新作业提交请求之后，由作业调度模块对作业进行初始化：为作业创建一个JobInProgress对象来跟踪作业的运行状况，而JobInProgress则会为每个Task创建一个Tas
2013-06-09 11:18:48
1882
原创 hadoop MapReduce分布式计算架构
同分布式文件系统HDFS一样，hadoop的MapReduce也采用了Master/slave架构，它主要由Client、JobTracker、TaskTracker和task四部分组成1.Client：用户编写的MapReduce程序通过Client提交到JobTracker端，用户可通过Client提供的接口查看作业的运行状态。2.JobTracker：主要负责资源监控和作业调度。Jo
2013-06-09 10:40:09
1464
原创 Hadoop基本架构之HDFS架构
Hadoop由两部分组成，分别是分布式文件系统和分布式计算框架，分布式文件系统主要用于大规模数据的分布式存储，分布式计算框架则构建在分布式文件系统之上，对存储的分布式文件系统中的数据进行分布式计算。HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的的数据访问，非常适合大规模数据集上的应用HDFS总体采用了master/slave架构,主要有Cli
2013-06-08 17:32:26
1188
原创 utuntu13.04系统下hadoop-1.1.2环境搭建及其eclipse插件使用
<!--p {margin-bottom:0.21cm}-->Hadoop-1.1.2搭建1.软件准备1.1.操作系统：ubuntu13.04 32位1.2.JDK：jdk-6u45-linux-i586.bin1.3.hadoop：hadoop-1.1.2.tar.gz1.4.hadoop-1.1.2eclipse插件：hadoop-e
2013-05-28 14:18:57
2985
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人