- 博客(449)
- 资源 (67)
- 收藏
- 关注
转载 分布式锁2 Java非常用技术方案探讨之ZooKeeper
分布式锁1 Java常用技术方案前言: 由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结。希望这篇文章可以方便自己以后查阅,同时要是能帮助到他人那也是很好的。 =============================
2017-06-05 16:34:12
855
转载 分布式锁1 Java常用技术方案
分布式锁1 Java常用技术方案前言: 由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结。希望这篇文章可以方便自己以后查阅,同时要是能帮助到他人那也是很好的。 =============================
2017-06-05 16:33:19
745
转载 Eclipse常用配置
Eclipse常用配置介绍以下是项目中所使用的eclipse需要配置的地方, 相关工具软件放在(\\172.20.17.126\tools),配置文件放在(http://tech.xiaoniu88.net/svn/documents/eclipse_settings)开发过程须统一开发工具与代码格式:上述目录中的eclipse说明:eclipse-jee-luna-R-w
2017-05-19 11:20:08
941
转载 Drools基础入门
第一节: 基础使用1. 新建一个maven工程2. 引入drools的依赖** dependencies> dependency> groupId>org.droolsgroupId> artifactId>drools-coreartifactId> version>6.3.0.F
2017-05-19 11:18:51
1158
转载 Drools的另类用法--模板使用,以及与Spring集成
简述Drools的用法非常多,功能也非常强大,本文不讨论具体语法以及使用,主要分享一下在使用过程中一种比较另类的思路,由于本人未使用过Drools历史版本,故没有对比,所有讨论都基于Drools 6.3。思路首先我们都知道Drools由一系列的drl规则文件 + 工作内存(working Memory) + 决策引擎组成,在Drools6.3为了跟maven集成,动
2017-05-19 11:17:33
8303
转载 修改linux最大文件句柄数
大家知道在linux服务器大并发调优时,往往需要预先调优linux参数,其中修改linux最大文件句柄数是最常修改的参数之一。在linux中执行ulimit -a 即可查询linux相关的参数,如下所示:[root@mongodb11 ~]# ulimit -acore file size (blocks, -c) 0data seg size
2016-09-14 19:17:51
3486
转载 四种生成和解析XML文档的方法详解(介绍+优缺点比较+示例)
众所周知,现在解析XML的方法越来越多,但主流的方法也就四种,即:DOM、SAX、JDOM和DOM4J下面首先给出这四种方法的jar包下载地址DOM:在现在的Java JDK里都自带了,在xml-apis.jar包里SAX:http://sourceforge.net/projects/sax/JDOM:http://jdom.org/downloads/index.htmlD
2015-02-04 16:27:10
2498
转载 crontab命令
前一天学习了 at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond是linux下用来
2014-12-23 17:30:42
1594
转载 Redis与Memcached的区别
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: 1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。 2.Mem
2014-11-10 17:11:32
883
转载 InputFormat的数据划分、Split调度、数据读取三个问题的浅析
在执行一个Job的时候,Hadoop会将输入数据划分成N个Split,然后启动相应的N个Map程序来分别处理它们。数据如何划分?Split如何调度(如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发:1、运行mapred程序;2、本次运行将生
2014-11-05 21:28:44
892
转载 Hadoop集群安全性:Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode
正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理:Secondary NN会定期的从NN中读取editlog,与自己存储的Image进行合并形成新的metadata image优点:Hadoop较早的版本都自带,
2014-11-05 17:40:31
2239
转载 hadoop中槽-slot是线程还是进程讨论
hadoop一个节点默认起两个map slot,这两个slot是多线程吗?hadoop-0.21.0 源码中是这样的:首先看看 org.apache.hadoop.mapred.TaskTracker 类:=====================================================================================
2014-11-05 17:39:17
1027
转载 Hadoop集群三种作业调度算法介绍
Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新来的作业插入到队尾。一个作业运行完后,总是从队首取下一个作业运行。这种调度策略的优点是简
2014-11-05 16:56:51
1280
转载 HDFS体系结构简介及优缺点
1 HDFS体系结构简介及优缺点1.1体系结构简介 HDFS是一个主/从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create、Read、Update和Delete)操作。但由于分布式存储的性质,HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据,DataNode
2014-11-05 14:34:59
1220
转载 hadoop机架感知--加强集群稳固性,该如何配置hadoop机架感知
最新热门最新回复最新发表面试题项目区hadoop资源openstack资源新手指导环境搭建休闲阅读目hadoop疑问openstack疑问移动云百度云微软云 storm区CDH区hbase区pig区hive区sqoop区
2014-11-05 11:08:01
969
原创 linux NAT方式上网
我以下写的配置方法别人在网上已经发布过类似的文章。但是我觉的别人写的东西不一定是对的,必须自己亲自试验一下才行。就像有句话说的:“实践是检验真理的唯一标准”以下是我操作的步骤。希望不足的地方,读者能够指出。 1.必须检查你的windows系统的VMware DHCP Service 和VMware NAT Service这个两个服务是否启动。如果未启动请启动。 2. 把wind
2014-09-30 15:30:01
4690
原创 hadoop集群balance工具详解
在线上的hadoop集群运维过程中,hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布,以避免出现部分datanode磁盘占用率高的问题(这问题也很有可能导致该节点CPU使用率较其他服务器高)。 1) hadoop balance工具的用法:[html] view plaincopyTo start: bi
2014-09-28 11:42:41
1108
转载 It's possible that the above module doesn't match the current version of Python
当运行yum时可能出现如下问题:[root@Centos ~]# yumThere was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was: No module named yumPlease install
2014-09-19 11:28:28
7568
原创 Linux下python升级至2.7步骤
首先下载源tar包 可利用linux自带下载工具wget下载,如下所示:1# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz 下载完成后到下载目录下,解压1tar -zxvf Python-2
2014-09-14 23:16:28
20787
转载 Jedis使用示例
Jedis 是 Redis 官方首选的 Java 客户端开发包。工作过程总结的一个示例,贴出来,如下:Java代码 package com.wujintao.redis; import java.util.Date; import java.util.HashMap; import java.util.Iterator; import java.util.
2014-09-09 00:05:49
7562
转载 Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式…)介绍
redis是一个著名的key-value存储系统,而作为其官方推荐的java版客户端jedis也非常强大和稳定,支持事务、管道及有jedis自身实现的分布式。在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比:一、普通同步方式最简单和基础的调用方式,@Testpublic void test1Normal() { Jedis jedis = new
2014-09-09 00:00:53
1564
转载 maven插件报错之解决
用m2eclipse创建Maven项目时报错问题:Could not calculate build plan: Failure to transfer org.apache.maven.plugins:maven-surefire-plugin:pom:2.7.1 from http://repo1.maven.org/maven2 was cached in the loc
2014-08-31 18:44:43
1965
转载 hive中简单介绍分区表
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表:create table partition_test(member_id string,name string)partition
2014-08-19 23:41:10
689
转载 memcached全面剖析–5. memcached的应用和兼容程序
系列文章导航:memcached完全剖析–1. memcached的基础memcached全面剖析–2. 理解memcached的内存存储memcached全面剖析–3. memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5. memcached的应用和兼容程序发表日:2008/7/30
2014-08-18 15:54:00
637
转载 memcached全面剖析–4. memcached的分布式算法
系列文章导航:memcached完全剖析–1. memcached的基础memcached全面剖析–2. 理解memcached的内存存储memcached全面剖析–3. memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5. memcached的应用和兼容程序发表日:2008/7/23
2014-08-18 14:40:59
671
转载 memcached全面剖析–3. memcached的删除机制和发展方向
系列文章导航:memcached完全剖析–1. memcached的基础memcached全面剖析–2. 理解memcached的内存存储memcached全面剖析–3. memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5. memcached的应用和兼容程序下面是《memcached全面
2014-08-18 14:12:27
618
转载 memcached完全剖析–1. memcached的基础
系列文章导航:memcached完全剖析–1. memcached的基础memcached全面剖析–2. 理解memcached的内存存储memcached全面剖析–3. memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5. memcached的应用和兼容程序翻译一篇技术评论社的文章,是讲
2014-08-18 14:10:30
583
转载 memcached全面剖析–2. 理解memcached的内存存储
系列文章导航:memcached完全剖析–1. memcached的基础memcached全面剖析–2. 理解memcached的内存存储memcached全面剖析–3. memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5. memcached的应用和兼容程序下面是《memcached全面
2014-08-18 14:09:54
623
转载 如何使用Hadoop的ChainMapper和ChainReducer
Hadoop的MR作业支持链式处理,类似在一个生产牛奶的流水线上,每一个阶段都有特定的任务要处理,比如提供牛奶盒,装入牛奶,封盒,打印出厂日期,等等,通过这样进一步的分工,从而提高了生产效率,那么在我们的Hadoop的MapReduce中也是如此,支持链式的处理方式,这些Mapper像Linux管道一样,前一个Mapper的输出结果直接重定向到下一个Mapper的输入,形成一个流水线,而这一点与L
2014-06-28 23:25:38
1814
转载 Hadoop配置项整理(mapred-site.xml)
续上篇namevalueDescriptionhadoop.job.history.location job历史文件保存路径,无可配置参数,也不用写在配置文件里,默认在logs的history文件夹下。hadoop.job.history.user.location 用户历史文件存放位置io.sort.fa
2014-06-24 10:49:20
1877
转载 Hadoop配置项整理(hdfs-site.xml)
续上篇整理一下hdfs相关的配置项 name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置
2014-06-24 10:48:49
987
转载 Hadoop配置项整理(core-site.xml)
记录一下Hadoop的配置和说明,用到新的配置项会补充进来,不定期更新。以配置文件名划分以hadoop 1.x配置为例core-site.xml namevalue Description fs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口 fs.check
2014-06-24 10:47:44
3476
翻译 Secondary NameNode:它究竟有什么作用?
前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂,现将其翻译如下:
2014-06-16 14:14:34
84968
17
原创 Hadoop Hbase完全分布式环境搭建
Hadoop分布式环境搭建一、安装软件准备 由于资源限制,本文档的Hadoop的节点环境均部署在虚拟的linux上,使用的虚拟机和linux的版本如下:VMware-workstation-full-8.0.2-591240.exe[红帽企业.Linux.5].TLF-SOFT-RedHat.Enterprise.Linux.5.Update.2-XiSO.iso Hado
2014-06-11 15:44:08
3951
原创 jsoup的基础理论(一)
一、 JSOUP简介在以往用java来处理解析HTML文档或者片段时,我们通常会采用htmlparser(http://htmlparser.sourceforge.net/)这个开源类库。现在我们有了JSOUP,以后的处理HTML的内容只需要使用JSOUP就已经足够了,JSOUP有更快的更新,更方便的API等。jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址
2014-06-02 20:54:53
8851
转载 Java 正则表达式 量词 --- 三种匹配模式【贪婪型、勉强型、占有型】
在Sun的API中对在对 “最大匹配Greedy”“最小匹配Reluctant”“完全匹配Possessive”的描述,不能让我明白他们有什么区别,现在将我对这三种匹配模式的理解写出来,供大家参考。1、Greediness(贪婪型):最大匹配X?、X*、X+、X{n,}都是最大匹配。例如你要用“”去匹配“aaavaabb”,也许你所期待的结果是想匹配“”,但是实际结果却会匹配到
2014-05-29 10:56:27
2357
转载 REST风格的应用程序实现
莫笑我老土,因为我确实是最近才听说REST风格的,以前就是觉得 /category/product/pid这样的地址非常的漂亮,但是那只是表象罢了,了解深入以后,发现必须有一个客户端的Ajax Engine和Server端的服务配合,才能实现一个REST风格的应用,下面就是我的实验。问题?要对外提供哪些服务。服务器端的服务可能会被众多的浏览器请求,也可能被第三方应用程序所调用,所以需要
2014-05-13 16:25:56
916
转载 SOA标准之----SCA架构思想
SOA标准之----SCA架构思想 SOA在Java领域有两套标准:一个是SUN推出的JBI(没有得到BEA和IBM的承认),另外一个是:IBM和BEA等公司推出的SCA和SDO标准。 JBI之关注Java组件只处理Java组件的集成。SCA实现了业务组件和传输协议的分离,可以处理各种平台组件的集成。SDO可以的自由读取各种不同数据源的数据。另外,BPEL本质上是一种集
2014-05-06 12:02:39
1305
传智播客在线支付易宝支付源码 和 易宝支付产品(HTML版)通用接口文档3.0 3.0.pdf
2012-10-09
jasperReports+iReport3.0.0生成打印文件.doc
2012-10-02
传智播客_JSP技术_方立勋.zip
2012-09-22
Hadoop完全分布式环境搭建步骤
2014-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人