- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 DAS、NAS、SAN、iSCSI 存储方案概述
目前服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种。存储根据服务器类型可以分为：封闭系统的存储和开放系统的存储： （1）封闭系统主要指大型机. （2）开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器； 开放系统的存储分为：内置存储和外挂存储； （3）开放系统...
2013-05-16 15:08:07
190
原创 Builder - 创建者模式
对于Builder模式很简单，但是一直想不明白为什么要这么设计，为什么要向builder要Product而不是向知道建造过程的Director要。刚才google到一篇文章，总算清楚了。在这里转贴一下这位richardluo的比喻。简单地说，就好象我要一座房子住，可是我不知道怎么盖（简单的砌墙，层次较低），也不知道怎么样设计（建几个房间，几个门好看，层次较 高），于是我需要找一帮民工，他们会砌墙...
2013-01-30 09:47:44
144
原创 Ganglia安装指南 (基于CentOS 5.6)
安装依赖rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/zlib-devel-1.2.3-3.x86_64.rpmrpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/freetype-devel-2.2.1-28.el5_5.1.x86_...
2013-01-08 15:49:10
148
原创 hadoop 根据SecondaryNameNode恢复Namenode
1.修改conf/core-site.xml增加<property> <name>fs.checkpoint.period</name> <value>3600</value> <description>...
2013-01-04 17:30:20
132
原创 Linux 中使用 KVM
听讲XEN很快就要从LINUX内核中去掉,redhat和Ubuntu也大力的在推广KVM,所以在Ubuntu下整了一下KVM,相当容易使用,基本比Vmware还要容易,但性能好上很多倍,因为他是半虚拟的,很大程序上可以直接使用真实的硬件. RedHat 红帽CTO Brian Steven在一次记者招待会说：“我们致力于Xen,RHEL 5有10年的生命周期,因此会有一个较大的交叉过...
2012-08-28 14:24:36
239
原创 Apache+Tomcat集群
本文Apache+Tomcat集群配置 基于最新的Apache和Tomcat，具体是2011年4月20日最新的Tomcat和Apache集群和负载均衡配置。准备环境ApacheApache是http服务器，我们利用其对Tomcat进行负载均衡。目前最新版本为2.2.17，下载地址为http://httpd.ap...
2012-05-08 13:38:17
95
原创 hadoop杂记（一）
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式化，启动时自动创建...
2012-05-03 15:52:53
110
原创 hadoop杂记（二）
四、安全模式属性说明1、dfs.replication.min 类型：int 默认值：1 说明：设置最小副本级别，成功执行写操作所需要创建的最少副本数目（也就是最小复本级别）2、dfs.safemode.threshold.pct 类型：float 默认值：0.999 说明：在namenode退出安全模式之前，系统中满足最小复本级别（由上一个选项定义）的块的比例...
2012-05-03 15:51:41
225
原创 java 通过jdbc驱动连接hive操作实例
1，hive首先要起动远程服务接口，命令：nohup hive –service hiveserver & 2，java工程中导入相应的需求jar包，列表如下:antlr-runtime-3.0.1.jarhive-exec-0.7.1.jarhive-jdbc-0.7.1.jarhive-metastore-0.7.1.jarhive-service...
2012-04-10 20:48:00
117
原创 hadoop、hbase、zookeeper环境搭建（详细）
一 机器192.168.0.203 hd203： hadoop namenode & hbase HMaster192.168.0.204 hd204： hadoop datanode & hbase HRegionServer & zookeeper192.168.0.205 hd205： hadoop datanode & hbase HRe...
2012-03-27 12:54:44
108
原创 sqoop安装及数据迁移
下载sqoop[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubati...
2012-03-26 23:15:02
205
原创 使用sqoop将MySQL数据库中的数据导入Hbase
前提：安装好 sqoop、hbase。下载jbdc驱动：mysql-connector-java-5.1.10.jar将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下MySQL导入HBase命令：sqoop import --connect jdbc:mysql://10.10.97.116:3306/r...
2012-03-26 23:12:46
205
原创 hadoop 集群升级失败记录
一.错误概述 因为需要使用hadoop与hbase结合使用，所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION)....
2012-03-22 14:19:18
213
原创 扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs. 1.Webdav协议介绍:WebDAV（W...
2012-03-22 14:17:29
340
原创 hadoop集群崩溃恢复记录
一.崩溃原因搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如下错误: Java代码 FSNamesystem ini...
2012-02-15 14:38:59
471
原创 Hadoop的rmr和trash
这两天在操作Hadoop集群时，由于一个误操作，制作了一个天大的悲剧不小心把Hadoop集群上的所有文件全部删除了，具体情况是这样的：我用hadoop的超级帐户要建立一个目录，结果发现位置错了也是，想使用rmr删掉那个目录，可是不小心把命令写成了hadoop fs -rmr /user于是，悲剧出现了，所有user目录下的所有目录和文件全都没有了当时我就慌神了，赶紧从w...
2012-02-14 10:56:56
614
原创 tomcat集群配置
httpd-2.2.21.tar.gzapache-tomcat-6.0.32.tar.gzjdk-6u26-linux-i586.binjdk,和tomcat 环境配置忽略a.在 /opt目录新增apache目录并将httpd-2.2.21.tar.gz copy到改目录中.cd /opt mkdir apachetar zxf httpd-2.2.21.tar.g...
2012-02-03 16:50:30
87
原创 linux安装mysql
一、[root@sample ~]# yum -y install mysql-server mysql-devel ← 安装MySQL.....略Installed: mysql-server.i386 0:4.1.20-1.RHEL4.1Dependency Installed: mysql.i386 0:4.1.20-1.RHEL4.1 perl-DBD-MySQL.i386 ...
2012-01-10 16:12:26
74
原创 linux安装jdk
Linux安装JDK步骤1. 先从网上下载jdk(jdk-1_5_0_02-linux-i586.rpm) ，推荐SUN的官方网站www.sun.com，下载后放在/home目录中，当然其它地方也行。进入安装目录#cd /home#cp jdk-1_5_0_02-linux-i586.rpm /usr/local#cd /usr/local给所有用户添加可执行的权限...
2012-01-10 15:45:59
96
原创 vnc4server 配置 @ ubuntu10.04
1sudo apt-get install vnc4server2、创建登录密码（两种方法） 直接运行vnc4server(vncserver)，装上vnc4server后提供这两个命令。vnc4server是一个脚本文件，vncserver是一个链接文件，链接到/etc/alternatives/vncserver，...
2011-12-30 13:50:01
601
原创 Struts2- Validation校验类型和配置方法说明
从Struts2 校验框架在验证的场所上可以分为：客户端校验和服务端校验。 客户端校验是指，在HTML画面上自动生成JavaScript校验代码，在用户提交到服务器之前在客户端浏览器中进行校验。默认位客户端校验。 服务端校验是指，在数据提交到服务器上之后，在Action处理之前，对客户但提交的数据进行校验。 从Struts2校验框架的配置上可以分为：Java Ann...
2011-12-21 11:21:02
220
原创 Hadoop 集群的基准测试
(转)测试环境：12个节点，每个节点的物理机配置为双核CPU，主频2.60Hz,内存3G，硬盘250G，网络带宽100Mbps以太网，虚拟机VMware workstation 7.1.0 build-261024，平台RHEL5.5，内核版本2.6.18，，虚拟机配置为单核CP...
2011-11-18 10:49:25
156
原创 hadoop集群配置--成功运行
── 分布式计算开源框架Hadoop入门实践 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。 ...
2011-11-18 09:55:17
245
原创 Berkeley DB Java Edition Research
一、Berkeley DB Java Edition简介Berkeley DB JE is a general-purpose, transactionally protected, embedded database written in 100% Java (JE makes no JNI calls). As such, it offers the Java devel...
2011-09-26 11:25:44
96
原创 java内存机制
问题的引入：问题一：String str1 = "abc"; String str2 = "abc"; System.out.println(str1==str2); //true 问题二：String str1 =new String ("abc"); String str2 =new String ("abc"); System.out.println(str1...
2011-09-25 11:05:30
99
原创 mysql命令常用命令
1.终端启动MySQL：/etc/init.d/mysql start；2.登录MySQL：mysql -uroot -p (用root账户登录),然后输入密码；3.查看所有的数据库名字：show databases;4.选择一个数据库操作： use database_name;5.查看当前数据库下所有的表名：show tables;6.创建一个数据库：create datab...
2011-04-20 10:41:42
130
原创 httpclient编码问题
首先http响应的编码有两个部分，response头里的参数和页面开头的meta信息。其实浏览器首先是针对response头来设置页面charset的。httpClient模拟页面也是采用相同方式。所以其实乱码跟meta无关。 我们知道String－GBK〉ByteArray－GBK〉String是正确的，但如果我们采用String－GBK〉ByteArray－ISO-8859-1〉Strin...
2011-03-25 10:09:49
204
原创 URLConnection and HTTPClient 比较
HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java.net 包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpURLConnection是java的标准类HttpClient 是 A...
2011-03-22 10:58:28
83
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人