Stanley-Hwang学习交流分享

安装相关依赖 oRubyGems oRake version 0.8.3 or newer oMySQL database server version 5.x oRuby-MySQL bindings version 2.7.x or 2.8.x   通过如下命令安装所需的相关依赖： # aptitude install ruby rake dbconfig-common libd

1.     HBase简介: HBase –Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase 是 Google BigTable 的开源实现，类似 Google Bigtable 利用 GFS 作为其文件存储系统，HBase 利用 Hadoop HDFS 作为其文

1.输入adduser命令可以按提示输入新用户信息： $ sudo adduser hadoop [sudo] password for andy:  Adding user `hadoop' ... Adding new group `hadoop' (1001) ... Adding new user `hadoop' (1001) with group `hadoop' ...

Hadoop 2.2下载   Hadoop2.2.0 我们可以直接从Apache官方网站下载。   下载地址：http://mirror.esocc.com/apache/hadoop/common/stable/ Hadoop集群环境搭建准备 这里我们搭建一个由三台机器组成的集群：   Ip地址 用户名/密码 主机名 系统

1.添加节点     1. 在新的slave节点中安装好JDK，以及SSH   2. 设置master到新添加节点密钥让其无需密码进入   3. 修改masters和slaves文件增加修改节点，在master中的/etc/hosts添加到slave2中的映射   4.修改有关NameNode的配置文件，并把${HADOOP_HOME}/etc/hadoop中的修改配置文

1.  解压Sqoop以及jar包拷贝 1)      Hadoop版本为1.0.4，下载sqoop版本1.4.4-1.0.0，解压。 2)      将mysql-connector的jar包（5.1.29版本）复制至sqoop解压后的lib目录下。 3)      把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的

1.下载最新的JDK版本 可以通过链接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 下载到最新的JDK1.7版本 2.解压tar.gz包进行安装 选择相应的文件夹进行解压安装，这里根据我习惯将JDK安装在～/opt目录下。 通过 sudo tar -

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排

安装SSH ssh-keygen -t dsa –P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 验证是否安装成功： ssh –version ssh localhost 安装 JDK(这里安装jdk1.7.0_45) 1)Oracle官网下载JDK 官网链接：http://www.orac

安装JDK 见我之前关于JDK1.7安装的博客： http://blog.youkuaiyun.com/stanely_hwang/article/details/18883599 Hadoop单结点伪分布式安装 见我之前关于Hadoop单结点伪分布式安装的博客： http://blog.youkuaiyun.com/stanely_hwang/article/detai

/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc 2012-10-07 08:00:56 分类： LINUX /etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行 并从/etc/profile.d目录的配置文件中搜集shell的设置.  /etc/bashrc:为每

JDK在Ubuntu下的配置还是 比较繁琐，我们通过shell脚本编程可以实现在服务器上自动部署安装 #! /bin/bash # install jdk by shell script if [ $# -ne 2 ]; then echo "Incorrect Args, please input 2 args"; else echo "correct args"; fi #

一下该段代码将实现自动部署Jetty服务器的功能，由于是刚学习Shell，代码肯定存在疏漏。希望能够互相交流学习！ 代码如下： #! /bin/bash # 通过该shell脚本将能够在自服务自器上自动安装好Jetty if [ $# -ne 2 ]; then echo Incorrect args; fi # check if it's a root user; if [

1.下载安装包 官方下载地址：http://download.eclipse.org/jetty/ 可以选择自己想要的版本，进行下载 2.安装配置Jetty服务器      2.1 解压Jetty安装包             通过tar指令在指定目录进行解压，这里我们选择在~/opt/目录下进行解压 sudo tar -zxvf jetty-distribution

安装前准备 现在有两台主机 一台作为master，一台作为agent Master: IP 192.168.58.153 hostname : puppetmaster Agent:  IP 192.168.58.150 hostname : puppetclient 同时编辑master和agent两台主机的文件 /etc/hosts  添加如下两行： # 192.168.58.15

进入${SQOOP_HOME}/bin, 执行以下指令: $ ./sqoop import --connectjdbc:mysql://IP_ADDRESS:3306/DATABASE_NAME --table TABLE_NAME --hbase-create-table--hbase-table HBASE_TABLE_NAME --column-family COLUMN_