- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 elasticsearch集群安装
http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.htmlhttps://github.com/elastic/elasticsearch###【在多台机器上执行下面的命令】####es启动时需要使用非root用户，所有创建一个bigdata用户：useradd bigdat...
2018-09-18 21:20:51
166
原创 Storm集群搭建
1.修改主机名： vim /etc/sysconfig/xieq NETWORKING=yes HOSTNAME=MASTER2.修改IP： vim /etc/sysconfig/xieq-scripts/ifcfg-eth0 BOOTPROTO=”static” HWADDR=”00:0C:29:FC:62:B6” IPV6INIT=”yes” NM_CONTROLLED=”...
2018-09-17 10:03:30
120
原创 hbase集群搭建及使用
1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zk export HBAS...
2018-09-17 09:57:17
168
原创 sqoop的安装及使用
sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import –connect jdbc:mysql://192.168.1.10:3306/localhost –u...
2018-09-17 09:55:12
151
原创 HIVE 练习
create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by ‘\t’; create table user_info(id bigint, account string, nam...
2018-09-17 09:47:56
206
原创 hive中自定义函数-UDF
0.要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate 自定义函数调用过程： 1.添加jar包（在hive命令行里面执行） hive> add jar /root/NUDF.jar;2.创建临时函数 hive> create temporary function getNation as ‘cn.itcast.hive.udf...
2018-09-17 09:46:25
246
原创 hive 安装及使用
Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs-5.1.66-2.el6_3.i686 –n...
2018-09-17 09:45:12
97
原创 hadoop2.2集群搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己...
2018-09-17 09:43:59
194
原创 linux中定时任务crontab的使用详解
基本格式 : * * * * * command 分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用或者 /1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令 crontab文件的一些例子： 30 21 * * * /usr/lo...
2018-09-17 09:42:30
282
原创 lsof的使用
Lsof是遵从Unix哲学的典范，它只完成一个功能，并且做的相当完美——它可以列出某个进程打开的所有文件信息。打开的文件可能是普通的文件、目录、NFS文件、块文件、字符文件、共享库、常规管道、命名管道、符号链接、Socket流、网络Socket、UNIX域Socket，以及其它更多类型。因为“一切皆文件”乃为Unix系统的重要哲学思想之一，因此可以想象lsof命令的重要地位。lsof ［opt...
2018-09-09 13:50:38
202
原创 HAProxy全面解析与使用
一、HAProxy简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴...
2018-09-09 13:46:46
457
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人