- 博客(18)
- 收藏
- 关注
RSS订阅原创 hive 起步
hive中执行的SQL，会转化为一个或多个mapReduce作业并在集群上运行。 1.创建表导入单词文本文件create table flwordcount(line string);load data inpath '/user/hadoop/input/readme.txt' overwrite into table flwordcount;命令查看：0: jdbc...
2017-03-29 13:36:04
364
原创 hadoop大数据平台手动搭建-hue
1.解压tar -zxvf /opt/hue-3.9.0-cdh5.8.0.tar.gz2. 编译安装 make apss make install3.修改hue.ini# Hue configuration file# ===================================## For complete documentatio...
2017-03-27 16:12:42
793
原创 hadoop大数据平台手动搭建-spark
Spark 是专为大规模数据处理而设计的快速通用的计算引擎。拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。由于spark使用依赖scala.所以一起安装。 1.解压文件tar -zxvf /opt/spa...
2017-03-23 22:45:57
254
原创 hadoop大数据平台手动搭建-sqoop
sqoop主要是在关系型数据库与hadoop交互数据。作为hadoop的客户端工具。可安装在任一节点上，我安装在master上的。1.tar -zxvf /opt/sqoop-1.4.6-cdh5.8.0.tar.gz2.修改环境变量vi /etc/profile加入：export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.8.0export PA...
2017-03-23 15:43:36
264
原创 hadoop大数据平台手动搭建-hbase
hbase也是基于HDFS的.本节还是安装完全分布模式。由于各个节点时间误差太多，hbase启动会失败。所以先前已经安装了NTP时间同步服务。 跟hive一样将/opt/hbase-1.2.0-cdh5.8.0.tar.gz解压tar -zxvf hbase-1.2.0-cdh5.8.0.tar.gz 1. 修改hbase-1.2.0-cdh5.8.0\conf下的hbase...
2017-03-22 22:54:55
184
原创 hadoop大数据平台手动搭建-hive
hive的安装。hive只是作为hadoop客户端，我安装在master节点上。1. 安装元数据库。默认的数据库为Derby. 生产中我们通常用其他数据库。因Derby只支持同时一个用户访问Hive. 下面用mysql来存储元数据。yum install mysqlyum install mysql-serveryum install mysql-devel 查看m...
2017-03-22 21:51:19
274
原创 hadoop大数据平台手动搭建-hadoop
1.下载列表：winow和linux之间文件上传下载FileZilla jdk-7u79-linux-x64.tar.gz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.8.0.tar.gz hadoop-native-64-2.6.0.tar hbase-1.2.0-cdh5.8.0.tar.gz hive-1...
2017-03-21 21:54:36
201
原创 hadoop大数据平台手动搭建-ssh,ntp
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架，围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等，增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装，部署，监控。我手动安装主要是熟悉环境，解决错误。理解原理。1.下载VMwa...
2017-03-21 15:20:41
189
原创 mysql Access denied
Mysql ERROR 1045 (28000): Access denied for user 'root'@'localhost'问题的解决这种问题需要强行重新修改密码，方法如下：/etc/init.d/mysql stop (service mysqld stop )/usr/bin/mysqld_safe --skip-grant-tables另外开个SSH连接...
2017-02-27 20:19:48
199
原创 Cassandra 2.0.4 cannot start
ERROR [main] 2014-02-05 16:19:24,375 CassandraDaemon.java (line 478) Exception encountered during startupjava.lang.IllegalStateException: Unfinished compactions reference missing sstables. This shou...
2016-08-21 16:44:12
135
原创 centos6.5 CDH5.6 clouder 集群环境搭建
1.准备软件 hadoop-2.6.0-cdh5.6.0.tar.gz2.jdk:/opt/jdk1.7.0_25---------------------------------------------------1.配置静态IP[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0...
2016-08-21 16:19:45
137
原创 hadoop lib native
NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError解决：1.下载对应hadoop对应二进制文件。拷贝到当前HADOOP_HOME/lib/native/2.下载源文件重新编译...
2016-08-21 11:27:25
224
原创 java.lang.UnsatisfiedLinkError: Cannot load libcrypto.so
[root@master engines]# ldd $(hadoop checknative)16/08/21 07:58:43 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...16/08/21 07:58:43 DEBUG util.NativeCodeLoader...
2016-08-21 11:24:18
593
原创 centos6.5 ssh无密码登陆失败注意事项
1.文件夹.ssh 700 和 authorized_keys 600 权限 2.如果是用root身份无密码登陆 PermitRootLogin yes3.重要一点如果遇到登录失败的情况：我用的是centos版本是6.5，centos6.5对网络管理相当严格，需要在原来的基础上关闭selinux, 到/etc/selinux/config下，把SELINUX=enforcing修...
2016-08-20 13:20:24
231
原创 mysql 表情符存入错误
java操作mysql异常Incorrect string value: '\xF0\x9F\x90\x98\xF0\x9F...' for column 'NICKNAME' at row 1解决方法：1.设置mysql配置：character-set-server = utf8mb4collation-server = utf8mb4_unicode_ci...
2016-07-26 14:05:41
118
原创 linux环境mysql导出数据并上传sftp脚本
#define mysql info#mysql数据库的地址_db_host='-h192.168.1.1'#mysql的端口_db_port='-p3306'#mysql的登陆账号_db_user='-uroot'#mysql的密码_db_pass='-p1qazxsw2'#mysqlde db名字_db_database='-Dsampling'...
2016-07-08 13:45:28
229
原创 hadoop 启动 JAVA_HOME is not set and could not be found
[root@mysqlmaster hadoop-2.7.2]# sbin/start-dfs.sh16/07/01 18:38:03 DEBUG util.Shell: setsid exited with exit code 016/07/01 18:38:03 DEBUG lib.MutableMetricsFactory: field org.apache.hadoop.metri...
2016-07-01 18:43:09
311
原创 hadoop GLIBC_2.14 not found
hadoop 2.7.2 centos 6.5 安装过程中报GLIBC_2.14 not found查看系统的libc版本[hadoop@master001 native]$ ll /lib64/libc.so.6lrwxrwxrwx. 1 root root 12 Apr 14 16:14 /lib64/libc.so.6 -> libc-2.12.so显示版本为2.12...
2016-07-01 18:14:39
282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人