大数据
关注
分享
扫一扫
文章平均质量分 63
learningcoder
这个作者很懒，什么都没留下…
展开
-
Storm-1.0.3完全分布式安装
jdk1.7+zookeeper集群信息 hadoop1 192.168.0.131 zk nimbus, core hadoop2 192.168.0.132 zk Supervisor hadoop3 ...原创 2019-09-01 19:03:45 · 201 阅读 · 0 评论 -
HBASE 1.2.7 完全分布式安装
0.前提安装jdk安装hadoop1.下载HBASE 1.2.7 http://mirror.bit.edu.cn/apache/hbase/2.解压$>tar -zxvf hbase-2.1.0-bin.tar.gz apps/创建软连接$>ln -s hbase-1.2.7 hbase3.配置环境变量$>sudo vi /etc/pro...原创 2018-10-19 00:07:14 · 499 阅读 · 0 评论 -
MapReduce二次排序
默认情况下，Map输出的结果会对Key进行默认的排序，但个别需求要求对Key排序的同时还需要对Value进行排序这时候就要用到二次排序了。本章以hadoop权威指南中计算每年最大气温值为例，原始数据杂乱无章2008 332008 232008 432008 242008 252008 332008 132008 222008 332008 332009 232009...原创 2018-09-29 00:43:55 · 161 阅读 · 0 评论 -
Hadoop数据压缩
文件压缩有两个好处1.减少存储文件的所需的磁盘空间2.加少数据在网络和磁盘上的传输 在hadoop中文件压缩方式有很多种，各有千秋压缩要权衡空间和时间两个维度,虽然减少了空间，但增加了cpu的使用率gzip是个通用的压缩工具，在空间和时间性能上居中，后面有案例测试。 Codec是压缩-解压缩算法的一种实现 举例测试将指定文件调用hadoop压缩方...原创 2018-09-21 00:16:34 · 703 阅读 · 0 评论 -
hadoop 伪分布式安装
在一台主机模拟多主机，Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。这种模式常用来开发测试Hadoop程序的执行是否正确2.1 修改配置文件core-site.xml hdfs-site.xmlmapred-site.xml yarn-site.xm...原创 2018-09-11 22:29:13 · 352 阅读 · 0 评论 -
Hive学习----分区操作
1.创建分区对表中的数据进行管理，并能提高查询效率，Hive的分区实际上就是表下创建子目录创建表分区通过关键字PARTITIONED BYCREATE TABLE IF NOT EXISTS tb1(id int,name string)PARTITIONED BY (year int,month int)ROW FORMAT DELIMITED FIELDS TERM...原创 2018-09-02 20:48:15 · 626 阅读 · 0 评论 -
Hive学习----基本操作
1. Hive入门hive中数据库和表都是目录，默认在hdfs的/user/hive/warehouse/下 在元数据库mysql中2.简单操作Hive表分为两类，外部表和管理表（或叫内部表）区别：删除表结构时(drop table tableName),外部表数据保留，内部表数据也被删除因为大数据开发，数据量很大，删除数据是很危险的操作，建议一般使用外...原创 2018-09-02 19:30:48 · 230 阅读 · 0 评论 -
Cenos6.6中安装Hive 1.2.2和Hive 2.3.3
Hadoop版本：hadoop-2.6.4CentOS版本：CentOS release 6.6 (Final) 1.下载Hive2.3.3会额外多一点点操作 先装1.2.2hive安装包下载地址：http://mirror.bit.edu.cn/apache/hive/2.解压并改名tar -zxvf apache-hive-2.3.3-bin.tar...原创 2018-09-01 20:42:22 · 800 阅读 · 0 评论 -
centos6.6中安装mysql 5.7.23
1.Linux版本 cat /etc/issue2.下载mysql包，本次安装的是5.7.23 https://dev.mysql.com/downloads/mysql/5.6.html#downloads 3.解压到/usr/local/目录下tar -zxvf /home/omc/mysql-5.7.23-linux-glibc2.12-x86_64.tar....原创 2018-09-01 17:06:21 · 2262 阅读 · 0 评论 -
Spark安装
下载的是spark-1.6.1-bin-hadoop2.61. 解压tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C apps/2. 修改配置文件 增加export JAVA_HOME=/home/omc/apps/jdk1.7.0_45export SPARK_MASTER_IP=192.168.0.131export SPAR...原创 2018-07-23 23:26:40 · 737 阅读 · 0 评论