- 博客(11)
- 收藏
- 关注
转载 spark的安装和使用
a.先到官网下载安装包 注意第二项要选择和自己hadoop版本相匹配的spark版本,然后在第4项点击下载。若无图形界面,可用windows系统下载完成后传送到centos中。 b.安装spark 保存后,Spark 就可以启动了。 b.spark的简单使用 在 ./examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的...
2019-05-25 22:50:27
464
原创 HiveQI语句实现:word count
Hive实现wordCount程序 a. 创建一个数据库,如 create database word; b. 建表 create external table word_data(line string) row format delimited fields terminated by ‘\n’ stored as textfile location ‘/home/hadoop/worddat...
2019-05-25 22:39:29
257
转载 Redis和mongodb常用命
Redis常用命令整理 doc 环境下使用命令: keys 命令 ? 匹配一个字符 * 匹配任意个(包括0个)字符 [] 匹配括号间的任一个字符,可以使用 "-" 符号表示一个范围,如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x,用于转义符号,如果要匹配 "?" 就需要使用 \? 判断一个键值是否存在 ...
2019-05-25 21:43:02
240
原创 Hbase+eclipse实现建表
开发准备: jdk1.8.45 hbase-1.2.2(windows下和linux个留一份) hadoop-2.7.2(linux一份) Linux系统(centos或其它) Hadoop安装环境 HBase安装环境 具体操作步骤如下: Eclipse中新建Maven项目, type为maven-archetype-quickstart,工程名为MyHBase 将...
2019-05-25 18:07:11
1248
转载 eclipse+mavey运行hdfs
一、准备工作 (1)Hadoop2.7.2 在linux部署完毕,成功启动dfs和yarn,通过jps查看,进程都存在 (2)安装maven 二、最终效果 在windows系统中,直接通过Run as Java Application运行wordcount,而不需要先打包成jar包,然后在linux终端运行 三,操作步骤 1、启动dfs和yarn 终端:HADOOPHOME/sbin/...
2019-05-25 17:02:50
261
转载 Hdfs知识要点
1、HDFS的设计HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。 2、HDFS的概念HDFS数据块:HDFS上的文件被划分为块大小的多个分块...
2019-05-25 16:31:21
266
原创 Hadoop集群环境搭建
搭建步骤如下: 一、首先是搞好master 1、创建用户组 groupadd hadoop 添加一个组 useradd hadoop -g hadoop 添加用户 2、jdk的安装 这里安装的版本是jdk-7u9-linux-i586.tar.gz ,使用 tar -zsvf jdk-7u9-linux-i586.tar.gz -C /o...
2019-05-25 16:23:17
148
原创 Hadooph集群搭建
阅读目录(Content) 一、Hadoop的三种运行模式(启动模式) 1.1、单机模式(独立模式)(Local或Standalone Mode) 1.2、伪分布式模式(Pseudo-Distrubuted Mode) 1.3、全分布式集群模式(Full-Distributed Mode) 二、搭建伪分布式集群的前提条件 2.1、能够正常运行的Ubuntu操作系统 2.2、安装JDK,并配置环境...
2019-05-25 16:12:59
217
转载 Hadoop起源以及Google三论文
一、什么是大数据? 1.1 大数据核心的问题有: 1、海量数据如何存储? 2、海量数据如何计算? 12 1.2 大数据解决了以上两个问题。举两个例子: List item 1、大型电商网站的商品推荐,海量的历史的售卖数据如何存储?如何从海量的历史售卖数据中计算出盈利最大化的数据推荐给用户? 2、天气预报,海量的天气数据如何存储?如何从海量的历史数据中计算预测出未来的天气? 12 二、传统...
2019-05-22 16:19:27
765
原创 浅谈大数据
大数据就像前两年的云计算一样,是一个时下被炒得很火的概念。那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发表一点浅显的认识,理解肯定有不到位之处请大家批评指正。 无论是大数据技术还是云计算技术,其实这些技术都不是突然冒出来的,而是随着互联...
2019-05-21 20:53:21
425
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅