自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

转载 spark的安装和使用

a.先到官网下载安装包 注意第二项要选择和自己hadoop版本相匹配的spark版本,然后在第4项点击下载。若无图形界面,可用windows系统下载完成后传送到centos中。 b.安装spark 保存后,Spark 就可以启动了。 b.spark的简单使用 在 ./examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的...

2019-05-25 22:50:27 464

原创 HiveQI语句实现:word count

Hive实现wordCount程序 a. 创建一个数据库,如 create database word; b. 建表 create external table word_data(line string) row format delimited fields terminated by ‘\n’ stored as textfile location ‘/home/hadoop/worddat...

2019-05-25 22:39:29 257

转载 Redis和mongodb常用命

Redis常用命令整理 doc 环境下使用命令: keys 命令 ? 匹配一个字符 * 匹配任意个(包括0个)字符 [] 匹配括号间的任一个字符,可以使用 "-" 符号表示一个范围,如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x,用于转义符号,如果要匹配 "?" 就需要使用 \? 判断一个键值是否存在 ...

2019-05-25 21:43:02 240

原创 Hbase+eclipse实现建表

开发准备:   jdk1.8.45   hbase-1.2.2(windows下和linux个留一份)   hadoop-2.7.2(linux一份)   Linux系统(centos或其它)   Hadoop安装环境   HBase安装环境 具体操作步骤如下: Eclipse中新建Maven项目, type为maven-archetype-quickstart,工程名为MyHBase 将...

2019-05-25 18:07:11 1248

转载 生成jar包在wordcount中运行

生成jar包在wordcount中运行

2019-05-25 17:32:38 673

转载 eclipse+mavey运行hdfs

一、准备工作  (1)Hadoop2.7.2 在linux部署完毕,成功启动dfs和yarn,通过jps查看,进程都存在  (2)安装maven 二、最终效果  在windows系统中,直接通过Run as Java Application运行wordcount,而不需要先打包成jar包,然后在linux终端运行 三,操作步骤  1、启动dfs和yarn   终端:HADOOPHOME/sbin/...

2019-05-25 17:02:50 261

转载 Hdfs知识要点

1、HDFS的设计HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。 2、HDFS的概念HDFS数据块:HDFS上的文件被划分为块大小的多个分块...

2019-05-25 16:31:21 266

原创 Hadoop集群环境搭建

搭建步骤如下:   一、首先是搞好master     1、创建用户组        groupadd hadoop 添加一个组         useradd hadoop -g hadoop 添加用户   2、jdk的安装     这里安装的版本是jdk-7u9-linux-i586.tar.gz ,使用 tar -zsvf jdk-7u9-linux-i586.tar.gz -C /o...

2019-05-25 16:23:17 148

原创 Hadooph集群搭建

阅读目录(Content) 一、Hadoop的三种运行模式(启动模式) 1.1、单机模式(独立模式)(Local或Standalone Mode) 1.2、伪分布式模式(Pseudo-Distrubuted Mode) 1.3、全分布式集群模式(Full-Distributed Mode) 二、搭建伪分布式集群的前提条件 2.1、能够正常运行的Ubuntu操作系统 2.2、安装JDK,并配置环境...

2019-05-25 16:12:59 217

转载 Hadoop起源以及Google三论文

一、什么是大数据? 1.1 大数据核心的问题有: 1、海量数据如何存储? 2、海量数据如何计算? 12 1.2 大数据解决了以上两个问题。举两个例子: List item 1、大型电商网站的商品推荐,海量的历史的售卖数据如何存储?如何从海量的历史售卖数据中计算出盈利最大化的数据推荐给用户? 2、天气预报,海量的天气数据如何存储?如何从海量的历史数据中计算预测出未来的天气? 12 二、传统...

2019-05-22 16:19:27 765

原创 浅谈大数据

大数据就像前两年的云计算一样,是一个时下被炒得很火的概念。那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发表一点浅显的认识,理解肯定有不到位之处请大家批评指正。 无论是大数据技术还是云计算技术,其实这些技术都不是突然冒出来的,而是随着互联...

2019-05-21 20:53:21 425

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除