coder_Gray的博客

一.简介- 什么是hdfs？ hdfs是一种分布式系统，其组成是namenode节点和datanode节点。顾名思义，namenode是“名字节点”，存储的是这部分存储区域的相关信息，并管理datanode节点；而datanode存储的就是数据。一个namenode对应一个或多个datanode节点，每一个datanode运行在一台机器上，所以这些datanode组合到一起将形成一个集群（c

一、hive的运行模式hive共有三种运行模式1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中（一般是 MySQL），这用就可以支持多会话和多用

随着Spark在分布式计算中越来越流行，启用了内存数据分布级，补充Hadoop上对于迭代问题效率较低的问题，同时Spark和scala的完美融合也使Spark更具优越性。本篇将介绍Spark的核心—RDDs的基本概念，创建方法和RDDs的特性三个部分。 RDDs的操作方法将在下一篇具体介绍。1. RDDs的基本概念首先了解什么是RDDs： RDDs（Resilient distributed d

前言在第一章，已经介绍过了RDDs的基本概念，创建方法和特性。那么在本章将介绍RDD的基本操作方法。如果没看过第一篇的点击链接：Spark之核心—RDDs（1）RDD基本操作方法之Transformation顾名思义，Transformation时转换的意思，在RDD中的含义就是从之前的RDD构建一个新的RDD，像map(),filter()等。下面将具体介绍这些操作方法：map()：想必熟悉编程

初识kafkaApache Kafka是一种分布式发布-订阅消息系统。具有分布式，可划分的特点，提供冗余备份的持久性日志服务。用于处理活跃的流式数据。那么Apache Kafka因何而生的呢？ 由于一个大系统由各个小的子系统组成，同时搞定在线应用（消息）和离线应用（数据文件，日志）会存在相应的难度，Kafka便由此而来。相对比于其他消息系统（Active MQ和Rabbit MQ等），Kafka具

本文为Redis系列的第一部分，将从Redis的简介、安装配置和数据类型三个方面进行介绍。 现在越来越多的场景开始广泛使用Redis缓存数据库，除了众所周知的速度极快这个优点，还有其他的特性吗？答案是肯定的。前几天在一个微信公众号里看到有人讲这个，今天拿出来分享一下。 新浪微博是全球最大的的Redis集群用户，面对微博常常出现的热点数据，Memcached+mysql解决方案已不能满足，由于Me

本篇文章将会继续介绍Redis缓存数据库，将从redis命令、事务和发布订阅等方面来介绍。Redis命令Redis 命令用于在 redis 服务上执行操作。要在 redis 服务上执行命令需要一个 redis 客户端。Redis 客户端在我们之前下载的的 redis 的安装包中。 命令为：$ redis-cli如果需要在远程 redis 服务上执行命令，同样我们使用的也是 redis-cli 命令

任务要求如下：实现Spark和HIVE与HDFS之间的通信 利用Spark.sql从HIVE中获取数据，并进行预处理以符合Spark机器学习库中输入文件的libsvm格式 LinearRegression线性回归模型建模 将得到的预测结果写回HDFS现在明确了我们的任务目标，就从头开始进行。配置Spark和Hive之间的通信Spark内部可以直接让SparkContext从hd...