
hadoop
文章平均质量分 82
正义飞
大数据专业分享技术公众号:bigdatatip
展开
-
Hive初识功能架构
hadoop,spark,kafka交流群:224209501kafka源码,hbase源码,spark源码请关注浪尖公众号本节讲述的主要内容为:1) Hive 能做什么,与MapReduce相比优势在哪里(对于开发者) 2) 为什么说Hive是Hadoop 数据仓库,从【数据存储和分析】方面理解 3) Hive 架构,分为三个部分来理解,最好通过画图理解1,hive PK mapredu原创 2016-09-02 14:39:27 · 2427 阅读 · 0 评论 -
Hadoop 2.x伪分布式环境搭建测试
Hadoop为分布式集群环境搭建,学习。原创 2016-05-10 21:27:48 · 3261 阅读 · 3 评论 -
kafka与streaming集成两种方式
hadoop,spark,kafka交流群:224209501标签(空格分隔)spark streaming作为kafka消费者两种模式,测试完整通过。原创 2016-05-18 10:57:48 · 5723 阅读 · 2 评论 -
spark 环境搭建及几种模式测试
spark安装部署标签(空格分隔): sparkhadoop,spark,kafka交流群:224209501,spark on yarn;spark standalone;spark hadoop。原创 2016-05-19 11:58:28 · 12742 阅读 · 2 评论 -
Hive 安装部署及测试
标签(空格分隔): hive 1) Hive 如何配置与Hadoop 关联,进行创建表,加载数据测试 2) 在Linux下安装MySQL数据库 3) 配置Hive元数据存储在MySQL中,查看相关元数据表信息 4) 熟悉基本的DML和DDL语句(创建数据库、表及加载数据和基本查询语句Select)hadoop,spark,kafka交流群:224209501,相关文档及环境要求1.原创 2016-05-22 19:11:45 · 5047 阅读 · 0 评论 -
storm-0.8.2集群模式安装部署
标签(空格分隔): stormhadoop,spark,kafka交流群:224209501集群: 一台主机用来运行nimbus,另外两台运行superior。安装及测试:1,安装ZeroMQ 2,安装jzmq 3,安装Python 4,安装storm 5,配置storm 6,启动storm 7,测试storm1,安装依赖sudo yum install uuid*sudo yum原创 2016-05-22 19:21:36 · 1156 阅读 · 0 评论 -
sparkRDD操作
RDD介绍标签(空格分隔): sparkhadoop,spark,kafka交流群:459898801RDD 操作,RDD五大特点,spark,streaming原创 2016-06-23 15:21:48 · 3942 阅读 · 0 评论 -
zookeeper集群的配置及使用
hadoop,spark,kafka交流群:459898801zookeeper原创 2016-07-20 18:05:50 · 10678 阅读 · 1 评论 -
0.8.2kafka集群配置
kafka常用配置kafka集群配置讲解kafka生产者实例kafka消费者实例原创 2016-07-21 11:01:03 · 2024 阅读 · 0 评论 -
IDE的使用,打包spark应用提交
hadoop,spark,kafka交流群:459898801标签(空格分隔): idea 创建spark工程idea导入spark源码idea打包spark应用 4,创建scala工程 5,导出jar包原创 2016-08-11 20:41:07 · 2623 阅读 · 0 评论 -
Hadoop 2.x分布式集群部署
hadoop,spark,kafka交流群:459898801hadoop集群搭建,hadoop分布式集群部署。原创 2016-08-11 20:09:08 · 1517 阅读 · 0 评论 -
hadoopHA安装部署测试
hadoop,spark,kafka交流群:459898801标签(空格分隔): hadoop 本文主要完成以下内容: 1) HDFS HA(高可用性)原理(把握四大要点),最好自己作图 2) 依据官方文档及课程讲解配置HDFS HA启动并测试 3) YARN ResouceManager HA和ResouceManager Restart 功能及配置部署与测试。原创 2016-08-11 20:12:58 · 2535 阅读 · 0 评论 -
Hive 表数据 加载 、导出 、查询
1) 使用 load方式加载数据到Hive表中,注意分区加载数据的特殊性 2) 如何保存 HiveQL查询结果:保存到表中,保存到本地文件 (注意 指定 列 分隔符) 3) 常见的查询练习,如 group by、 having、join 、sort by、order by等。1,加载数据到表的几种方式1,加载本地数据文件到hive表中load data local inpath '/opt/da原创 2016-09-02 14:37:00 · 3427 阅读 · 0 评论 -
spark 的HA模式
hadoop,spark,kafka交流群:4598988011spark 集群部署spark HA模式测试原创 2016-08-05 13:23:58 · 2269 阅读 · 0 评论 -
HBase集群搭建及hbaseshell使用
标签(空格分隔): hbase 大数据 (Hadoop)数据库 HBase功能 、表的设计 、环境配置与 Shell基本使用练习,最好与 RDBMS数据中的库和表进行对比 ,以下几点要注意 : 1) 企业中海量数据存储和实时查询的需求 2) HBase功能 ,与 RDBMS相比,优势在哪 3) HBase服务组件的说明、配置部署启动 4) HBase Shell中基本命令的使用原创 2016-05-22 19:06:16 · 6900 阅读 · 0 评论 -
各种距离的计算
1. 欧氏距离(EuclideanDistance)(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离: (2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: (3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离: 也可以用表示成向量运算的形式:转载 2015-12-11 14:12:47 · 1444 阅读 · 0 评论 -
Spark面试必备内容
最近很多球友都说在准备面试,不知道准备点啥,尤其是spark,实际上星球里浪尖分享的内容真的都掌握了,应对一般面试绝对没问题,但是遗憾的事情是很多人都是处于不会主动搜集资料,主动梳理知识,主动记忆整理知识,而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况,不努力,不加班给自己喂粮的,没有足够量和时间积累的人很难在一个领域里有所建树。主动学习,保持激情,不断提...原创 2019-03-26 10:45:45 · 780 阅读 · 0 评论