大数据
关注
分享
扫一扫
文章平均质量分 88
奥卡姆的剃刀
GitHub: https://github.com/LeronQ
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark高级算子：mapPartitionsWithIndex，aggregate，aggregateByKey
1：mapPartitionsWithIndex：对RDD中的每个分区（带有下标）进行操作，通过自己定义的一个函数来处理API文档：def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U])def mapPartitions[U](f: (Iterator[T]) ...原创 2019-08-17 12:56:24 · 7422 阅读 · 1 评论 -
Spark：RDD简介及基础算子
本文主要介绍Spark Core的核心内容：RDD。包含以下章节和对应的内容章节 内容 1 RDD简介 2 RDD分区 3 RDD的依赖关系 4 RDD的缓存机制和区别 5 RDD创建的两种方式 6 RDD算子和总结 7 RDD 算子操作案例 1、RDD简介RDD(Resilient Distribute...原创 2019-08-10 11:38:23 · 6033 阅读 · 0 评论 -
SparkSQL集成Hive
（1）相关配置：将以下文件拷贝到 $SPARK_HOME/conf 目录下Hive: hive-site.xmlHadoop: core-site.xml和hdfs-site.xml同时，启动Spark shell 的时候，需要制定mysql的驱动首先查看core-site.xml，hdfs-site.xml，hive-site.xml(2)拷贝mys...原创 2019-08-05 16:37:47 · 4308 阅读 · 2 评论 -
大数据相关开源项目及组件汇总
调度与管理服务文件系统数据搜集消息系统内存技术数据处理查询引擎分析和报告工具机器学习开发平台1：调度与管理服务大数据调度与管理服务主要包括以下相关软件：Azkaban 、YARN 、Mesos、Ambari 、ZooKeeper 、Thrift 、Chukwa 。以下将分别介绍。1.1：AzkabanAzkaban 是一款基于Java编写的任务调度系统任务调度，来自...原创 2019-06-21 17:52:00 · 6578 阅读 · 0 评论 -
Win10 安装scala并配置环境变量步骤---附图
Win10 安装scala并配置环境变量主要步骤：下载scala软件包解压到文件夹配置环境变量1：下载软件包去官网下载windows环境下的scala安装包。官网地址：https://www.scala-lang.org/可选择项：注：本文选择scala-2.11.8版本2：解压安装将下载好的scala版本解压，放在D盘。注意：安装scala之前，必须安装java ...原创 2019-04-23 15:23:28 · 11170 阅读 · 0 评论 -
Hbase-API增删改查扫描等操作
说明：这是一个maven工程，需要导入相关配置。代码package com.HbasePractice.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apach...原创 2019-04-16 09:45:42 · 680 阅读 · 0 评论 -
集群HBase-shell命令及表操作详细步骤（附图）
1：Hbase 集群配置信息及启动命令集群配置：Zookeeper集群3台Hadoop集群3台Hbase集群台其中，集群主节点的主机名为：hd09-01，两台从节点主机名分别为：hd09-02，hd09-03。启动Hbase的工作：hbase是基于hadoop的,所以hbase服务器必须启动hadoop集群：start-dfs.sh再接着启动yarn集群：s...原创 2019-04-08 23:59:45 · 6740 阅读 · 0 评论 -
Sqoop的数据迁移命令及参数说明
1：Sqoop的import命令数据从mysql中导入到hdfs当中bin/sqoop import --connect jdbc:mysql://192.168.50.183:3306/sq --username root --password root --table user --target-dir /sqoop/datas --delete-tar get-dir --num-m...原创 2019-04-01 13:41:04 · 4383 阅读 · 0 评论 -
Hive高级优化的各种方法
1：压缩首先打开hive的压缩功能命令：set hive.exec.compress.intermediate=true;开启map端数据压缩功能命令：set mapreduce.map.output.compress=true;设置map端的数据压缩格式：命令：set mapreduce.map.output.compress.codec=org.apache.hadoop.io...原创 2019-03-25 09:42:52 · 4867 阅读 · 0 评论 -
Zookeeper基础内容
1:定义官网：zookeeper.apache.org相当于是一个数据库是一个分布式协调框架，实现HA是一个分布式锁的管理框架，实现秒杀2:提供的功能分布式协调分布式锁数据同步（端口：2888）,选举机制（投票，端口：3888）主要的功能在于存储数据和监听3:工作机制整体运行机制存储数据： Zookeeper的数据模型是树结构，在内存数据库中，存储...原创 2019-03-17 11:14:58 · 3859 阅读 · 0 评论 -
从分布式角度解读HDFS运行机制和原理
引言：分布式的一般设计要想深入学习HDFS就要先了解其设计思想和架构，这样才能继续深入使用HDFS或者深入研究源代码，先从一般的分布式谈起，在宏观上逐步去探究HDFSDE设计思想和架构实现。分布式：分布式是近几年非常火的技术概念，无论是云计算、大数据还是高并发的互联网架构话题都会频频出现这个词语，特别是这个大谈“大规模”的时代，分布式貌似成了高大上技术的代名词。引的许多刚入行的技术人员趋...原创 2019-03-03 15:22:26 · 4628 阅读 · 0 评论 -
安装Hadoop集群的准备工作（详细附图）
安装Hadoop,Spark集群步骤 在搭建Hadoop集群之前，已经在虚拟机上安装了三台Linux服务器，并且Linux的IP地址也已经配置好了，所以安装Linux服务器的过程省略了。本文主要讲述如何在此基础上，逐步搭建Hadoop环境。所有的软件以及配置信息，已经放在百度云上，可自行下载，欢迎交流！ 设备信息：三台Linux服务器，SecureCRT远程连接工具，WinSCP远程文件传...原创 2019-02-23 20:59:14 · 5336 阅读 · 0 评论 -
基于逻辑回归的评分卡模型简单概述
评分卡模型1：概述信用评分本质上是模式识别中的一类分类问题，将企业或者个体消费者划分为能够按期还本付息（即“好”客户）和违约（即“坏”）两类。具体做法是根据历史数据中的样本，从已知的数据中找出违约及不违约客户的特征，从而总结出分类的规则，建立数学模型，用于测量价款人的违约风险（或者违约概率），为消费信贷决策提供依据。2：建模的准备2.1：目标变量的准备研究的目标变量为客户是否具有违约行...原创 2019-02-12 10:08:30 · 14310 阅读 · 2 评论 -
Pyecharts数据可视化学习笔记（附代码）
PyEcharts学习笔记#参考PyEcharts 官网，对常用的可视化图形进行了整理，包括柱形图，线柱图，饼图，漏斗图，地理信息图，动态3D展示图等。附几张展示图：柱形图线柱图3D展示地理信息图漏斗图热度图饼图The practice coding of learning PyEcharts整理的可视化画图，中文网址：http://pyecharts.org...原创 2019-02-16 15:14:05 · 5858 阅读 · 0 评论 -
大数据组件Presto，Spark SQL，Hive相互关系
大数据组件Presto，Spark SQL，Hive相互关系工作上经常写SQL，有时候会在Presto上查表，或者会Presto web页面上写SQL语句。而有时候会在堡垒机上的服务器利用Spark在Yarn模式下写SQL语句，而有时候查询耗时比较低的情况下，直接利用hive -e 命令直接写SQL。也就是说：在Spark ，Hive，Presto都可以写SQL 的，但是这三者之间有什么区别或者...原创 2019-01-10 11:21:36 · 21740 阅读 · 0 评论 -
Azkaban作业参数使用介绍
Azkaban中的参数详解参数传递是调度字体工作流运行时非常重要的一部分，工作流的执行，单个作业的执行，多个工作流之间的依赖执行，历史任务重算，都涉及到参数传递和同步。azkaban的工作流中的参数可以分为如下几个类型：1: Azkaban UI 页面输入参数2: 环境变量参数3：job作业文件中定义的参数4：工作流的用户定义的属性文件，上游作业传递给下游的参数5：工作...原创 2019-01-06 01:04:12 · 8194 阅读 · 0 评论