自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 问答 (3)
  • 收藏
  • 关注

原创 PySpark基于SHC框架读取MySQL数据转成DataFrame写入HBase

一、准备工作请参考本人之前的文章 二、代码 #/usr/bin/python #-*- coding:utf-8 –*- from pyspark import SparkContext from pyspark.sql import SQLContext,HiveContext,SparkSession from pyspark.sql.types import Row,StringTy...

2019-04-28 14:53:43 820 1

原创 PySpark基于SHC框架读取HBase数据并转成DataFrame

一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下 二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去 三、重启集群 四、代码 #/usr/bin/python #-*- coding:utf-...

2019-04-27 18:25:39 838

原创 Java实现Spark将DataFrame写入到HBase

需要的包: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescripto...

2019-04-26 16:19:05 1843

原创 Java对HBase的CRUD操作的小demo

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.junit.After; import org.junit.Before; import org.junit.Test; publi...

2019-04-24 16:28:58 283

原创 Java实现Spark读取HBase中数据并转成DataFrame

我测试用的HBase数据: 话不多说上代码 所有需要的包: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Result; import org.apache.hado...

2019-04-24 15:56:19 2040 1

原创 大数据入门(二)之Hadoop部署

准备工作 安装JDK 1、上传jdk安装包 2、安装jdk 3、配置java环境变量 获取安装位置 修改/etc/profile文件 加上这两行 重新加载文件 . /etc/profile 验证 任意位置输入jps 出现下图所示即配置成功 4、其他节点重复上述造作 免秘钥 1、所有节点登录自己以此来创建.ssh文件 2、依次输入yes、密码 然后exit退出 文件创建成功 ...

2018-12-26 22:36:55 152

原创 大数据入门(一)之集群部署

#一、准备工作 ##1、虚拟机准备 如果你可以操作多台服务器,那么以下的准备工作可以省略。。 首先检查你的 这里我用的软件是VMware Workstation Pro,Xshell 5,Xftp 4 Linux系统用的是CentOS 6.5 节点我准备了5个:即,node001,node002,node003,node004,node005 新的改变 我们对Markdown编辑器进行了一些功能拓...

2018-12-23 23:14:16 389

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除