冬哥不是东哥-优快云博客

原创 PySpark基于SHC框架读取MySQL数据转成DataFrame写入HBase

一、准备工作请参考本人之前的文章二、代码 #/usr/bin/python #-*- coding:utf-8 –*- from pyspark import SparkContext from pyspark.sql import SQLContext,HiveContext,SparkSession from pyspark.sql.types import Row,StringTy...

2019-04-28 14:53:43 820 1

原创 PySpark基于SHC框架读取HBase数据并转成DataFrame

一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去三、重启集群四、代码 #/usr/bin/python #-*- coding:utf-...

2019-04-27 18:25:39 838

原创 Java实现Spark将DataFrame写入到HBase

需要的包： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescripto...

2019-04-26 16:19:05 1843

原创 Java对HBase的CRUD操作的小demo

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.junit.After; import org.junit.Before; import org.junit.Test; publi...

2019-04-24 16:28:58 283

原创 Java实现Spark读取HBase中数据并转成DataFrame

我测试用的HBase数据：话不多说上代码所有需要的包： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Result; import org.apache.hado...

2019-04-24 15:56:19 2040 1

原创大数据入门（二）之Hadoop部署

准备工作安装JDK 1、上传jdk安装包 2、安装jdk 3、配置java环境变量获取安装位置修改/etc/profile文件加上这两行重新加载文件 . /etc/profile 验证任意位置输入jps 出现下图所示即配置成功 4、其他节点重复上述造作免秘钥 1、所有节点登录自己以此来创建.ssh文件 2、依次输入yes、密码然后exit退出文件创建成功 ...

2018-12-26 22:36:55 152

原创大数据入门（一）之集群部署

#一、准备工作 ##1、虚拟机准备如果你可以操作多台服务器，那么以下的准备工作可以省略。。首先检查你的这里我用的软件是VMware Workstation Pro，Xshell 5，Xftp 4 Linux系统用的是CentOS 6.5 节点我准备了5个：即，node001,node002,node003,node004,node005 新的改变我们对Markdown编辑器进行了一些功能拓...

2018-12-23 23:14:16 389