- 博客(7)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 PySpark基于SHC框架读取MySQL数据转成DataFrame写入HBase
一、准备工作请参考本人之前的文章二、代码#/usr/bin/python#-*- coding:utf-8 –*-from pyspark import SparkContextfrom pyspark.sql import SQLContext,HiveContext,SparkSessionfrom pyspark.sql.types import Row,StringTy...
2019-04-28 14:53:43
803
1
原创 PySpark基于SHC框架读取HBase数据并转成DataFrame
一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去三、重启集群四、代码#/usr/bin/python#-*- coding:utf-...
2019-04-27 18:25:39
823
原创 Java实现Spark将DataFrame写入到HBase
需要的包：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescripto...
2019-04-26 16:19:05
1835
原创 Java对HBase的CRUD操作的小demo
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.junit.After;import org.junit.Before;import org.junit.Test;publi...
2019-04-24 16:28:58
269
原创 Java实现Spark读取HBase中数据并转成DataFrame
我测试用的HBase数据：话不多说上代码所有需要的包：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Result;import org.apache.hado...
2019-04-24 15:56:19
2016
1
原创 大数据入门（二）之Hadoop部署
准备工作安装JDK1、上传jdk安装包2、安装jdk3、配置java环境变量获取安装位置修改/etc/profile文件 加上这两行重新加载文件 . /etc/profile验证 任意位置输入jps 出现下图所示即配置成功4、其他节点重复上述造作免秘钥1、所有节点登录自己以此来创建.ssh文件2、依次输入yes、密码 然后exit退出文件创建成功...
2018-12-26 22:36:55
141
原创 大数据入门（一）之集群部署
#一、准备工作##1、虚拟机准备如果你可以操作多台服务器，那么以下的准备工作可以省略。。首先检查你的这里我用的软件是VMware Workstation Pro，Xshell 5，Xftp 4Linux系统用的是CentOS 6.5节点我准备了5个：即，node001,node002,node003,node004,node005新的改变我们对Markdown编辑器进行了一些功能拓...
2018-12-23 23:14:16
379
空空如也
sqoop从mysql往HBase导数据卡在map 100% reduce 0%
2019-04-29
shc框架将dataframe写入Hbase int型会乱码
2019-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人