- 博客(7)
- 问答 (3)
- 收藏
- 关注
原创 PySpark基于SHC框架读取MySQL数据转成DataFrame写入HBase
一、准备工作请参考本人之前的文章 二、代码 #/usr/bin/python #-*- coding:utf-8 –*- from pyspark import SparkContext from pyspark.sql import SQLContext,HiveContext,SparkSession from pyspark.sql.types import Row,StringTy...
2019-04-28 14:53:43
820
1
原创 PySpark基于SHC框架读取HBase数据并转成DataFrame
一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下 二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去 三、重启集群 四、代码 #/usr/bin/python #-*- coding:utf-...
2019-04-27 18:25:39
838
原创 Java实现Spark将DataFrame写入到HBase
需要的包: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescripto...
2019-04-26 16:19:05
1843
原创 Java对HBase的CRUD操作的小demo
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.junit.After; import org.junit.Before; import org.junit.Test; publi...
2019-04-24 16:28:58
283
原创 Java实现Spark读取HBase中数据并转成DataFrame
我测试用的HBase数据: 话不多说上代码 所有需要的包: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Result; import org.apache.hado...
2019-04-24 15:56:19
2040
1
原创 大数据入门(二)之Hadoop部署
准备工作 安装JDK 1、上传jdk安装包 2、安装jdk 3、配置java环境变量 获取安装位置 修改/etc/profile文件 加上这两行 重新加载文件 . /etc/profile 验证 任意位置输入jps 出现下图所示即配置成功 4、其他节点重复上述造作 免秘钥 1、所有节点登录自己以此来创建.ssh文件 2、依次输入yes、密码 然后exit退出 文件创建成功 ...
2018-12-26 22:36:55
152
原创 大数据入门(一)之集群部署
#一、准备工作 ##1、虚拟机准备 如果你可以操作多台服务器,那么以下的准备工作可以省略。。 首先检查你的 这里我用的软件是VMware Workstation Pro,Xshell 5,Xftp 4 Linux系统用的是CentOS 6.5 节点我准备了5个:即,node001,node002,node003,node004,node005 新的改变 我们对Markdown编辑器进行了一些功能拓...
2018-12-23 23:14:16
389
空空如也
sqoop从mysql往HBase导数据卡在map 100% reduce 0%
2019-04-29
shc框架将dataframe写入Hbase int型会乱码
2019-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人